datamesh v1

datamesh.md

@@ -0,0 +1,231 @@
+---
+_class: lead
+paginate: true
+backgroundColor: #FFFFFF
+# backgroundImage: url('https://marp.app/assets/hero-background.jpg')
+marp: true
+footer: '09/05/2023'
+---
+<!--
+backgroundColor: #6d2258
+
+-->
+<style scoped>
+h1 {
+  color: white;
+  text-align: center;
+}
+</style>
+<br>
+<br>
+<br>
+<br>
+<br>
+<br>
+<br>
+<br><br>
+<br><br>
+<br>
+<br>
+
+# Angers
+
+![bg contain ](https://humantalks.com/assets/logo-HumanTalks-fc5901d116f81d88acdece8416f5dab2bb8b3779724865364a2038be14ed046e.png)
+
+---
+<!--
+paginate: true
+header: ~# Whoami
+backgroundColor: #FFFFFF
+
+-->
+
+
+![bg left:33% width:300px](https://i.imgur.com/K3U8tSX.png)
+
+# Valentin Baraise
+ 
+
+On me dit "Devops Engineer" chez Empreinte Digitale
+
+<!-- Ops mais avec un soucis pour les développeurs -->
+---
+
+<!--
+paginate: true
+footer: Valentin Baraise
+-->
+<style scoped>
+h1 {
+  color: white;
+}
+</style>
+
+![bg ](https://media.giphy.com/media/3oKIPpFhwsMNrRIjN6/giphy.gif)
+ 
+# Qu'est ce que le Data mesh  ?
+
+---
+<!--
+theme: default
+paginate: true
+header: ""
+footer: Le 09/05/2023
+ -->
+
+
+# Définition
+
+
+> "Data mesh is a sociotechnical approach to building a decentralized data architecture by leveraging a domain-oriented, self-serve design"
+###### Wikipédia (en)
+---
+<!--
+theme: default
+paginate: true
+header: ""
+footer: Le 09/05/2023
+ -->
+
+
+# Définition
+
+
+> "Le maillage de données est une approche sociotechnique pour construire une architecture de données décentralisée en tirant parti d'une conception libre-service orientée domaine ("
+###### Wikipédia (Translated)
+
+
+---
+
+# Rappel rapide à quoi ça peut servir les données?
+
+* DDD ( Domain Driven Design)
+* ETL (Extract transform Load)
+
+Pour aller plus loin ([link](https://blog.wescale.fr/comprendre-le-datamesh-gr%C3%A2ce-au-ddd))
+
+---
+
+# Un peu d'histoire
+
+* 1ère fois utilisé en 2019 par "Zhamak Dehghani"
+* Concepts et principes établis tout au long de l'année 2020
+* Mis en place par des entreprises tel que Zalando, Netflix, Vistaprint, Paypal..
+
+<!-- On peut pas dire qu'on parle d'une histoire très ancienne ! -->
+
+
+---
+
+# Mais avant alors ?
+
+
+---   
+
+# Data Chaos
+
+![bg fit right:66%](src/data_chaos.png)
+
+---
+
+# Data Centric
+
+![bg fit right:66%](src/data_centric.png)
+
+--- 
+   
+## En mode "data centric" on peut parler :
+
+* Data lake
+* Data Warehouse
+
+
+--- 
+
+![bg  w:48% ](src/Datalake-avec-icones.webp)
+<br>
+<br>
+<br>
+<br>
+<br>
+<br>
+###### (src:http://www.illustradata.com/data-lake-faire-simple/)
+
+<!--
+    Les données issues des CRM et des différents ERP de la société
+    Les données de tracking des sites web, c’est à dire toutes les données décrivant le comportement des visiteurs on-site qui sont souvent très volumineuses et riches en informations
+    Les données d’utilisation des objets connectés (IoT )
+    Les logs des différents serveurs opérationnels utiles pour la cyber sécurité et le monitoring notamment
+    Les contenus des appels de call center, souvent au format mp3
+    Les Open Data afin d’enrichir les études ou créer de nouveaux services
+    Les données issues du data sharing (même usage que pour les Open Data) (Data Sharing)
+
+-->
+
+---
+
+![bg w:56% ](src/data_mesh.png)
+
+<!-- Fleche noir > Création des produits
+
+Fleche rouge: Utilisation des produits-->
+---
+
+# Les concepts clés
+
+
+![bg w:55%](src/data-mesh-principles-725x410.png)
+<br>
+<br><br>
+<br>
+<br>
+
+
+<br>
+<br>
+
+
+###### (Image  Zhamak Dehghani)
+
+--- 
+
+Et en technique ?
+
+* Formalisation du transfert des données (Standard)
+* API pour le partage des données
+* Data market place
+
+---
+
+On conserve également les briques techniques
+
+* Data warehouse
+* Querrier
+* Event Bus
+* Dataset
+* ...
+
+(Prestodb,databricks, s3,...)
+
+---
+
+# Où en est le datamesh ?
+
+![](src/trends.png)
+
+
+---
+### Sources
+
+* Livre de Zhamak ([link](https://www.oreilly.com/library/view/data-mesh/9781492092384/))
+* Data Mesh : Comment Spiderman établit les concepts-clés du Data Management ([Youtube](https://www.youtube.com/watch?v=mSnSUS0B42w))
+* Blog ([link](https://martinfowler.com/articles/data-monolith-to-mesh.html))
+
+![bg fit left:33%](src/data_mesh_book.jpg)
+
+---
+
+
+# Merci de votre attention !
+
+# ❓ Question Time !