260 lines
4.3 KiB
Markdown
260 lines
4.3 KiB
Markdown
---
|
||
_class: lead
|
||
paginate: true
|
||
backgroundColor: #FFFFFF
|
||
# backgroundImage: url('https://marp.app/assets/hero-background.jpg')
|
||
marp: true
|
||
footer: '09/05/2023'
|
||
---
|
||
<!--
|
||
backgroundColor: #6d2258
|
||
|
||
-->
|
||
<style scoped>
|
||
h1 {
|
||
color: white;
|
||
text-align: center;
|
||
}
|
||
</style>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br><br>
|
||
<br><br>
|
||
<br>
|
||
<br>
|
||
|
||
|
||
---
|
||
<!--
|
||
backgroundColor: #6d2258
|
||
|
||
-->
|
||
<style scoped>
|
||
h1 {
|
||
color: white;
|
||
text-align: center;
|
||
}
|
||
</style>
|
||
# Data Mesh : Data everywhere !
|
||
---
|
||
|
||
|
||
|
||
|
||
---
|
||
<!--
|
||
paginate: true
|
||
header: ~# Whoami
|
||
backgroundColor: #FFFFFF
|
||
|
||
-->
|
||
|
||
|
||
|
||
|
||
# Valentin Baraise
|
||
|
||
|
||
On me dit "Devops Engineer" chez Empreinte Digitale
|
||
|
||
<!-- Ops mais avec un soucis pour les développeurs -->
|
||
---
|
||
|
||
Disclaimer !
|
||
|
||
Je ne suis pas !
|
||
|
||
|
||
|
||
---
|
||
|
||
<!--
|
||
paginate: true
|
||
footer: Valentin Baraise
|
||
-->
|
||
<style scoped>
|
||
h1 {
|
||
color: white;
|
||
}
|
||
</style>
|
||
|
||
|
||
|
||
# Qu'est ce que le Data mesh ?
|
||
|
||
---
|
||
<!--
|
||
theme: default
|
||
paginate: true
|
||
header: ""
|
||
footer: Le 09/05/2023
|
||
-->
|
||
|
||
|
||
# Définition
|
||
|
||
|
||
> "Data mesh is a sociotechnical approach to building a decentralized data architecture by leveraging a domain-oriented, self-serve design"
|
||
###### Wikipédia (en)
|
||
---
|
||
<!--
|
||
theme: default
|
||
paginate: true
|
||
header: ""
|
||
footer: Le 09/05/2023
|
||
-->
|
||
|
||
|
||
# Définition
|
||
|
||
|
||
> "Le maillage de données est une approche sociotechnique pour construire une architecture de données décentralisée en tirant parti d'une conception libre-service orientée domaine "
|
||
###### Wikipédia (Translated)
|
||
|
||
|
||
---
|
||
|
||
# Rappel rapide à quoi ça peut servir les données?
|
||
|
||
* DDD ( Domain Driven Design)
|
||
* ETL (Extract transform Load)
|
||
|
||
Pour aller plus loin ([link](https://blog.wescale.fr/comprendre-le-datamesh-gr%C3%A2ce-au-ddd))
|
||
|
||
---
|
||
|
||
# Un peu d'histoire
|
||
|
||
* 1ère fois utilisé en 2019 par "Zhamak Dehghani"
|
||
* Concepts et principes établis tout au long de l'année 2020
|
||
* Mis en place par des entreprises tel que Zalando, Netflix, Vistaprint, Paypal..
|
||
|
||
<!-- On peut pas dire qu'on parle d'une histoire très ancienne ! -->
|
||
|
||
|
||
---
|
||
|
||
# Mais avant alors ?
|
||
|
||
|
||
---
|
||
|
||
# Data Chaos
|
||
|
||
|
||
|
||
---
|
||
|
||
# Data Centric
|
||
|
||
|
||
|
||
---
|
||
|
||
## En mode "data centric" on peut parler :
|
||
|
||
* Data lake
|
||
* Data Warehouse
|
||
|
||
|
||
---
|
||
|
||
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
<br>
|
||
###### (src:http://www.illustradata.com/data-lake-faire-simple/)
|
||
|
||
<!--
|
||
Les données issues des CRM et des différents ERP de la société
|
||
Les données de tracking des sites web, c’est à dire toutes les données décrivant le comportement des visiteurs on-site qui sont souvent très volumineuses et riches en informations
|
||
Les données d’utilisation des objets connectés (IoT )
|
||
Les logs des différents serveurs opérationnels utiles pour la cyber sécurité et le monitoring notamment
|
||
Les contenus des appels de call center, souvent au format mp3
|
||
Les Open Data afin d’enrichir les études ou créer de nouveaux services
|
||
Les données issues du data sharing (même usage que pour les Open Data) (Data Sharing)
|
||
|
||
-->
|
||
|
||
---
|
||
|
||
# Et alors data mesh ?
|
||
|
||
---
|
||
|
||
# Data mesh
|
||
|
||
|
||
|
||
<!-- Fleche noir > Création des produits
|
||
|
||
Fleche rouge: Utilisation des produits-->
|
||
---
|
||
|
||
# Les concepts clés
|
||
|
||
|
||
|
||
<br>
|
||
<br><br>
|
||
<br>
|
||
<br>
|
||
|
||
|
||
<br>
|
||
<br>
|
||
|
||
|
||
###### (Image Zhamak Dehghani)
|
||
|
||
---
|
||
|
||
## Et en technique ?
|
||
|
||
* Formalisation du transfert des données (Standard)
|
||
* API pour le partage des données
|
||
* Data market place
|
||
|
||
---
|
||
|
||
# On conserve également tout !
|
||
|
||
* Data warehouse
|
||
* Querier
|
||
* Event Bus
|
||
* Pipeline
|
||
* Dataset
|
||
* ...
|
||
|
||
(Prestodb,databricks, s3,...)
|
||
|
||
---
|
||
|
||
# Où en est le Data Mesh ?
|
||
|
||
|
||
|
||
|
||
---
|
||
### Sources
|
||
|
||
* Livre de Zhamak ([link](https://www.oreilly.com/library/view/data-mesh/9781492092384/))
|
||
* Data Mesh : Comment Spiderman établit les concepts-clés du Data Management ([Youtube](https://www.youtube.com/watch?v=mSnSUS0B42w))
|
||
* Blog ([link](https://martinfowler.com/articles/data-monolith-to-mesh.html))
|
||
|
||
|
||
|
||
---
|
||
|
||
|
||
# Merci de votre attention !
|
||
|
||
# ❓ Question Time ! |