Files
datamesh/datamesh.md
valentin 8f3a6cf31e datamesh
2023-05-09 18:53:13 +02:00

4.2 KiB

_class, paginate, backgroundColor, marp, footer
_class paginate backgroundColor marp footer
lead true true 09/05/2023
<style scoped> h1 { color: white; text-align: center; } </style>












bg contain


bg left:33% width:300px

Valentin Baraise

On me dit "Devops Engineer" chez Empreinte Digitale


Disclaimer !

Je ne suis pas !

bg fit right:70%


<style scoped> h1 { color: white; } </style>

bg

Qu'est ce que le Data mesh ?


Définition

"Data mesh is a sociotechnical approach to building a decentralized data architecture by leveraging a domain-oriented, self-serve design"

Wikipédia (en)

Définition

"Le maillage de données est une approche sociotechnique pour construire une architecture de données décentralisée en tirant parti d'une conception libre-service orientée domaine "

Wikipédia (Translated)

Rappel rapide à quoi ça peut servir les données?

  • DDD ( Domain Driven Design)
  • ETL (Extract transform Load)

Pour aller plus loin (link)


Un peu d'histoire

  • 1ère fois utilisé en 2019 par "Zhamak Dehghani"
  • Concepts et principes établis tout au long de l'année 2020
  • Mis en place par des entreprises tel que Zalando, Netflix, Vistaprint, Paypal..

Mais avant alors ?


Data Chaos

bg fit right:66%


Data Centric

bg fit right:66%


En mode "data centric" on peut parler :

  • Data lake
  • Data Warehouse

bg  w:48%





(src:http://www.illustradata.com/data-lake-faire-simple/)

Et alors data mesh ?


Data mesh

bg right:66% fit


Les concepts clés

bg w:55%






(Image Zhamak Dehghani)

Et en technique ?

  • Formalisation du transfert des données (Standard)
  • API pour le partage des données
  • Data market place

On conserve également tout !

  • Data warehouse
  • Querier
  • Event Bus
  • Pipeline
  • Dataset
  • ...

(Prestodb,databricks, s3,...)


Où en est le Data Mesh ?


Sources

  • Livre de Zhamak (link)
  • Data Mesh : Comment Spiderman établit les concepts-clés du Data Management (Youtube)
  • Blog (link)

bg fit left:33%


Merci de votre attention !

Question Time !