Angers

09/05/2023
~# Whoami

Valentin Baraise

On me dit "Devops Engineer" chez Empreinte Digitale

09/05/2023
~# Whoami

Qu'est ce que le Data mesh ?

Valentin Baraise

Définition

"Data mesh is a sociotechnical approach to building a decentralized data architecture by leveraging a domain-oriented, self-serve design"

Wikipédia (en)
Le 09/05/2023

Définition

"Le maillage de données est une approche sociotechnique pour construire une architecture de données décentralisée en tirant parti d'une conception libre-service orientée domaine ("

Wikipédia (Translated)
Le 09/05/2023

Rappel rapide à quoi ça peut servir les données?

  • DDD ( Domain Driven Design)
  • ETL (Extract transform Load)

Pour aller plus loin (link)

Le 09/05/2023

Un peu d'histoire

  • 1ère fois utilisé en 2019 par "Zhamak Dehghani"
  • Concepts et principes établis tout au long de l'année 2020
  • Mis en place par des entreprises tel que Zalando, Netflix, Vistaprint, Paypal..
Le 09/05/2023

Mais avant alors ?

Le 09/05/2023

Data Chaos

Le 09/05/2023

Data Centric

Le 09/05/2023

En mode "data centric" on peut parler :

  • Data lake
  • Data Warehouse
Le 09/05/2023













(src:http://www.illustradata.com/data-lake-faire-simple/)
Le 09/05/2023
Le 09/05/2023

Les concepts clés












(Image Zhamak Dehghani)
Le 09/05/2023

Et en technique ?

  • Formalisation du transfert des données (Standard)
  • API pour le partage des données
  • Data market place
Le 09/05/2023

On conserve également les briques techniques

  • Data warehouse
  • Querrier
  • Event Bus
  • Dataset
  • ...

(Prestodb,databricks, s3,...)

Le 09/05/2023

Où en est le datamesh ?

Le 09/05/2023

Sources

  • Livre de Zhamak (link)
  • Data Mesh : Comment Spiderman établit les concepts-clés du Data Management (Youtube)
  • Blog (link)
Le 09/05/2023

Merci de votre attention !

❓ Question Time !

Le 09/05/2023

Ops mais avec un soucis pour les développeurs

On peut pas dire qu'on parle d'une histoire très ancienne !

Les données issues des CRM et des différents ERP de la société Les données de tracking des sites web, c’est à dire toutes les données décrivant le comportement des visiteurs on-site qui sont souvent très volumineuses et riches en informations Les données d’utilisation des objets connectés (IoT ) Les logs des différents serveurs opérationnels utiles pour la cyber sécurité et le monitoring notamment Les contenus des appels de call center, souvent au format mp3 Les Open Data afin d’enrichir les études ou créer de nouveaux services Les données issues du data sharing (même usage que pour les Open Data) (Data Sharing)

Fleche noir > Création des produits Fleche rouge: Utilisation des produits