From 0a6c47228ecf1dcbf91e80a8eef730822edf50c2 Mon Sep 17 00:00:00 2001 From: valentin Date: Tue, 9 May 2023 14:49:18 +0200 Subject: [PATCH] disclaimer --- data/index.html/README.html | 15 +++ data/index.html/datamesh.html | 168 ++++++++++++++++++++++++++++++ datamesh.md | 11 +- src/big-data-engineer-800x390.jpg | Bin 0 -> 32485 bytes 4 files changed, 192 insertions(+), 2 deletions(-) create mode 100644 data/index.html/README.html create mode 100644 data/index.html/datamesh.html create mode 100644 src/big-data-engineer-800x390.jpg diff --git a/data/index.html/README.html b/data/index.html/README.html new file mode 100644 index 0000000..c8221bf --- /dev/null +++ b/data/index.html/README.html @@ -0,0 +1,15 @@ +
+
\ No newline at end of file diff --git a/data/index.html/datamesh.html b/data/index.html/datamesh.html new file mode 100644 index 0000000..ddabf11 --- /dev/null +++ b/data/index.html/datamesh.html @@ -0,0 +1,168 @@ +

+
+
+
+
+
+
+

+

+
+
+

Angers

+
09/05/2023
+
+
+
~# Whoami
+ +

Valentin Baraise

+

On me dit "Devops Engineer" chez Empreinte Digitale

+
09/05/2023
+
+
+
~# Whoami
+ +

Qu'est ce que le Data mesh ?

+
Valentin Baraise
+
+
+

Définition

+
+

"Data mesh is a sociotechnical approach to building a decentralized data architecture by leveraging a domain-oriented, self-serve design"

+
+
Wikipédia (en)
+
Le 09/05/2023
+
+
+

Définition

+
+

"Le maillage de données est une approche sociotechnique pour construire une architecture de données décentralisée en tirant parti d'une conception libre-service orientée domaine ("

+
+
Wikipédia (Translated)
+
Le 09/05/2023
+
+
+

Rappel rapide à quoi ça peut servir les données?

+
    +
  • DDD ( Domain Driven Design)
    • +
  • ETL (Extract transform Load)
    • +
+

Pour aller plus loin (link)

+
Le 09/05/2023
+
+
+

Un peu d'histoire

+
    +
  • 1ère fois utilisé en 2019 par "Zhamak Dehghani"
    • +
  • Concepts et principes établis tout au long de l'année 2020
    • +
  • Mis en place par des entreprises tel que Zalando, Netflix, Vistaprint, Paypal..
    • +
+
Le 09/05/2023
+
+
+

Mais avant alors ?

+
Le 09/05/2023
+
+
+

Data Chaos

+
Le 09/05/2023
+
+
+

Data Centric

+
Le 09/05/2023
+
+
+

En mode "data centric" on peut parler :

+
    +
  • Data lake
    • +
  • Data Warehouse
    • +
+
Le 09/05/2023
+
+
+


+

+

+

+

+

+

+
(src:http://www.illustradata.com/data-lake-faire-simple/)
+
Le 09/05/2023
+
+
Le 09/05/2023
+
+
+

Les concepts clés

+


+

+


+

+

+
+
+
(Image Zhamak Dehghani)
+
Le 09/05/2023
+
+
+

Et en technique ?

+
    +
  • Formalisation du transfert des données (Standard)
    • +
  • API pour le partage des données
    • +
  • Data market place
    • +
+
Le 09/05/2023
+
+
+

On conserve également les briques techniques

+
    +
  • Data warehouse
    • +
  • Querrier
    • +
  • Event Bus
    • +
  • Dataset
    • +
  • ...
    • +
+

(Prestodb,databricks, s3,...)

+
Le 09/05/2023
+
+
+

Où en est le datamesh ?

+

+
Le 09/05/2023
+
+
+

Sources

+
    +
  • Livre de Zhamak (link)
    • +
  • Data Mesh : Comment Spiderman établit les concepts-clés du Data Management (Youtube)
    • +
  • Blog (link)
    • +
+
Le 09/05/2023
+
+
+

Merci de votre attention !

+

❓ Question Time !

+
Le 09/05/2023
+
+

Ops mais avec un soucis pour les développeurs

On peut pas dire qu'on parle d'une histoire très ancienne !

Les données issues des CRM et des différents ERP de la société + Les données de tracking des sites web, c’est à dire toutes les données décrivant le comportement des visiteurs on-site qui sont souvent très volumineuses et riches en informations + Les données d’utilisation des objets connectés (IoT ) + Les logs des différents serveurs opérationnels utiles pour la cyber sécurité et le monitoring notamment + Les contenus des appels de call center, souvent au format mp3 + Les Open Data afin d’enrichir les études ou créer de nouveaux services + Les données issues du data sharing (même usage que pour les Open Data) (Data Sharing)

Fleche noir > Création des produits + +Fleche rouge: Utilisation des produits

\ No newline at end of file diff --git a/datamesh.md b/datamesh.md index a0af57d..a30a22b 100644 --- a/datamesh.md +++ b/datamesh.md @@ -28,7 +28,6 @@ h1 {

-# Angers ![bg contain ](https://humantalks.com/assets/logo-HumanTalks-fc5901d116f81d88acdece8416f5dab2bb8b3779724865364a2038be14ed046e.png) @@ -51,6 +50,14 @@ On me dit "Devops Engineer" chez Empreinte Digitale --- +Disclaimer ! + +Je ne suis pas ! + + ![bg fit right:70%](src/big-data-engineer-800x390.jpg) + +--- +