Données non structurées : Data Analytics et Data Lake

Ce cours aborde le traitement et la valorisation des données non structurées et semi-structurées à grande échelle. Il conduit les étudiants de l'ingestion de sources hétérogènes jusqu'à la construction d'un data lake exploitable, en passant par le traitement distribué avec Spark et la conception de processus ETL/ELT. Au-delà du stockage, le cours insiste sur ce qui distingue un data lake utilisable d'un data swamp : la qualité, le catalogage, la traçabilité et la gouvernance des données. Une ouverture est faite sur l'usage des LLM comme outils d'ingénierie des données (inférence de schéma, catalogage et annotation automatiques, génération de requêtes) et sur la recherche sémantique appliquée aux contenus non structurés du lac. Le cours alterne apports conceptuels et TD outillés (NoSQL, Spark, pipelines ETL).

Donner aux étudiants les compétences pour concevoir, alimenter et exploiter un data lake à partir de données non structurées et hétérogènes. Le cours développe la maîtrise du traitement distribué (Spark), de la conception de pipelines ETL/ELT, et des bonnes pratiques qui rendent un lac fiable et interrogeable dans la durée : modélisation par les métadonnées, qualité des données, provenance et gouvernance. Il sensibilise également au rôle croissant des LLM et de la recherche vectorielle pour rendre les assets d'un lac compréhensibles, catalogables et exploitables. L'ensemble vise une capacité à raisonner sur l'architecture complète d'une plateforme analytique, de l'ingestion à la restitution.

Modalités : Mixte : CC + CT
SESSION 1 :

Régime Dérogatoire
• Type : Écrit, QCM, Oral
• Durée : Les différentes épreuves écrites, qu’il s’agisse de l’examen final, du devoir, de l’examen terminal en régime dérogatoire ou de la seconde session, ont une durée indicative de 1h30, susceptible d’être ajustée en fonction des contraintes pédagogiques, matérielles ou logistiques, dans le respect des M3C applicables.

SESSION 2 :
• Type : Écrit, QCM, Oral
• Durée : Les différentes épreuves écrites, qu’il s’agisse de l’examen final, du devoir, de l’examen terminal en régime dérogatoire ou de la seconde session, ont une durée indicative de 1h30, susceptible d’être ajustée en fonction des contraintes pédagogiques, matérielles ou logistiques, dans le respect des M3C applicables.

Utilisation de l'intelligence artificielle :
Pour cet EC, l'usage de l'intelligence artificielle (IA) générative pour aider à la réalisation des travaux de contrôle continu soumis à évaluation

• est autorisé pour les tâches suivantes : aide à la compréhension de concepts et de documentation technique (NoSQL, Spark, formats de données) ; aide à l'écriture, au débogage et à l'optimisation de code que vous comprenez et savez expliquer ; génération ou reformulation de requêtes (SQL, Spark SQL) que vous validez et adaptez ; exploration d'options d'architecture ou de modélisation que vous évaluez ensuite par vous-même.
• Il est interdit pour les tâches suivantes : production de l'analyse critique, de la justification des choix d'architecture et de la synthèse demandées dans le rendu (le raisonnement évalué doit être le vôtre) ; rédaction intégrale de tout ou partie du rapport ou de la documentation faisant l'objet de la notation.

Les résultats fournis par l'IA doivent constituer un matériau pour votre réflexion, et toujours faire l'objet d'une réappropriation et d'une reprise critique.

Tous les usages doivent être documentés dans une section dédiée à la fin de votre travail, à l'exception des usages de recherche web augmentée, de correction orthographique et syntaxique. Cette section doit permettre à votre lecteur d'évaluer la manière dont vous avez travaillé avec l'IA et mobilisé cette ressource au service d'un travail personnel.

L'intégration directe de contenus engendrés par l'IA doit être faite sous le régime de la citation.

• Bases de données relationnelles et non-relationnelles ; bases NoSQL vues en M1 (modèles clé-valeur, document, colonne, graphe), dont ce cours constitue le prolongement à l'échelle et en contexte analytique.
• Notions de modélisation de données et de structures de données.
• Bases de programmation/scripting (Python) pour les TD ; la connaissance de SQL est utile.
• Culture générale sur les systèmes distribués bienvenue mais non indispensable (les concepts sont introduits en cours).

• Caractériser les données non structurées et semi-structurées et choisir les modèles de stockage adaptés (NoSQL, formats colonnaires/lignes, schéma-on-read).
• Mettre en œuvre des traitements distribués avec Spark sur des volumes importants et en raisonner la performance et les coûts.
• Concevoir et implémenter un processus ETL/ELT : ingestion, transformation, validation, chargement vers un data lake.
• Architecturer un data lake (zones brute/raffinée/exposée, lakehouse) et justifier les choix de modélisation et de partitionnement.
• Organiser un lac par ses métadonnées : catalogage, inférence/compréhension de schéma, provenance et lineage des transformations.
• Évaluer et améliorer la qualité de données hétérogènes, incomplètes ou bruitées (approche data-centric).
• Mobiliser un LLM comme outil d'ingénierie des données (annotation, catalogage, génération/reformulation de requêtes) en identifiant risques, biais et limites.
• Mettre en place une recherche hybride/sémantique (mots-clés + embeddings) sur les contenus non structurés du lac.
• Prendre en compte la gouvernance des données (accès, conformité, cycle de vie) dans la conception d'une plateforme analytique.