Mini Projet 2 : Chargement de l'Operational Data Store (ODS) – Suivi des dépenses – Talend DI #51

Bonjour à toutes et à tous, J'espère que vous vous portez très bien. Je vous présente la deuxième partie de notre deuxième mini projet Talend qui consiste à mettre en place un système d'intégration de données de suivi des dépenses via Talend Data Integration. Cette deuxième partie nous permettra de charger les données dans les tables ODS (Operational Data Store) à partir des fichiers plats (fichiers CSV). Ce mini projet est réparti en quatre étapes : 1- Comprendre le fonctionnement du processus ETL (Extract Transform Load) ainsi que la modélisation proposée 2- Création de la base de données via pgAdmin 4 et exécution des différents scripts SQL 3- Création du répertoire de données 4- Mise en place des différents processus d'intégration de données 4.1- Création du projet Talend 4.2- Création des groupes de contexte 4.3- Création des métadonnées : Connexion à la base de données 4.4- Configuration du chargement implicite des variables de contexte 4.5- Création des différents schémas génériques : Fichiers plats 4.6- Création des jobs ODS (Transformation et Chargement de la donnée) 4.7- Création du job principal Grâce à cette deuxième partie, vous verrez l'utilisation des composants ci-dessous : Orchestration : tPrejob, tPostjob, tFileList, tRunJob Misc : tContextLoad Log & Errors : tChronometerStart, tChronometerStop, tDie, tLogRow Database : tDBConnection, tDBCommit, tDBClose, tDBInput, tDBOutput Custom Code : tSetGlobalVar, tJava File : tFileInputDelimited, tFileExist Processing : tMap, tUniqRow Afin de mieux suivre ce mini projet, je mets à votre disposition sur le lien git ci-dessous, les différents fichiers .sql, .csv, .java et .zip. Lien de téléchargement: https://gitlab.com/radda/formationtalend.git (Voir le contenu du répertoire : Section 10 / Mini Projet2 / Partie 2) Les scripts SQL sont dans le répertoire : scriptSQL Les fichiers CSV sont dans le répertoire : Files / csvFiles Les codes java sont dans le répertoire : Files Vous pouvez également suivre les différentes étapes décrites dans le fichier readme.md qui se trouve dans le répertoire : Mini Projet2 Précédente Vidéo utile : Mini Projet 2 : Extraction des données à partir d'un fichier Excel –Talend Data Integration #50 https://youtu.be/r-u14RFMTTs Merci de partager et de vous abonner à ma chaîne pour ne rater aucune de mes vidéos.