IAAttestation de formation

Data engineer - traitement de données à grande échelle Databricks et Spark

Maîtriser la plateforme Databricks et Apache Spark pour l’ingénierie et l’analytique big data.

Durée
24 h 30
Modalités
Présentiel · Distanciel
Voir le programme
Illustration de la formation Data engineer - traitement de données à grande échelle Databricks et Spark

Des compétences à mettre en pratique.

Modalités, tarifs et accès

Public ciblé

Data Engineers, Data Scientists, Architectes Data.

Prérequis

Bases Python/SQL et concepts Data Lake.

Compétences acquises

Spark/DeltaData EngineeringOrchestration & CI/CDGouvernance (Unity Catalog)

Certification(s) visée(s)

Aucune — cette action donne lieu à une attestation de fin de formation.

Référence de la formation : DBX-DE

Objectifs pédagogiques

  • Prendre en main Databricks (workspaces, notebooks, Unity Catalog).
  • Développer des jobs Spark structurés (Delta Lake, optimisations).
  • Orchestrer, tester et industrialiser (Jobs, workflows, CI/CD).

Ce que délivre IDCACADEMY

Une attestation de fin de formation, et elle seule.

Elle mentionne les objectifs, la nature et la durée de l'action ainsi que les résultats de l'évaluation des acquis. IDCACADEMY ne délivre aucune certification et n'est habilité comme certificateur par aucun organisme.

Cette action ne prépare à aucune certification et n'est inscrite ni au RNCP ni au Répertoire spécifique de France compétences.

Métiers concernés

Métiers dans lesquels la compétence travaillée est mobilisée. Cette action courte constitue un apport de compétences : elle ne suffit pas, à elle seule, à accéder à ces postes.

  • Data Engineer
  • ML Engineer

Programme détaillé

Ce programme peut être adapté selon vos besoins spécifiques après positionnement.

Fondamentaux Databricks

Durée : 3 h 30

Contenus

  • Workspace
  • Repos
  • Catalogues & permissions

Traitements Spark & Delta

Durée : 10 h 30

Contenus

  • Spark SQL & DataFrames
  • OPTIMIZE, Z‑ORDER
  • Streaming

Industrialisation

Durée : 7 heures

Contenus

  • Jobs/Workflows
  • Tests & CI/CD
  • Monitoring & coûts

MLflow et déploiement de modèles

Durée : 3 h 30

Contenus

  • MLflow : tracking, registry, déploiement
  • Serving des modèles sur Databricks
  • Optimisation des pipelines ML

Activités

  • Lab : pipeline ML complet avec MLflow sur Databricks

Résultats attendus

  • Déployer et monitorer des modèles ML sur Databricks

Moyens & modalités

Cours + démos + labs. Présentiel/distanciel.

Moyens techniques

Databricks, Spark SQL/Structured Streaming, Delta Lake, Unity Catalog, MLflow.

Adaptation et suivi

Cas d’usage big data, Q&A, ressources.

Modalités d'évaluation

Labs + QCM blanc.

Informations pratiques

  • Durée : 24 h 30
  • Modalités : Présentiel • Distanciel
  • Inscription : Contact, analyse du besoin, validation, convention/convocation.
  • Délai d'accès : 2 à 4 semaines après validation.
  • Tarif : Sur devis personnalisé
  • Conditions tarifaires : Le prix dépend de la durée, des modalités et du périmètre de la prestation. Un devis détaillé précisant le montant total, les taxes applicables, les prestations incluses, les éventuels frais supplémentaires et les conditions de règlement vous est transmis avant toute contractualisation et tout engagement.
  • Financements à étudier (accord préalable) : OPCO • FNE • AIF • PTP • Dispositifs régionaux • AGEFIPH

Évaluation du besoin

Questionnaire d’adéquation avant inscription.

Accessibilité & handicap

Toutes nos formations sont accessibles aux personnes en situation de handicap, dans la mesure du possible. Lors de l'inscription, un questionnaire d'adaptation permet d'identifier les besoins spécifiques afin de mettre en place les aménagements nécessaires (rythme, supports, accessibilité, accompagnement).

Référent handicap : Yasar ALTAF — contact@idcacademy.fr — 07 59 56 59 18. Contactez-nous avant l’inscription pour étudier les aménagements possibles.

AGEFIPH – Accompagnement et financement

AGEFIPH Île-de-France

Mail : rhf-idf@agefiph.asso.fr

Site : www.agefiph.fr

MDPH 75 – Paris

69 rue de la Victoire, 75009 Paris

Tél : 01 53 32 39 39 / 0 805 80 09 09

Email : contact@mdph.paris.fr

CAP EMPLOI – Insertion professionnelle

43 bis rue d'Hautpoul, 75019 Paris

Tél : 01 44 52 40 60

APAJH – Accompagnement du handicap

Fédération APAJH

33 avenue du Maine, 75755 Paris Cedex 15

Site : www.apajh.org

Réclamations et amélioration continue

Vous pouvez adresser une réclamation à notre référent qualité. La procédure, le contact et le délai de réponse figurent sur la page Réclamations.

Médiateur de la consommation

Conformément à l'article L.612-1 du Code de la consommation, tout consommateur a le droit de recourir gratuitement à un dispositif de médiation en vue de la résolution amiable d'un litige l'opposant à un professionnel.

Médiateur de la consommation – CM2C

Centre de médiation de la consommation de conciliateurs de justice (CM2C)

14 rue Saint Jean, 75017 Paris

Site : https://cm2c.net

Email : cm2c@cm2c.net

Pour aller plus loin

Questions fréquentes

Quels sont les prérequis pour cette formation ?
Bases Python/SQL et concepts Data Lake.
Comment financer cette formation ?
Cette formation n'est pas proposée au CPF. Les prestations proposées au CPF sont détaillées sur notre page Financement. Pour cette formation, une prise en charge peut être étudiée avec un OPCO, France Travail, votre entreprise ou à titre personnel. Toute prise en charge reste soumise à l'accord du financeur.
Quelle certification obtient-on ?
Cette action ne prépare pas à une certification. Elle donne lieu à une attestation de fin de formation mentionnant les acquis évalués.

Contact

IDCACADEMY
contact@idcacademy.fr
07 59 56 59 18

NDA : 11757245675 — SIREN : 940542962 — Certification Qualiopi QUA008560

Statut réglementaire de la formation

Certification préparée

Aucune — formation non certifiante

Type : Action de formation (attestation de fin de formation)
Certificateur : Sans objet

Statut RNCP

Formation non certifiante

Cette action développe des compétences professionnelles et ne délivre pas de certification. Elle n'est inscrite ni au RNCP ni au Répertoire spécifique.

OPCO — Possible sous conditions

Prise en charge possible selon votre OPCO de rattachement, votre branche professionnelle, le budget disponible et l'accord préalable du financeur.

Modalités de financement

OPCO — sous conditions

Les entreprises peuvent solliciter leur OPCO pour une prise en charge totale ou partielle. La décision dépend de l'OPCO compétent, de la branche, de la taille de l'entreprise, du budget disponible et de l'accord préalable du financeur.

France Travail / AIF

Certaines formations peuvent faire l'objet d'une demande de financement auprès de France Travail selon le projet professionnel et l'accord du conseiller référent. L'accord de financement n'est jamais automatique.

Financement personnel ou entreprise

Un financement personnel ou par l'entreprise est toujours possible. Un devis personnalisé peut être établi selon la formation choisie, la durée et les modalités pédagogiques.

Aucun financement n'est garanti. Chaque dispositif a ses propres conditions et l'accord du financeur reste préalable à toute prise en charge.