O curso Meu Primeiro Pipeline com Databricks é a escolha ideal para quem deseja aprender de forma prática e direta, desde os conceitos básicos até a construção de um Data Lakehouse completo.

Não importa se você está começando agora, este curso vai te guiar passo a passo, com um enfoque acessível e aplicável ao mundo real.

Ao final do programa você será capaz de:

Ao final do programa você será capaz de:

Manipular Dados

Usar Python, PySpark e SQL para construção dos processos de ingestão e transformação de Dados.

Criar Pipelines

Ler e escrever pipelines de dados usando Batch e o Streaming Streaming no Spark.

Aplicar a teoria na prática

Entender os princípios da Engenharia de Dados e como aplica-los em projetos reais.

Arquitetura de Data Lakehouse

Entender os princípios da Engenharia de Dados e como aplica-los em projetos reais.

Arquitetura avançada

Construir um pipeline completo usando a Arquitetura Medalhão (Medallion Architecture).

Delta Lake como storage layer

Usar de maneira eficaz o Delta Lake como storage layer dentro do Data Lakehouse.

Conteúdo do curso

A nossa jornada de conhecimento

Teoria do Big Data

• Evolução da Análise de Dados
• O problema dos Silos de Dados
• Os 3 V's do Big Data
• Formatos de Arquivos para Big Data
• Entendendo o Paradigma do Data Lakehouse
• Arquitetura Lambda
• Arquitetura Kappa

Conceitos do DATABRICKS

• Introdução ao Apache Spark

• Introdução ao Databricks

• Arquitetura do Databricks

• Computação no Databricks para Engenharia

• Overview na Plataforma do Databricks

• Introdução aos Notebooks no Databricks

Programação no
DATABRICKS

• Introdução ao Python

• Programação básica no Python
• Programação básica no PySpark / SQL

• Write & Read usando o Spark - Batch

• Entendendo o Spark Structured Streaming

• Write & Read usando o Spark - Streaming

Usando o Delta Lake na Prática

• Introdução ao Delta Lake

• Validação de Schema no Delta Lake

• Evolução de Schema no Delta Lake

• Trasações ACID no Delta Lake

• Otimização para tabelas no Delta Lake

• Time Travel no Delta Lake

Projeto Final - Construção de um Pipeline de Dados no DATABRICKS

• Entendendo o User Case

• Medallion Architecture

• Carregando Dados para zona Bronze

• Carregando Dados para zona Silver

• Carregando Dados para zona Gold

Módulo Especial
CARREIRA PROFISSIONAL

• LinkedIn - Criando um perfil Campeão

• Entrevista - Como se preparar

• Carreira Acadêmica & Certificações

• Comunidade de TI - Vale a Pena?

• Mercado de TI no Brasil e no Exterior

• Mercado de TI na Carreira Pública

sou arquiteto em soluções de Analytics e especialista em Engenharia de Dados usando o Databricks. Atuo hoje como Sr. Data Engineer no time de DataOps da American Airlines.

Tenho mais de 11 anos de jornada profissional, mais de 15 certificações em Advanced Analytics & Cloud Computing e experiência no mercado de TI público e privado no Brasil & exterior.

Sou sedento por aprender e apaixonado por compartilhar conhecimento. Já fui palestrante em mais de 90 conferências presenciais & online dentro e fora do Brasil.

Eu me chamo Arthur,

FAQ

Quais formas de pagamento?

Cartão de crédito a vista parcelado.

O conteúdo é ao vivo?

Aulas do curso Meu Primeiro Pipeline com Databricks são gravadas. 

E se eu tiver dúvidas?

Você poderá tirar suas dúvidas dentro da plataforma de aulas.

Até quando posso acessar as aulas?

Aulas do curso Meu Primeiro Pipeline com Databricks são gravadas. O acesso ao conteúdo é vitalício enquanto a plataforma existir.

O Treinamento possui alguma Comunidade?

Sim, você receberá todas as informações a partir do seu primeiro acesso à área logada.

©Copyright 2025 Data's Light Academy.
Todos os direitos reservados.