Extração de API Coin Base - Projeto completo de ETL com Python na Cloud Open Source, 100% gratuito.

Faça parte da Jornada! 30% OFF aqui 👇 http://bit.ly/42KtSal ► Inscreva-se em nosso canal: https://www.youtube.com/channel/UCl-5oPIbTAwLZ0hF_dCUyLQ ► Ative as notificações (clica no sininho)! ► Curta o nosso vídeo! ___________________________________________________________________________ Links importantes: ► Site: https://bit.ly/46jwnjO ► Instagram: https://www.instagram.com/lucianojornadadedados/ ► LinkedIn: https://www.linkedin.com/in/lucianovasconcelosf/ ► GitHub: https://bit.ly/4djYjGy ► T-shirts Jornada de Dados: https://bit.ly/3LIPfQ8 ► Google Calendar: https://bit.ly/4cVu8WL ► RedRex: https://bit.ly/3yPbHnz O que você vai aprender: 1) Extração de Dados: Como se conectar a uma API pública, obter dados brutos e integrar esses dados de forma eficiente ao seu fluxo de trabalho em Python. 2) Transformação e Limpeza: Aplicar técnicas simples, porém eficazes, para padronizar, filtrar e preparar as informações para análise. 3) Carga em Banco de Dados: Como escolher o tipo de banco ideal, criar tabelas adequadas e armazenar seus dados de forma estruturada, visando consultas rápidas e organizadas. 4) Criação de Dashboard em Tempo Real: Desenvolver um dashboard interativo, integrando as informações armazenadas, e possibilitando a visualização e análise em tempo real de indicadores e métricas relevantes. GitHub do projeto: https://github.com/lvgalvao/ETLProjectAPIExtract Outros links citados: - Chat GPT: https://platform.openai.com/ - JSON Place Holder: https://jsonplaceholder.typicode.com/ - JSON Formatter: https://jsonformatter.org/ Capítulos: 00:00 Introdução 05:40 Inicio da Live 11:39 O que vamos fazer hoje e as motivações 18:15 Inicio da live code: criando o ambiente de trabalho virtual 22:18 O que é o Cursor? Alternativa ao VSCode como IDE 23:55 Qual é a vantagem do Cursor em relação ao VSCode? 26:13 Explicando o Roadmap do Engenheiro de Dados 27:29 Explicando o fluxo de processos de um navegador (Cliente vs Servidor) 31:36 Usando o site do Youtube como exemplo 32:30 Comunicação entre Cliente e Servidor 33:34 Renderização do conteúdo pelo Navegador 35:10 Explicando o GET e POST pelo exemplo do Botão do Like/Inscrever no Youtube 37:39 Explicando o que é uma API 41:32 Preparando o ambiente virtual + biblioteca Requests 42:25 Com o Selenium, podemos pegar a informação sem a API? 50:52 Exemplos de uso da biblioteca Requests 52:15 Métodos utilizados para requisição (GET, POST, PUT, DELETE) 55:14 Explicando as famílias das respostas dos Status Code 57:24 Site de testes para JSON (https://jsonplaceholder.typicode.com/) 01:02:09 Explicando os parâmetros do tipo GET de requisição (URL, Headers, Parametros) 01:07:54 Explicando o método POST de requisição com API do Chat GPT 01:18:11 Porque o arquivo .env é importante? Usando a biblioteca python-dotenv 01:20:00 Sobre o arquivo .gitignore 01:23:13 Usando o Cursor para gerar um arquivo Readme eficiente 01:26:02 Qual é a função do comando pip freeze? 01:29:39 Bora pro código! Explicando o processo da ETL para extrair dados do BitCoin 01:32:35 Diferença entre API e End Point usando o Instagram como exemplo 01:39:22 Passo 1: Extraindo os dados do BitCoin pela API da Coin Base 01:42:23 Passo 2: Transformando os dados com Python 01:51:20 Passo 3: Salvando no Banco de Dados Tinydb + Explicação do que é noSQL 01:54:00 Explicando os tipos de noSQL 01:56:20 Passo 4: Inserindo o TimeStamp com Python 02:00:00 Quando usar o noSQL é a melhor opção? 02:04:42 Passo 5: Criando um looping no processo com time.sleep (atualizar a cada 15 segundos) 02:12:34 Passo 6: Refatorando o código para aplicação no Postgres + Render + SQL Alchemy 02:31:00 O que é o pgAdmin e como instalar? 02:38:08 Explicando o conceito de Observabilidade em Engenharia de Dados com Logfire 02:44:02 Passo 7: Instalando e configurando o Logfire com Python 02:47:42 Entendendo os outputs da observabilidade da pipeline de dados 02:51:33 Passo 8: Indo pro deploy da pipeline de dados no Render + GitHub 03:00:00 Passo 9: Construindo o dashboard com a biblioteca Streamlit 03:11:20 Correlação de Complexidade e Flexibilidade em projetos de Engenharia de Dados 03:13:57 Recapitulação do que foi feito no projeto 03:14:30 Sobre os próximos passos da Jornada de Dados 03:17:00 O que é a Jornada de Dados? 03:19:10 GitHub da Jornada de Dados com todo o material + Aulas 03:22:34 O plano de estudos para 2025 da Jornada de Dados 03:31:53 Sobre os fundamentos da Jornada de Dados 03:34:33 Depoimento dos alunos da Jornada de Dados 03:41:07 Como são as aulas da Jornada de Dados? 03:50:40 Sorteio de Camisa da Jornada de Dados 👉 Inscreva-se no canal e ative as notificações para não perder!