Прагматичный подход к трансформации данных: dbt и Python — Ярослав Телишевский, независимый эксперт
Существует множество способов преобразования данных — от простых скриптов на коленке и длинных SQL-запросов до сложных платформ, таких как Airflow. Однако часто эти методы имеют свои недостатки и не удовлетворяют нашим потребностям.
Мы разобрались:
- как dbt и Python могут решить многие проблемы в области преобразования и подготовки данных для аналитики.
- как сделать пайплайн для обработки наших данных с тестированием и версионированием.
- как добавить в скучный SQL шаблонизатор Jinja и функции на Python.
Спикер: Ярослав Телишевский, независимый эксперт
Другие выступления: https://www.youtube.com/playlist?list=PLzHkdYA9zRNI7LW37wHH2yl9E0QZBLflw
___
X5 Tech — IT-компания в составе Х5 Group и основной цифровой партнер торговых сетей и бизнесов группы. Команда из более 3300 специалистов разрабатывает решения, которые помогают десяткам миллионов людей каждый день покупать любимые продукты свежими и по лучшей цене. Сегодня в X5 Tech сфокусированы на разработке собственных решений и продуктов вне зависимости от вендоров.
____
Подписывайтесь на Х5 Tech, чтобы знать больше о технологиях:
https://vk.com/x5tech
https://t.me/x5_tech
https://habr.com/ru/company/X5Tech/blog
#большиеданные #python #митапы