Что такое Apache Airflow - Курсы "Школы Больших Данных" г. Москва

В этом видео мы знакомимся с Apache Airflow - платформой оркестрации процесса выполнения задач. В процессе понимания того, что такое Airflow мы познакомимся с отличиями Workflow от Dataflow, архитектурой и основными компонентами Airflow, интерфейсом пользователя и его возможностями. Основные абстракции, которые предоставляет Airflow, также не останутся без внимания: * DAG, атом, единица запуска * Operator, действие, единица исполнения * Composition как способ задания взаимосвязи операторов В ролике мы уделим внимание best practices - что стоит ожидать от Airflow и как его не стоит использовать, поймем, почему Airflow не является ETL инструментом, вспомним "синдром молотка". Кратко коснемся способов использования Airflow для построения эффективных конвейеров подготовки данных. Более подробно вы можете познакомиться с нашими курсами по Apache AirFlow здесь КУРС DATA PIPELINE НА APACHE AIRFLOW И APACHE HADOOP https://www.bigdataschool.ru/courses/data-flow-with-apache-airflow КУРС DATA PIPELINE НА APACHE AIRFLOW И ARENADATA HADOOP https://www.bigdataschool.ru/courses/course-airflow-arenadata-spark Другие видео по Apache Airflow: Часть 1: Начало работы с apache airflow - https://youtu.be/G6ipydgZRnE​ Часть 2: ETL на airflow - https://youtu.be/XFQ0KPaDIT8 Часть 3: ETL на airflow c postgresql - https://youtu.be/55D9Eu7mUW0 По вопросам обучения на курсах машинного обучения приглашаем в нашу "Школу Больших Данных" Обращаться по телефону: +7 (495) 41-41-121 +7 (995) 100-45-63 Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях: Телеграм-канал: https://t.me/BigDataSchool_ru Facebook: https://www.facebook.com/BigDataSchoolRu/ Вконтакте: https://vk.com/bdschool_mck LinkedIn: https://www.linkedin.com/company/bigdataschoolru/ Twitter: https://twitter.com/BigdataschoolR Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - https://www.bigdataschool.ru!