Дата с Димой | Новости из мира BigTech | Эпизод 3

💡 В этом эпизоде обсуждаем свежие новости из мира BigTech, карьерные инсайты, новые технологии, оптимизацию данных, а также влиятельные стартапы и инвестиции. 🎯 Ключевые темы выпуска: 🔹 📦 Snowflake + Iceberg — новые форматы хранения и поддержка Iceberg в Snowflake 🔹 ⚙️ SQLMesh и нишевые тулзы — быстро, гибко, но пока сложно масштабировать 🔹 💾 Big Data ≠ Big Volume — 94% нагрузок укладываются в 10 ТБ, SSD — наше всё 🔹 🏗 DataBricks vs Snowflake — архитектура, ML, рост команд, кто кого 🔹 🧠 Семантический слой — YAML, NLP и осмысленные данные 🔹 🌍 Data Sharing и обмен метриками — как Facebook и Netflix делятся данными 🔹 🕵️‍♂️ Агенты и веб-скрейпинг — как автоматизировать сбор и обработку рыночных данных 🔹 🧑‍⚖️ Маск, Tesla и корпоративная монархия — теория заговора или новое будущее? 🔹 📉 Трамп и экономика — тарифы, эмиграция и как это влияет на рынок недвижимости 🔹 🔓 Open Source рулит — почему большие компании обожают открытые решения 🎥 Хронометраж: 00:00 Введение 00:50 Новые инструменты от вендоров (Iceberg, Lake House) 01:47 Современные аналитические хранилища данных 03:17 Поддержка формата Iceberg в Snowflake 04:32 Особенности SQL Mesh и его применение 06:59 Реальные объемы Big Data и использование SSD 09:29 Использование Street-таблиц в Snowflake 10:57 Преимущества Delta-формата и Liquid Clustering 13:06 Рейтинг популярности платформ Snowflake и DataBricks 14:04 Сравнение компаний DataBricks и Snowflake 16:18 Развитие агентов в экосистеме DataBricks 18:01 Важность семантического слоя и метрик для AI агентов 20:29 Архитектура Lakehouse в DataBricks 23:27 Инструменты оптимизации в DataBricks (Spark, Photon) 26:36 Обзор инструментов для стриминга данных 27:33 Сравнение подходов ML в Snowflake и DataBricks 29:16 Возможности Data Sharing в DataBricks 30:41 Сравнение дашбордов в DataBricks и Snowflake 32:10 Роль агентов в онлайн-торговле и инвестициях 34:06 Веб-скрепинг и использование агентов 36:09 Влияние экономической политики Трампа 37:38 Обмен данными между Netflix и Facebook 38:35 Анализ и визуализация трафика 40:18 Проблемы и конфликты вокруг Tesla 42:11 Мнение Сергея Брина о 60-часовой рабочей неделе 43:59 Технофашизм и корпоративная монархия 44:59 Влияние Open Source на индустрию 48:38 Использование стиля Ghibli и вопросы авторского права 50:36 Компании Илона Маска и их финансовое положение 51:23 Cloudflare, ИИ и вопросы кибербезопасности 52:16 Проблемы с поиском работы и увольнениями 54:38 Три-модальный подход к трудоустройству 56:35 Как правильно оценивать качество работы 58:01 Проблемы программ Imbibition и карьерных гарантий 58:59 Недостатки переквалификации и актуальность навыков 01:01:34 Реальные проблемы с трудоустройством в IT 01:02:33 Стартапы и сложности привлечения инвестиций 01:04:23 Востребованность облачных технологий и курсы 01:06:20 Значение soft skills в IT-командах 01:08:53 Современные инновации Apple 01:10:35 Как совмещать работу и отдых 01:11:35 Эффективность работы после 30 лет 01:11:54 Инструмент DROU для моделирования баз данных ⚡ Не забывайте ставить лайк, подписываться и делиться этим видео с друзьями! ❤️📢 💡 Источники: https://aws.amazon.com/blogs/storage/connect-snowflake-to-s3-tables-using-the-sagemaker-lakehouse-iceberg-rest-endpoint/ https://duckdb.org/2025/03/14/preview-amazon-s3-tables.html https://duckdb.org/2025/03/12/duckdb-ui https://delta.io/blog/liquid-clustering/ https://www.databricks.com/blog/genie-conversation-apis-public-preview https://docs.databricks.com/aws/en/lakehouse-architecture/reference https://www.databricks.com/product/business-intelligence https://github.com/mendableai/firecrawl https://www.financialsamurai.com/ https://www.newyorker.com/culture/infinite-scroll/techno-fascism-comes-to-america-elon-musk https://www.anthropic.com/news/model-context-protocol https://github.com/ahujasid/blender-mcp https://blog.cloudflare.com/ai-labyrinth/ https://www.instagram.com/pubity/p/DG-YawGvYhG/?img_index=1 https://dagster.io/blog/python-packages-primer-1 https://yandex.cloud/ru/training/compute https://www.linkedin.com/posts/roy-lee-goat_i-just-got-kicked-out-of-columbia-for-taking-activity-7310834407433453568-tqAm https://github.com/astronomer/airflow-ai-sdk https://www.bloomberg.com/news/articles/2025-03-14/apple-s-siri-chief-calls-ai-delays-ugly-and-embarrassing-promises-fixes https://github.com/drawdb Ссылки: 🛠️ Телеграм Канал: https://t.me/rockyourdata 🛠️ Сайт: dataengineer.ru 🛠️ Валютная удаленка: surfalytics.com