💻 Программирование [David Reger] Основы Apache Iceberg (2025)

[Calvin Candie]

Автор: David Reger
Название: Основы Apache Iceberg (2025)



Apache Iceberg — один из ключевых стандартов Lakehouse-архитектуры. Этот курс даёт не просто команды, а понимание того, как система работает изнутри и как применять её в реальных проектах.

Что даёт курс:

• понимание внутренней архитектуры Iceberg
• навык работы с Lakehouse-подходом
• умение строить надёжные дата-пайплайны
• оптимизацию работы с большими данными
• практический опыт, приближенный к production

Ключевые навыки:

• проектирование Iceberg-таблиц
• управление схемами и версиями данных
• работа с метаданными и снапшотами
• оптимизация запросов
• понимание каталогов и структуры хранения

Почему Apache Iceberg:

• ACID-операции для больших данных
• разделение хранения и вычислений
• гибкая эволюция схем
• поддержка time travel
• высокая производительность на больших объёмах

Практика в курсе:

• Развёртывание среды
  Docker Compose, Spark, REST-каталог и MinIO (S3-совместимое хранилище).
• Создание таблиц
  Работа с PySpark, запись данных и изучение структуры Iceberg.
• Метаданные и версии
  Снапшоты, манифесты, parquet-файлы и их взаимосвязь.
• Эволюция схем
  Добавление и изменение колонок, изменение типов, партиционирование.
• Операции с данными
  DELETE, UPDATE, MERGE и восстановление через time travel.
• Аналитика
  SQL-запросы, join, group by, window-функции и влияние структуры на производительность.

Что вы освоите:

• работу Iceberg «под капотом»
• создание и управление Lakehouse-таблицами
• оптимизацию хранения и запросов
• построение устойчивых пайплайнов
• использование time travel для анализа и отладки

Результат после курса:

• готовая локальная Lakehouse-лаборатория
• набор Jupyter-ноутбуков для практики
• уверенная работа с Iceberg в реальных задачах
• понимание архитектуры современных дата-платформ

Кому подойдёт:

• инженерам данных
• аналитикам
• архитекторам данных
• всем, кто работает с Big Data и Lakehouse

Язык: английский

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.