💻 Программирование [learndataengineering] Azure Data Pipelines с Terraform (2025)

[Calvin Candie]

Автор: learndataengineering
Название: Azure Data Pipelines с Terraform (2025)

[learndataengineering] Azure Data Pipelines with Terraform (2025)

Azure становится всё более популярной платформой для компаний, использующих экосистему Microsoft365. Если вы хотите прокачать свои навыки инженера данных, то умение работать с Azure и автоматизировать инфраструктуру с помощью Terraform - ключевые компетенции. Именно поэтому мы создали этот курс «Azure ETL с Terraform».
На практическом проекте вы научитесь строить полноценное решение для обработки данных в Azure, объединяя возможности Terraform, Azure Data Factory, Synapse Analytics и Power BI.
Вы создадите полностью автоматизированный ETL-процесс:

• Извлечёте данные из внешнего API
• Обработаете их с помощью мощных инструментов Azure
• Подготовите данные для визуализации

В процессе работы вы реализуете архитектуру Lakehouse и Medallion (слои Bronze, Silver, Gold), чтобы ваш пайплайн был эффективным и масштабируемым.
В конце курса вы не только освоите принципы построения современных пайплайнов данных и автоматизации инфраструктуры, но и получите полноценный практический проект для вашего портфолио.
Что вы изучите на курсе
Введение в Azure и Terraform
Познакомитесь с ролью Azure в современном дата-ландшафте и ключевыми сервисами для инженеров данных: Data Factory, Data Lake и Synapse Analytics. Разберётесь, как Terraform помогает управлять ресурсами инфраструктуры как кодом (IaC), делая их создание и сопровождение масштабируемыми и надёжными.
Практическая настройка
Установите Terraform, настроите его для работы с Azure. Создадите Service Principal, настроите аутентификацию для безопасного автоматизированного развертывания ресурсов и подготовите рабочую среду для управления ресурсами.
Основы Terraform
Разберётесь в структуре проекта на Terraform, изучите основные команды и принципы модульной разработки.
Научитесь:

• Разворачивать Azure Data Factory для оркестрации пайплайнов
• Настраивать Azure Data Lake Storage для хранения данных (слой Bronze)
• Разворачивать Synapse Analytics для обработки данных
• Освоите написание переиспользуемого и масштабируемого кода на Terraform.

Реальное развертывание
Начнёте развертывание компонентов пайплайна: подключите Azure Data Factory к внешнему Soccer API для загрузки данных, настроите Azure Data Lake для хранения «сырых» данных. Вы научитесь совмещать ручные и автоматизированные подходы, как это делают в реальных проектах.
CI/CD для инфраструктуры
Разберётесь, как применять принципы CI/CD для инфраструктуры с помощью Terraform и Azure DevOps. Изучите:

• Continuous Integration (CI): автоматическая сборка, тестирование и проверка кода
• Continuous Deployment (CD): автоматическое развертывание инфраструктуры и обновление приложений
• Научитесь интегрировать Terraform в CI/CD-пайплайны, чтобы ваши развертывания были стабильными, повторяемыми и быстрыми.

Что будет дальше
В следующих частях курса вас ждёт углублённое изучение:

• Интеграции с API (на примере Soccer API)
• Расширенных возможностей Azure Data Factory для пакетной обработки данных
• Продвинутой обработки данных в Synapse Spark
• Оптимизации архитектуры Lakehouse для работы с большими объёмами данных и совместной работы в команде
• Полной автоматизации пайплайнов развертывания для репликации инфраструктуры в разных средах

Материал на английском языке

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.