💻 Программирование [learndataengineering] Инженерия данных на Azure (2025)

[Calvin Candie]

Автор: learndataengineering
Название: Инженерия данных на Azure (2025)

[learndataengineering] Data Engineering on Azure (2025)

Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с различными фреймворками и инструментами, позволяя запускать приложения в мультиоблачной среде, локально или на границе сети (edge).
Что вы изучите на курсе
В этом курсе под руководством Кристиана Бакарича вы создадите потоковый пайплайн обработки данных в Azure на практике. В рамках проекта вы научитесь использовать ключевые сервисы Azure для обработки потока данных с Twitter в формате JSON, включая:

• APIM (API Management) - для приема данных,
• Blob Storage - для хранения,
• Azure Functions - для обработки,
• Cosmos DB - для хранения обработанных данных,
• Power BI - для визуализации данных.

Структура проекта

1. Введение и архитектура
   1. Познакомитесь с общей архитектурой решения и ключевыми компонентами пайплайна.
2. Создание и отправка данных
   1. Напишете JSON-файл с сообщениями, создадите Python-скрипт для отправки объектов в формате JSON через HTTP-запросы в Azure API Management.
3. Разработка и деплой функций Azure
   1. Научитесь создавать и развертывать функции Azure на Python с использованием Visual Studio Code, создадите проект функции с базовой логикой.
4. Интеграция сервисов
   1. Настроите и объедините Event Hubs, Azure Functions и Cosmos DB, научитесь записывать сообщения из Event Hub в Cosmos DB.
5. Визуализация данных в Power BI
   1. Подключите Power BI Desktop к базе Cosmos DB для визуализации данных в реальном времени.

Необходимые знания и требования

• Аккаунт в Azure
• Базовые навыки программирования (Python)
• Основы работы с хранилищами данных
• Основы API (рекомендуется пройти курс «Проектирование и разработка API с FastAPI»)
• Основы работы с очередями сообщений

Материал на английском языке

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.