💻 Программирование [learndataengineering] Инженерия данных на GCP (2025)

[Calvin Candie]

Автор: learndataengineering
Название: Инженерия данных на GCP (2025)

[learndataengineering] Data Engineering on GCP (2025)

Google Cloud Platform (GCP) - одна из самых популярных облачных платформ в мире, предоставляющая обширный набор инструментов и сервисов для построения, управления и оптимизации пайплайнов данных. GCP позволяет эффективно хранить, обрабатывать, анализировать и визуализировать данные, помогая инженерам данных создавать масштабируемые и высокопроизводительные решения.
Что вы изучите на курсе
В этом практическом курсе вы шаг за шагом создадите собственный проект на GCP:

• Извлечёте данные из внешнего API погоды
• Обработаете их через пайплайн с использованием облачных сервисов GCP
• Сохраните данные в серверной базе данных
• Создадите визуализации с помощью Looker Studio

Курс поможет вам освоить GCP с нуля, а полученные навыки будут полезны и при работе с другими облачными платформами, такими как AWS, так как многие сервисы во многом схожи.
В дополнение к курсу, вы получите доступ к репозиторию на GitHub с обзором проекта и готовыми фрагментами кода, которые помогут быстрее повторить примеры из обучения.
Структура курса

• Данные и цели проекта
  • Разберём архитектуру пайплайна, определим цели проекта и познакомимся с API для получения данных о погоде. Также вы научитесь настраивать аккаунт в Google Cloud и активировать необходимые сервисы (кстати, Google предоставляет $300 на бесплатное тестирование платформы!).
• Подготовка проекта
  • Создадите проект в Google Cloud, активируете API и настроите расписания для автоматизации задач.
• Создание пайплайна: извлечение данных из API
• Настроите необходимые ресурсы для работы пайплайна:
  • Серверную базу данных MySQL через Cloud SQL
  • Виртуальную машину на базе Linux через Compute Engine для управления базой
  • Cloud Scheduler для вызова API по расписанию
  • Серверные функции для обработки данных
  • Очередь сообщений Pub/Sub для передачи данных между сервисами
• Запись данных в базу данных
  • Научитесь писать серверные функции для сохранения данных в MySQL, тестировать процесс записи и убедитесь, что данные сохраняются корректно.
• Визуализация данных
  • Настроите Looker Studio для создания наглядных визуализаций: построите графики пузырьковой диаграммы, временные ряды и организуете мониторинг погодных данных.

Этот курс даст вам практический опыт работы с облачными инструментами Google Cloud Platform и поможет развить ключевые навыки для работы инженером данных.

Материал на английском языке

Подробнее:

Скачать:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.