Calvin Candie
Вечный
Calvin Candie
Вечный
- 2 Сен 2018
- 36,544
- 1,718
Автор: learndataengineering
Название: Контейнеризация ETL c AWS, TDengine и Grafana (2025)
[learndataengineering] Dockerized ETL With AWS, TDengine & Grafana (2025)
Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Материал на английском языке
Подробнее:
Скачать:
Название: Контейнеризация ETL c AWS, TDengine и Grafana (2025)
[learndataengineering] Dockerized ETL With AWS, TDengine & Grafana (2025)
Инженерам данных часто нужно быстро настроить простой ETL-скрипт, который просто выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Что вы изучите
Основы временных баз данных
Познакомитесь с основами работы временных баз данных, их архитектурой и случаями применения.
Работа с публичным API погоды
Настроите и исследуете внешний погодный API, напишете Python-скрипт для чтения данных из API.
Docker-ETL на AWS
Упакуете скрипт в Docker-контейнер и развернете его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Настройка TDengine
Познакомитесь с TDengine, настроите экземпляр через облако TDengine и сконфигурируете базу данных.
Визуализация данных в Grafana
Визуализируете данные из API, сохраненные в TDengine, с помощью Grafana. Узнаете, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Материал на английском языке
Подробнее:
Скрытое содержимое доступно для зарегистрированных пользователей!
Скачать:
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.
