Awesome Data Engineering. Дорожная карта Data Engineer RoadMap

Data Engineer RoadMap — изучение тем по инженерии данных

На странице «Awesome Data Engineering Learning Sources» вы найдете отобранный список ресурсов для изучения Data Engineering.

Если Вы интересуетесь инженерией данных и хотите понять, какие знания необходимы и где их получить с минимальным бюджетом — Вы на правильной странице!

Также рекомендую подписываться на мой телеграм канал Data Engineering.

SQL

1. sql-ex.ru — один из лучших тренажеров по sql, который вы можете найти в рунете. Регистрируйтесь и занимайтесь абсолютно бесплатно. SQL — тот скилл, который нужно прокачать на 100%, чтобы работать с данными.
2. Оконные функции SQL (Stepik) — платно, но не запредельно. Пройдя этот курс вы на 99% закроете все вопросы с оконками (нужно очень постараться не понять этот великолепный метериал).

Базы данных

• SQL & Hibernate (лекции JavaRush) — Этот квест посвящен продвинутому изучению БД в разрезе задач разработчика.
• Введение в базы данных (Stepik, бесплатно) — хороший курс, чтобы погрузиться в проектирование и нормализацию БД, плюс бесплатно получить сертификат степика.

Database fundamentals

YouTube:

• Highload 6. Базы данных. Репликация. Шардинг
• PlayList «Базы данных» (Индексы, НФ, Внешние ключи, Транзакции и т.п.)
• PlayList Курс · Базы данных (весна 2017)
• Нормальные формы базы данных. Три нормальных формы, нормализация и денормализация БД
• База по Базам Данных — Storage (Индексы, Paging, LSM, B+-Tree, R-Tree) | Влад Тен Систем Дизайн — Очень рекомендую глянуть

Статьи:

• Нормализация
• ACID
• CAP теорема
• OLTP vs OLAP
• Вертикальное и горизонтальное масштабирование:
  • Масштабирование БД в высоконагруженных системах
  • Горизонтальное масштабирование. Что, зачем, когда и как?
  • Масштабирование баз данных

Подборка материалов по теме «Индексы в БД»

• Статья:
  • Влияние индексов БД на производительность выборки данных
  • Обслуживание индексов MS SQL Server: как, когда и, главное, зачем?
  • 14 вопросов об индексах в SQL Server, которые вы стеснялись задать
• YouTube:
  • Что такое SQL ИНДЕКСЫ за 10 минут: Объяснение с примерами
  • ИНДЕКСЫ В БАЗАХ ДАННЫХ. СОБЕС В OZON
  • Как устроен B-TREE индекс в базах данных
  • EXPLAIN в базах данных за 10 минут
  • Андрей Сальников — Индексы в PostgreSQL. Как понять, что создавать
  • Оптимизация запросов с помощью индексов
  • Какие бывают индексы | ХЭШ-ИНДЕКС, SSTABLES, LSM-TREE, B-TREE

Data Engineering

1. https://datalearn.ru/ — бесплатно, Дмитрий Аношин с коллегами проделали большую работу (подписывайтесь и занимайтесь)
2. A Guide to Free Online Courses at DataTalks.Club
   • Data Engineering Zoomcamp — на английском языке периодически проходят занятия бесплатно.
3. Data Engineer с нуля до junior (Stepik) — платно, но очень бюджетно можно пройтись почти по всем нужным инструментам. Плюс электронный сертификат получите!
4. Книга на русском языке: Основы инженерии данных (ссылка на озон, перевод o’reilly) — очень советую купить и читать постоянно (описаны базовые вещи по всему, что касается работы DE, без привязки к инструментам).
5. Data Engineering Wiki
6. Data Engineering Handbook for beginners and everyone (источник github)
7. YouTube:
   • курс Инженерия данных v1 PlayList
8. Data Engineering Handbook
   • Сайт: https://karlchris.github.io/data-engineering/
   • GitHub: https://github.com/karlchris/data-engineering/

Skills: Навыки дата инженера. Матрица компетенций

В этом пункте описаны компетенции, которыми должен обладать дата инженер в зависимости от грейда.

• Профили инженеров Авито Playbook (здесь не про data engineer, но будет полезно тоже)
• Habr:
  • Матрица уровней дата инженеров Amazon
  • Кто такой data-инженер в Тинькофф и как им стать
• YouTube:
  • Data Engineer 2022 | Дорожная карта | Александр Савченко | karpov.courses
• Другое:
  • Become a Data Engineer in 2025 (Based on 100 jobs data!) — список скиллов на основе зарубежных вакансий (Eng)

Python

Для старта 2 варианта:
1. Программирование на Python (этот вариант быстрее) — бесплатно
или
1. «Поколение Python»: курс для начинающих (сильно дольше) — бесплатно

После начала точно стоит пройти курс:
2. «Поколение Python»: курс для продвинутых — бесплатно, очень советую этот курс.

Для тех, кто хочет дальше развиваться в Python:

3. Поколение Python Курс для профессионалов и ООП. Купить можно на степике, или же на самом сайте со скидкой в разделе акции https://pygen.ru/sale#promo (сам купил оба со скидкой, не реклама).

Алгоритмы и структуры данных

1. https://coderun.yandex.ru/catalog — Каталог задачек от Яндекса — альтернатива LeetCode
2. https://ru.algorithmica.org/ — Алгоритмика
3. GitHub: All algorithms implemented in Python — for education
4. https://leetcode.com — основной ресурс, где разработчики качают навыки решения алгоритмических задач

Разработка:

• Чеклист для разработчиков по подготовке к техническому собеседованию — не про data engineering, но будет полезно

Книги:

• Грокаем алгоритмы. 2-е изд. | Бхаргава Адитья — погуглите, чтоб найти книжку

YouTube:

• PlayList Курс · Алгоритмы и структуры данных

Stepik:

• Алгоритмы: теория и практика. Структуры данных (бесплатно + сертификат Stepik)
• Алгоритмы: теория и практика. Методы (бесплатно + сертификат Stepik)
• Алгоритмы и структуры данных: ознакомительный курс (бесплатно + сертификат Stepik)
• Алгоритмы и структуры данных (курс без сертификата)
• Алгоритмы: теория и практика. Структуры данных. МНМЦ СПбГУ (курс без сертификата)

Airflow

1. Apache Airflow для аналитика — платно (пока курс не доступен, цена временно высокая)
2. Habr:
   • Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
   • Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
   • Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG
   • Знакомство с Apache Airflow: установка и запуск первого DAGа
3. Sber: Руководство по использованию AirFlow (оркестратор для задач ETL)
4. YouTube: ВВЕДЕНИЕ В AIRFLOW / ПОНЯТИЕ DAG’а / НАСТРОЙКА DAG’а В AIRFLOW
5. Книга «Apache Airflow и конвейеры обработки данных» (платно купить)
6. YouTube Eng:
   • Apache Airflow Tutorial for Beginners PlayList
7. YouTube Ru:
   • 5 Оркестраторы и работа с Airflow
8. Еще есть такой вот бесплатный курс Apache Airflow 2.2: практический курс

dbt

1. dbt Fundamentals — бесплатный курс от вендора на английском языке
2. YouTube 5 video на русском (плейлист):
   • Введение в dbt. Что это такое и зачем нужно
   • Модели в dbt
   • dbt: источники и сиды
   • dbt. Снэпшоты и метрики
   • dbt. Jinja и шаблоны
3. Статьи Хабр:
   • Введение в dbt шаг за шагом
   • Data Build Tool или что общего между Хранилищем Данных и Смузи
   • Что такое dbt и зачем он нужен маркетинг-аналитику
4. YouTube 2 видео «Курс по dbt с нуля»:
   • Занятие 1. Преимущества dbt. Запускаем dbt из docker в связке с ClickHouse
   • Занятие 2.2. Особенности установки на Windows. Запуск Clickhouse в wsl 2
5. DataLearn
   1. YouTube ВВЕДЕНИ В DBT / СОЗДАНИЕ МОДЕЛЕЙ ПРИ ПОМОЩИ DBT / УПРАВЛЕНИЕ ТРАНСФОРМАЦИЕЙ ДАННЫХ / РИШАТ МИНГАЗОВ
   2. Telegram Запись трансляции 🧠 dbt: С ЧЕГО НАЧАТЬ? | Вебинар с Дмитрием Аношиным
   3. Telegram Начало работы с DBT | Часть 2
6. Статья: Обучение dbt. dbt-clickhouse Tutorial. Описание run model data
7. DBT Tutorial 12 videos YouTube Playlist — видео на английском
8. YouTube Video Введение в dbt: основы моделирования данных — на русском языке
9. YouTube Марк Порошин — Data Vault на Greenplum c помощью DBT
10. Перевод главы «Введение в dbt» из книги Unlocking dbt
11. YouTube — Курс по dbt для инженеров данных — большой подробный курс на русском языке

GitLab

1. YouTube:
   • Git. GitLab — плейлист:
     • 01-GitLab. Devops система. Установка в локальной сети. Настройка
     • Git и GitHub для начинающих
     • 02-GitLab clone по SSH. Настройка SSH для Linux и Windows
     • 03- DevOps практика: GitlLab CI+Runners. Создание CI CD Pipeline
     • 04 GitLab: Свой Docker Registry. Создание и подключение
   • GIT — Полный Курс Git и GitHub Для Начинающих [4 ЧАСА]
   • GIT: Merge или Rebase? В чем разница?
   • Git и GitHub Курс Для Новичков

Docker

1. YouTube:
   • Docker для Начинающих – Полный Курс
   • Docker Для Начинающих за 1 Час | Docker с Нуля
2. Статья Docker и Docker-Compose Tutorial

Spark

1. PySpark:
   • https://www.sparkplayground.com/tutorials — здесь можно изучить работу со спарком (на английском)
   • https://www.sparkplayground.com/playground — здесь можно потренироваться онлайн
2. YouTube:
   • Apache Spark для Джуна | Что такое Spark и как он работает?
   • МИТАП «Apache Spark за 2 часа — для нетерпеливых»_20 апреля 2022г
   • МИТАП: «Установка Apache Spark — это просто»_11 мая 2022г
   • МИТАП: «Spark или pandas? Spark и pandas!»
   • МИТАП: «Работа с источниками данных в Apache Spark»_ 14 июня 2022 года
   • МИТАП: «Использование SQL для работы с данными в Apache Spark»_29 июня 2022г
   • Анализируем данные с помощью фреймворка Spark
3. YouTube DataLearn:
   • PlayList — DE-101 | Модуль 7 — APACHE SPARK
   • Отдельный вебинар — ВВЕДЕНИЕ В PYSPARK И SPARKSQL / ОЛЕГ АГАПОВ
4. Stepik:
   • pySpark: Spark на Python

ClickHouse

1. Оптимизация SQL запросов на примере ClickHouse (Stepik) — бесплатный курс
2. ClickHouse для аналитика (курс будет доступен с 1 Января, цена снизится — пока курс на доработке)
3. Статья: Заметки про ClickHouse. Tutorial 101 — Большая подборка информации
4. Статья: Как данные физически хранятся в таблице MergeTree() в ClickHouse?
5. YouTube:
   • Kafka и Clickhouse — как организовать взаимодействие // Демо-занятие курса «Apache Kafka»
   • Что правда из того, что говорят про Clickhouse
   • Курс по ClickHouse (Амелин Владимир)
6. Курсы от Яндекса (бесплатные):
   • Managed Service for ClickHouse — можно получить сертификат, бесплатно
   • ClickHouse для инженеров и аналитиков (Stepik, без сертификата)

Kafka

1.  YouTube:
   • Про Kafka (основы)
   • Лучший Гайд по Kafka для Начинающих За 1 Час
   • Андрей Серебрянский — Грузим в Kafka из базы: с CDC и без
   • Kafka vs. RabbitMQ vs. Messaging Middleware vs. Pulsar
   • Unlock the Power of Event-Driven Architecture: How Netflix & Uber Handle Billions of Events
   • Основы Kafka для тестировщиков. Apache Kafka for QA

DuckDB

1. YouTube RU: Разработка data приложений на DuckDB
2. YouTube Eng:
   • DuckDB Tutorial — DuckDB course for beginners
   • DuckDB Tutorial For Beginners

Apache Iceberg

1. Книги:
   • Apache Iceberg. Полное руководство (ozon, перевод книги на русский язык)
2. Подборка материалов на английском про айсберг — Apache Iceberg 101 – Your Guide to Learning Apache Iceberg Concepts and Practices на сайте dremio.com
3. На канале YouTube Dremio тоже много плейлистов по Apache Iceberg
4. YouTube Eng:
   • Data Lake Fundamentals, Apache Iceberg and Parquet in 60 minutes on DataExpert.io
   • What is Apache Iceberg?
5. YouTube Ru:
   • Зачем Apache Iceberg, если уже есть много других форматов
6. Статья по Apache Iceberg: Введение в Apache Iceberg. Основы, архитектура, как работает?

Trino

1. Статьи:
   • Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов
   • MPP-движок для Big Data: архитектура и принципы работы Trino
   • Мой опыт эксплуатации кластера Trino
2. smartdataconf:
   • Владимир Озеров — Быстрая обработка данных в Data Lake с помощью Trino
   • Презентация PDF
3. YouTube:
   • Trino Meetup #1: Как пересесть на Trino после Vertica: реальный кейс Авито, Дмитрий Рейман
   • Trino Meetup #1: Архитектура оптимизатора Trino, Владимир Озеров
   • Trino Meetup #2: Trino в Тинькофф, Дмитрий Зуев
   • Trino Meetup #2: Как ускорить работу Trino с Data Lake c помощью кэширования, Владимир Озеров

Проектирование хранилищ данных + методологии построения DWH

Общая статья:

• Проектирование DWH. Data Modeling. Kimball, Data Vault 2.0, Anchor Modeling

Статьи по Data Vault:

• Перевод 1 Главы — Введение в хранилища данных
• Перевод 2 Главы — Масштабируемая архитектура хранилища данных
• Перевод 3 Главы — Методология Data Vault 2.0
• Перевод 4 Главы — Моделирование Data Vault 2.0 — Что такое Hub / Link / Satellite?
• Перевод 5 Главы – Intermediate Моделирование Data Vault
• Перевод 6 Главы — Продвинутое моделирование Data Vault 2.0 — Advanced Data Vault Modeling
• Перевод 7 Главы — Dimensional Modeling (Data Vault 2.0)

Системный дизайн

YouTube:

• PlayList System Design (Interview Pen) — English
• Data Engineer тренирует System Design секцию. Собеседует @halltape | rzv_de | Aug 2024
• System Design — теория шардирования | Как масштабировать базы данных
• Как кэшировать данные | Теория кэширования — System Design
• Проектирование баз данных за 40 минут. Практика
• PlayList Системный дизайн (Eugene Suleimanov)
• PlayList System Design Fundamentals (ByteByteGo)
• PlayList System Design. Kleppman (Владимир Невзоров) — Разбор глав книги «Высоконагруженные приложения»
• Как подготовиться и пройти System Design Interview. Александр Поломодов
• Владимир Маслов — System Design. Как построить распределенную систему и пройти собеседование

Другое:

• 01. SAGA pattern. Хореография и Оркестрация — микросервисы
• ЭТОТ Паттерн Спрашивают на 99% Собесов
• Филипп Вагнер «Распределенные транзакции в условиях микросервисной архитектуры»

Форматы хранения данных

Apache Parquet

1. YouTube Eng:
   • An introduction to Apache Parquet
   • Parquet File Format — Explained to a 5 Year Old!

Apache Arrow

• YouTube:
  • Игорь Селивёрстов — Apache Arrow. В погоне за скоростью

Linux & DevOps

• YouTube:
  • PlayList «Linux by REBRAIN» — Онлайн-практикумы Linux для специалистов в IT (40 видео) — системных администраторов, сетевых инженеров, разработчиков, Devops-инженеров, технических / релизных менеджеров.
  • PlayList «Обучение DevOps» — 7 базовых видео

Тестирование

• YouTube Pytest Курс

Сборники информации по Awesome Data Engineering

• https://github.com/igorbarinov/awesome-data-engineering — A curated list of awesome things related to Data Engineering.
• https://github.com/halltape/HalltapeRoadmapDE — Roadmap для Data Engineer. Цель роадмапа – устроиться тебе на работу!
• https://github.com/data-burst/data-engineering-roadmap — Data Engineering Roadmap
• https://github.com/sonhmai/data-systems-design — System Design, Solution Architecture, Data Systems Practice
• https://github.com/DataExpert-io/data-engineer-handbook — The Data Engineering Handbook
• https://github.com/DataTalksClub/data-engineering-zoomcamp — Data Engineering Zoomcamp: A Free 9-Week Course on Data Engineering Fundamentals
• https://github.com/Data-Learn/data-engineering — Getting Started with Data Enngineering — datalearn.ru
• https://maelfabien.github.io/bgd/# — A series of articles dedicated to Big Data analytics and Data Engineering.

Подборка каналов на YouTube про DWH/DataLake/Data Engineering на русском языке

1. Avito DWH Плейлист
2. Т-Банк (T-Meetup) — DWH, GreenPlum
3. SmartData все плейлисты
4. Data Platform Yandex
5. DataOffice Ростелеком PlayList YouTube
6. Лекции в МГТУ им. Баумана: Deep dive into SQL and DWH. Пишем эффективные аналитические запросы
7. Отдельно хочется выделить канал HighLoadChannel, на котором много ИТ докладов не только по Data
8. OTUS IT Онлайн — образование — здесь можно посмотреть какие-то вводные вебинары по инструментам, а дальше по документации продолжить изучение
9. YouTube PlayList: Создание хранилища данных — Владимир Амелин