Что такое сериализация и десериализация?

Сериализация (маршалинг) — это процесс преобразования структуры данных или объекта в формат (текстовый или бинарный), пригодный для хранения или передачи (например, в файл, по сети или в базу данных) в рамках взаимодействия между различными системами и/или языками программирования. Форматы сериализации бывают в виде текста (например, JSON, XML, YAML) или в бинарном виде (например, Protobuf, Avro, Thrift, BSON).

Главная цель сериализации: Сделать сложную структуру данных переносимой и пригодной к восстановлению, независимо от среды исполнения (язык, платформа, система).

Десериализация (демаршалинг) — это процесс реконструкции структуры данных или объекта из его сериализованной формы. Он включает в себя интерпретацию сериализованных данных и создание эквивалентного объекта или структуры данных.

Цель десериализации: Получить рабочую структуру данных из сохранённого/переданного формата и использовать её в коде на любом языке.

Почему сериализация важна

• Унификация данных: Форматы сериализации создают единый стандарт, который понимают разные языки и системы.
• Межъязыковое взаимодействие: Службы на Python, Java, Go и других языках могут обмениваться данными, если они сериализованы в понятный им формат (например, JSON, Protobuf).
• Устойчивость к хранению: Сериализация позволяет сохранять состояние объектов (например, в файлах, кэше или базах) и восстанавливать их позже.
• Гибкость: можно сериализовать — примитивы (строки, числа), сложные структуры (списки, словари, объекты), и даже связи между объектами (в некоторых форматах, например Pickle или Thrift).

Сериализация vs Маршалинг

Хотя термины сериализация и маршалинг часто используются как взаимозаменяемые, для разных людей они могут иметь немного разное значение. В некоторых кругах сериализация касается только части перевода, в то время как маршалинг также касается перемещения данных из одного места в другое.

Точное значение каждого термина зависит от того, кого вы спрашиваете. Например, программисты Java склонны использовать слово «маршалинг» в контексте удаленного вызова методов (RMI). В Python «маршалинг» относится почти исключительно к формату, используемому для хранения скомпилированных инструкций байт-кода.

Статья на вики «Marshalling Comparison with serialization».

Как работает сериализация: из структуры — в байты/текст — обратно

Когда программа работает, данные хранятся в оперативной памяти в виде объектов, структур, массивов и т.д. Эти данные нужно преобразовать во внешний формат, пригодный для хранения или передачи. После сериализации структура становится линейной — последовательностью символов или байтов, которую можно передать или сохранить.

Когда нужно использовать эти данные снова — они десериализуются, то есть преобразуются обратно в структуру, понятную языку программирования.

Обобщённая схема:

[ Объект / структура данных ]
           ↓ сериализация
[ Линейный формат: JSON / байты / XML ]
           ↓ (отправка / хранение)
[ Передача / сохранение / чтение из файла ]
           ↓ десериализация
[ Объект / структура данных (в памяти) ]

Форматы сериализации

В распоряжении инженеров данных имеется множество алгоритмов и форматов сериализации. Хотя обилие вариантов становится серьезным источником проблем при выполнении инженерии данных, они также открывают широкие возможности для повышения производительности. Мы сталкивались с ситуациями, когда производительность работы повышалась в 100 раз просто за счет перехода сериализации от CSV к Parquet. По мере продвижения данных по конвейеру инженеры также будут управлять повторной сериализацией — преобразованием данных из одного формата в другой. Иногда инженерам данных не остается ничего кроме принятия данных в древнем, неприглядном виде. Они должны разработать процессы десериализации этого формата и обработки исключений, а затем очистить и преобразовать данные для согласованной и быстрой последующей обработки и потребления.

Сериализация на основе строк

Как следует из названия, сериализация на основе строк организует данные по строкам. Формат CSV представляет собой архетипический формат на основе строк. Для полуструктурированных данных (объектов данных, поддерживающих вложенность и вариативность схемы) сериализация на основе строк подразумевает хранение каждого объекта как единицы.

CSV: Нестандартный стандарт

Это формат сериализации, заслуживший нелюбовь инженеров данных. Термин CSV (Comma-Separated Values — файлы данных с разделителями-запятыми) — это, по сути, общее обозначение разделенного текста, но существует гибкость в соглашениях об экранировании, символах кавычек, разделителях и т.д.

Инженерам данных следует избегать использования СSV-файлов в конвейерах, поскольку они подвержены большому количеству ошибок и имеют низкую производительность. Инженерам часто приходится использовать формат CSV для обмена данными с неподконтрольными им системами и бизнес-процессами. CSV стал распространенным форматом для архивирования данных. Если вы используете CSV для архивирования, включите полное техническое описание конфигурации сериализации для ваших файлов, чтобы будущие потребители могли получить эти данные.

XML

Расширяемый язык разметки (Extensible Markup Language, XML) был популярен во времена появления HTML и Интернета, но сейчас он рассматривается как устаревший. Он, как правило, медленно десериализуется и сериализуется для приложений из сферы инженерии данных. XML — еще один стандарт, с которым часто приходится взаимодействовать инженерам данных при обмене данными с унаследованными системами и программным обеспечением. JSON в значительной степени заменил XML для сериализации объектов в виде обычного текста.

JSON и JSONL

JavaScript Object Notation (JSON) стал новым стандартом для обмена данными через API, а также чрезвычайно популярным форматом для хранения данных. В контексте баз данных популярность JSON начала быстро расти с появлением MongoDB и других хранилищ документов. Такие базы данных, как Snowtlake, BigQuery и SQL Server, также имеют широкую встроенную поддержку, что облегчает обмен данными между приложениями, API и системами баз данных.

JSON Lines (JSONL) — это специализированная версия JSON для хранения объемных полуструктурированных данных в файлах. JSONL хранит последовательность JSОN-объектов, причем объекты разграничиваются разрывами строк. Чрезвычайно удобный формат для хранения данных сразу после их что JSONL — поглощения из API или приложений. Однако многие столбцовые форматы обеспечивают значительно более высокую производительность. Рассмотрите возможность перехода на другой формат для промежуточных этапов конвейера и предоставления данных.

Пример JSONL:

Avro

Avro — это формат данных на основе строк. Он предназначен для выполнения RPC и сериализации данных. Avro кодирует данные в двоичный формат, а метаданные схемы указываются в формате JSON.

Avro популярен в экосистеме Hadoop, а также поддерживается различными инструментами для работы с облачными данными.

Сериализация столбцов

Рассмотренные до сих пор форматы сериализации ориентированы на работу со строками. Данные кодируются в виде полных отношений (XML и JSON), последовательно записываемых в файлы.
При сериализации столбцов, организация данных, по сути, сводится к хранению каждого столбца в отдельном наборе файлов. Одним из очевидных преимуществ хранения на основе столбцов можно считать возможность считывания данных только из подмножества полей, а не выполнять считывание сразу всех строк. Такой сценарий часто встречается в аналитических приложениях и позволяет значительно сократить объем данных, требующих сканирования для выполнения запроса.

При хранении данных в виде столбцов одинаковые значения также располагаются рядом друг с другом, что позволяет эффективно кодировать столбцовые данные.

Один из распространенных методов — поиск повторяющихся значений и их токенизация. Это простой, но очень эффективный метод сжатия для столбцов с большим числом повторений.
Даже если столбцы не содержат большого количества повторяющихся значений, в них может наблюдаться высокая избыточность. Предположим, что мы организовали сообщения службы поддержки клиентов в один столбец данных. Скорее всего, в этих сообщениях мы снова и снова будем встречать одни и те же темы и словосочетания, что позволяет алгоритмам сжатия данных достичь высокого коэффициента. По этой причине хранение на основе столбцов обычно сочетается со сжатием, что позволяет максимально эффективно использовать ресурсы диска и пропускной способности сети.

У хранения на основе столбцов и сжатия есть и определенные недостатки.

Отсутствие возможности легко получить доступ к отдельным записям данных влечет за собой необходимость восстанавливать записи путем считывания данных из нескольких файлов на основе столбцов.

Изменение записей также сопряжено с определенными трудностями. Чтобы изменить одно поле в одной записи, мы должны распаковать файл на основе столбцов, изменить его, снова запаковать и записать обратно в хранилище. Чтобы избежать полной перезаписи столбцов при каждом обновлении, столбцы разбиваются на множество файлов, обычно с использованием стратегий разбиения и кластеризации. Таким образом можно организовать данные в соответствии с шаблонами запросов и изменений для таблицы. Но даже в этом случае накладные расходы на обновление одной строки просто чудовищны.

Базы данных на основе столбцов плохо подходят для транзакционных рабочих нагрузок, поэтому в транзакционных базах данных обычно используется та или иная форма хранения, ориентированная на строки или записи.

Parquet

Parquet хранит данные в формате столбцов и предназначен для обеспечения отличной производительности чтения и записи в среде озера данных. Формат Parquet решает несколько часто возникающих у инженеров данных проблем.

В отличие от CSV, данные в кодировке Parquet содержат информацию о схеме и поддерживают вложенные данные.

Кроме того, Parquet — переносимый формат: если такие базы данных, как BigQuery и Snowflake, сериализуют данные в собственных форматах на основе столбцов и обеспечивают отличную производительность запросов к данным, хранящимся внутри, то при взаимодействии с внешними инструментами происходит огромный спад производительности. Данные должны быть десериализованы, пересортированы в удобный для обмена формат и экспортированы для использования таких инструментов для работы с озерами данных, как Spark и Presto.

Раrquеt-файлы в озере данных могут оказаться лучшим вариантом по сравнению с запатентованными облачными хранилищами данных в многоязыковой инструментальной среде.
Формат Parquet используется с различными алгоритмами сжатия, особенно популярны оптимизированные по скорости алгоритмы, такие как Snappy (рассматривается далее в этом приложении).

ORC

Optimized Row Columnar (ORC) — это столбцовый формат хранения данных, аналогичный Parquet. ORC был очень популярен в системе Apache Hive. Хотя он по прежнему широко используется, в целом мы видим его гораздо реже, чем Apache Parquet, и он пользуется несколько меньшей поддержкой в современных инструментах облачной экосистемы. Например, Snowtlake и BigQuery поддерживают импорт и экспорт файлов Parquet. Они также могут считывать данные из файлов ORC, но ни один из указанных инструментов не может экспортировать их в этот формат.

Apache Arrow или сериализация в памяти

Программное обеспечение может хранить данные в сложных объектах, разбросанных по памяти и связанных указателями, или в более упорядоченных, плотно упакованных структурах, таких как массивы в Фортране и Си.

Как правило, плотно упакованные структуры данных в памяти ограничивались простыми типами (например, фиксированной ширины (например, строками INT64) или структурами данных фиксированной ширины).

Более сложные структуры (например, JSОN-документы) не могут плотно храниться в памяти и требуют сериализации для хранения и передачи между системами.

Идея фреймворка Apache Arrow 1 заключается в том, чтобы переосмыслить сериализацию,  используя формат данных, подходящий как для обработки в памяти, так и для экспорта.

Это позволяет избежать накладных расходов на сериализацию и десериализацию — мы просто используем один и тот же формат для обработки в памяти, экспорта по сети и долговременного хранения. Arrow базируется на столбцовом хранении, где каждый столбец, по сути, получает свои собственные фрагменты памяти. Для вложенных данных мы используем технику измельчения, помогающую сопоставлять каждое место в схеме JSОN-документов с отдельным столбцом.

Эта техника означает, что можно хранить файл данных на диске, передавать его непосредственно в адресное пространство программы, используя виртуальную память, и начинать выполнять запрос к данным без накладных расходов на десериализацию. Фактически мы можем подкачивать фрагменты файла в память помере его сканирования, а затем выгружать их обратно, чтобы избежать нехватки памяти при работе с большими наборами данных.

Одно из очевидных неудобств при таком подходе заключается в том, что разные языки программирования по-разному сериализуют данные. Для решения этой проблемы в рамках проекта Arrow были созданы программные библиотеки для различных языков программирования (включая С, Go, Java, JavaScript, МА TLAB, Python, R и Rust), позволяющие этим языкам взаимодействовать с данными Arrow в памяти.

В некоторых случаях эти библиотеки используют интерфейс между выбранным языком и низкоуровневым кодом на другом языке (например, С) для чтения и записи из Arrow. Это обеспечивает высокую совместимость между языками без дополнительных накладных расходов на сериализацию.

Например, программа на языке Scala может использовать библиотеку Java для записи данных Arrow, а затем передать их в виде сообщения программе на языке Python.

Arrow быстро находит применение в различных популярных фреймворках, таких как Apache Spark. Компания Arrow также выпустила новый продукт для хранения данных — Dremio. Он представляет собой платформу, состоящую из системы запросов и хранилища данных, построенную на основе сериализации Arrow для поддержки быстрых запросов.

Гибридная сериализация

Мы используем термин «гибридная сериализация» для обозначения технологий, сочетающих несколько методов сериализации или интегрирующих сериализацию с дополнительными уровнями абстракции, такими как управление схемами. В качестве примеров приведем Apache Hudi и Apache Iceberg.

Hudi

Hudi означает Hadoop Upserts Deletes Incrementals. Эта технология управления таблицами сочетает в себе несколько методов сериализации, что обеспечивает производительность столбцовых баз данных при аналитических запросах и одновременно поддерживает Hudi — атомарные, транзакционные обновления.

Типичное приложение — это таблица, обновляемая из потока CDC, поступающего из базы данных транзакционного приложения. Поток перехватывается в формате сериализации, ориентированном на строки, а основная часть таблицы сохраняется в столбцовом формате. Запрос работает как со столбцами, так и со строками, возвращая результаты для текущего состояния таблицы. Периодически выполняется процесс переупаковки, объединяющий строковые и столбцовые файлы в обновленные файлы на основе столбцов для повышения эффективности запросов.

lceberg

Iceberg представляет собой технологию управления таблицами. Iceberg может отслеживать все файлы, составляющие таблицу. Этот формат также позволяет отслеживать файлы в каждом моментальном снимке таблицы с течением времени, что дает возможность перемещаться во времени по таблице в среде озера данных. lceberg поддерживает эволюцию схемы и может легко управлять таблицами петабайтного масштаба.

По Iceberg рекомендую статью «Введение в Apache Iceberg. Основы, архитектура, как работает?»

Другие форматы

Protocol Buffers (Protobuf)

Protocol Buffers (или Protobuf) — это бинарный формат сериализации данных, разработанный Google. Он позволяет эффективно и компактно описывать и передавать структурированные данные между программами, особенно в распределённых и микросервисных системах.

Работает это примерно следующим образом:

• Пишется структура данных в .proto-файле.
• С помощью protoc (компилятора) генерируются классы для нужного языка.
• Эти классы позволяют сериализовать и десериализовать данные в бинарный формат.

Пример .proto файла:

syntax = "proto3";

package events;

// Время — всегда полезно для потоков
import "google/protobuf/timestamp.proto";

message OrderEvent {
  string order_id = 1;
  string user_id = 2;
  repeated OrderItem items = 3;
  double total_amount = 4;
  google.protobuf.Timestamp created_at = 5;
  OrderStatus status = 6;
}

message OrderItem {
  string product_id = 1;
  int32 quantity = 2;
  double price = 3;
}

enum OrderStatus {
  UNKNOWN = 0;
  PENDING = 1;
  CONFIRMED = 2;
  SHIPPED = 3;
  CANCELLED = 4;
}

FlatBuffers

FlatBuffers — Бинарный формат сериализации от Google, как альтернатива Protobuf.

• Не требует десериализации — можно читать напрямую из байтовой строки (zero-copy).
• Рекомендуется использовать в играх, мобильных и встраиваемых приложениях, где важна скорость и низкий overhead.
• Быстрее всего, но сложнее в использовании и изменении схемы.

CBOR (Concise Binary Object Representation)

CBOR — Бинарная версия JSON, стандартизированная (RFC 8949).

• Компактнее JSON, но сохраняет его структуру и семантику.
• Применяется в IoT, веб-протоколы (CoAP), когда нужен JSON‑like формат, но без избыточности.
• Хороший компромисс: читаемость + компактность + универсальность.

MessagePack

MessagePack — Бинарный формат сериализации, максимально совместимый с JSON по структуре.

• В 2–5 раз меньше JSON, при этом так же прост для использования.
• Используется в клиент-серверном общении, кэшировании, REST/gRPC, Redis (поддерживает MessagePack).
• «JSON, но быстрее и легче» — удобен, если не нужна строгая схема.

pickle

pickle — это встроенный модуль сериализации в Python, предназначенный для сохранения и восстановления объектов Python в байтовом виде.

Используется в следующих сценариях:

• Быстро сохранить объект Python на диск (например, модель машинного обучения).
• Кэшировать данные между запусками.
• Локальная отладка и временные файлы.

BSON (Binary JSON)

BSON — это бинарный формат, разработанный MongoDB. Он расширяет JSON, добавляя поддержку дополнительных типов (например, даты, бинарные данные) и более эффективную машинную обработку.

$ hexdump -C atom.bson | head
00000000  51 d2 01 00 03 66 65 65  64 00 46 d2 01 00 02 40  |Q....feed.F....@|
00000010  78 6d 6c 6e 73 00 1c 00  00 00 68 74 74 70 3a 2f  |xmlns.....http:/|
00000020  2f 77 77 77 2e 77 33 2e  6f 72 67 2f 32 30 30 35  |/www.w3.org/2005|
00000030  2f 41 74 6f 6d 00 02 74  69 74 6c 65 00 0c 00 00  |/Atom..title....|
00000040  00 52 65 61 6c 20 50 79  74 68 6f 6e 00 04 6c 69  |.Real Python..li|
00000050  6e 6b 00 72 00 00 00 03  30 00 3f 00 00 00 02 40  |nk.r....0.?....@|
00000060  68 72 65 66 00 20 00 00  00 68 74 74 70 73 3a 2f  |href. ...https:/|
00000070  2f 72 65 61 6c 70 79 74  68 6f 6e 2e 63 6f 6d 2f  |/realpython.com/|
00000080  61 74 6f 6d 2e 78 6d 6c  00 02 40 72 65 6c 00 05  |atom.xml..@rel..|
00000090  00 00 00 73 65 6c 66 00  00 03 31 00 28 00 00 00  |...self...1.(...|

Рекомендуется применять при:

• При работе с MongoDB.
• Если нужен более мощный JSON (с типами, датами, бинарными данными).
• Для API, где бинарный формат предпочтительнее текстового, но всё ещё нужен JSON‑подобный вид.

Бессхемный против основанного на схеме (Schemaless vs Schema-Based)

Независимо от того, являются ли они текстовыми или бинарными, многие форматы сериализации данных требуют документ схемы , который является формальным описанием ожидаемой структуры сериализованных данных. В то же время некоторые форматы не имеют схемы, в то время как другие могут работать как со схемой, так и без нее:

Подсистема хранения базы данных

Во всех базах данных есть базовый механизм хранения данных. Многие СУБД не представляют свои механизмы хранения данных в виде отдельной абстракции (например, BigQuery, Snowflake). Некоторые из них (в частности, MySQL) поддерживают полностью подключаемые механизмы хранения данных.

Другие (например, SQL Server) предлагают основные варианты конфигурации механизма хранения (столбцовое или строчное хранение), существенно влияющие на поведение базы данных.
Как правило, механизм хранения данных представляет собой отдельный от механизма запросов программный уровень.

Механизм хранения управляет всеми аспектами хранения данных на диске, включая сериализацию, физическое расположение данных и индексы.

В 2000-2010-х годах в подсистемах хранения данных появились значительные инновации. Если раньше подсистемы хранения данных были оптимизированы для прямого доступа к вращающимся дискам, то современные системы гораздо лучше оптимизированы для поддержки характеристик производительности твердотельных накопителей. Подсистемы хранения также обеспечивают улучшенную поддержку современных типов и структур данных, таких как строки переменной длины, массивы и вложенные данные.

Еще одним важным изменением в подсистемах хранения данных стал переход к системам хранения на основе столбцов для приложений аналитики и хранилищ данных. Такие СУБД, как SQL Server, PostgreSQL и MySQL, обеспечивают надежную поддержку хранилищ на основе столбцов.

Сжатие: gzip, bzip2, Snappy и т.д.

Математика, лежащая в основе алгоритмов сжатия, сложна, но основную идею понять легко — алгоритмы сжатия ищут избыточность и повторы в данных, а затем перекодируют их для уменьшения избыточности.

Когда требуется прочитать исходные данные, мы распаковываем их, меняя алгоритм на противоположный и помещая избыточность обратно. Например, вы заметили, что при чтении этой книги некоторые слова встречаются неоднократно. Проведя быстрый анализ текста, можно определить наиболее часто встречающиеся слова и создать для них сокращенные лексемы. Для сжатия необходимо заменить общие слова на их лексемы, а для распаковки — заменить лексемы на соответствующие им слова.

Возможно, с помощью этого наивного приема можно было бы реализовать коэффициент сжатия в соотношении 2 к 1 и более. Алгоритмы сжатия используют более сложные математические методы для выявления и устранения избыточности.

Зачастую они позволяют достичь коэффициента сжатия в соотношении 1О:1 для текстовых данных.

Заметим, что речь идет об алгоритмах сжатия без потерь. При декомпрессии данных, закодированных по алгоритму сжатия без потерь, восстанавливается бит в бит точная копия исходных данных.

Алгоритмы сжатия с потерями для аудио, изображений и видео нацелены на сенсорную точность — при декомпрессии восстанавливается то, что звучит или выглядит как оригинал, но не является его точной копией. Инженеры данных могут сталкиваться с алгоритмами сжатия с потерями в конвейерах обработки мультимедиа, но не с сериализацией для аналитики, где требуется высочайшая достоверность данных.

Традиционные механизмы сжатия, такие как gzip и bzip2, очень хорошо сжимают текстовые данные. Их часто применяют для работы с JSON, JSONL, XML, CSV и другими текстовыми форматами данных.

В последние годы инженеры создали новое поколение алгоритмов сжатия, в которых приоритет отдается скорости и эффективности процессора, а не степени сжатия. Основными примерами служат Snappy, Zstandard, LZFSE и LZ4. Эти алгоритмы часто используются для сжатия в озерах данных или столбчатых базах данных с целью оптимизации быстродействия запросов.

Сценарии использования сериализации

REST API

В веб-приложениях клиент (браузер, мобильное приложение) общается с сервером через HTTP-запросы.

• Сервер отвечает сериализованными данными — чаще всего в JSON.
• Клиент десериализует ответ и отображает его.

Пример:

GET /users/1
→ Ответ:
{ "id": 1, "name": "Alice", "email": "alice@example.com" }

• Python (FastAPI, Django REST) → JSON
• Node.js (Express) → JSON
• Java (Spring) → JSON/XML

Микросервисы

В архитектуре микросервисов данные передаются между сервисами (например, аутентификация, платежи, каталог товаров).

Каждый сервис может быть написан на разном языке

Данные передаются через:

• REST (JSON)
• gRPC (Protobuf)
• Kafka (Avro, JSON, Protobuf)

Пример:

Сервис заказов отправляет сериализованный заказ в сервис оплаты через Kafka в формате Avro или JSON.

Распределённые системы

Системы, разбитые на несколько узлов (кластеров, машин), требуют обмена данными между компонентами.

Пример: база данных (Cassandra, Redis), кэш, очереди (RabbitMQ, Kafka)

Сериализация нужна для:

• передачи объектов между узлами,
• репликации,
• логирования событий.

Пример: Kafka брокер получает сообщение в Protobuf, десериализует его, и передаёт другому сервису.

Big Data и Data Pipelines

В системах обработки больших данных сериализация используется при:

• Чтении/записи файлов в HDFS или S3 (форматы: Avro, Parquet)
• Передаче данных через Apache Kafka, Spark, Flink и др.
• Поддержании схемы данных (schema registry)

Пример: ETL-пайплайн получает CSV, преобразует его в Avro, затем пишет в Parquet на Hadoop. Apache Spark читает Parquet-файл — десериализация.

Литература для дополнительного ознакомления

• Хранение данных. Сериализация и объектно-реляционные
  отображения pdf (лекция)
• Вопросы для собеседования — Сериализация
• https://stackoverflow.com/questions/3316762/what-is-deserialize-and-serialize-in-json
• https://en.wikipedia.org/wiki/Serialization
• https://github.com/igorbarinov/awesome-data-engineering?tab=readme-ov-file#serialization-format
• Книга «Основы инжинирии данных»
• https://www.freecodecamp.org/news/what-is-serialization/
• https://javarush.com/quests/lectures/ru.javarush.python.core.lecture.level12.lecture07
• Habr — Сериализация в Java
• Сериализация в Java. Не все так просто
• Как происходит сериализация данных в Spark
• Сериализация в Apache AirFlow
• Spark Serialization

Сообщение Процессы сериализации и десериализации данных. Форматы сериализации появились сначала на DataTalks.RU. Data Engineering / DWH / Data Pipeline.

На странице «Awesome Data Engineering Learning Sources» вы найдете отобранный список ресурсов для изучения Data Engineering.

Если Вы интересуетесь инженерией данных и хотите понять, какие знания необходимы и где их получить с минимальным бюджетом — Вы на правильной странице!

Также рекомендую подписываться на мой телеграм канал Data Engineering.

SQL

1. sql-ex.ru — один из лучших тренажеров по sql, который вы можете найти в рунете. Регистрируйтесь и занимайтесь абсолютно бесплатно. SQL — тот скилл, который нужно прокачать на 100%, чтобы работать с данными.
2. Оконные функции SQL (Stepik) — платно, но не запредельно. Пройдя этот курс вы на 99% закроете все вопросы с оконками (нужно очень постараться не понять этот великолепный метериал).

Базы данных

• SQL & Hibernate (лекции JavaRush) — Этот квест посвящен продвинутому изучению БД в разрезе задач разработчика.
• Введение в базы данных (Stepik, бесплатно) — хороший курс, чтобы погрузиться в проектирование и нормализацию БД, плюс бесплатно получить сертификат степика.

Database fundamentals

YouTube:

• Highload 6. Базы данных. Репликация. Шардинг
• PlayList «Базы данных» (Индексы, НФ, Внешние ключи, Транзакции и т.п.)
• PlayList Курс · Базы данных (весна 2017)
• Нормальные формы базы данных. Три нормальных формы, нормализация и денормализация БД
• База по Базам Данных — Storage (Индексы, Paging, LSM, B+-Tree, R-Tree) | Влад Тен Систем Дизайн — Очень рекомендую глянуть

Статьи:

• Нормализация
• ACID
• CAP теорема
• OLTP vs OLAP
• Вертикальное и горизонтальное масштабирование:
  • Масштабирование БД в высоконагруженных системах
  • Горизонтальное масштабирование. Что, зачем, когда и как?
  • Масштабирование баз данных

Подборка материалов по теме «Индексы в БД»

• Статья:
  • Влияние индексов БД на производительность выборки данных
  • Обслуживание индексов MS SQL Server: как, когда и, главное, зачем?
  • 14 вопросов об индексах в SQL Server, которые вы стеснялись задать
• YouTube:
  • Что такое SQL ИНДЕКСЫ за 10 минут: Объяснение с примерами
  • ИНДЕКСЫ В БАЗАХ ДАННЫХ. СОБЕС В OZON
  • Как устроен B-TREE индекс в базах данных
  • EXPLAIN в базах данных за 10 минут
  • Андрей Сальников — Индексы в PostgreSQL. Как понять, что создавать
  • Оптимизация запросов с помощью индексов
  • Какие бывают индексы | ХЭШ-ИНДЕКС, SSTABLES, LSM-TREE, B-TREE

Data Engineering

1. https://datalearn.ru/ — бесплатно, Дмитрий Аношин с коллегами проделали большую работу (подписывайтесь и занимайтесь)
2. A Guide to Free Online Courses at DataTalks.Club
   • Data Engineering Zoomcamp — на английском языке периодически проходят занятия бесплатно.
3. Data Engineer с нуля до junior (Stepik) — платно, но очень бюджетно можно пройтись почти по всем нужным инструментам. Плюс электронный сертификат получите!
4. Книга на русском языке: Основы инженерии данных (ссылка на озон, перевод o’reilly) — очень советую купить и читать постоянно (описаны базовые вещи по всему, что касается работы DE, без привязки к инструментам).
5. Data Engineering Wiki
6. Data Engineering Handbook for beginners and everyone (источник github)
7. YouTube:
   • курс Инженерия данных v1 PlayList
8. Data Engineering Handbook
   • Сайт: https://karlchris.github.io/data-engineering/
   • GitHub: https://github.com/karlchris/data-engineering/

Skills: Навыки дата инженера. Матрица компетенций

В этом пункте описаны компетенции, которыми должен обладать дата инженер в зависимости от грейда.

• Профили инженеров Авито Playbook (здесь не про data engineer, но будет полезно тоже)
• Habr:
  • Матрица уровней дата инженеров Amazon
  • Кто такой data-инженер в Тинькофф и как им стать
• YouTube:
  • Data Engineer 2022 | Дорожная карта | Александр Савченко | karpov.courses
• Другое:
  • Become a Data Engineer in 2025 (Based on 100 jobs data!) — список скиллов на основе зарубежных вакансий (Eng)

Python

Для старта 2 варианта:
1. Программирование на Python (этот вариант быстрее) — бесплатно
или
1. «Поколение Python»: курс для начинающих (сильно дольше) — бесплатно

После начала точно стоит пройти курс:
2. «Поколение Python»: курс для продвинутых — бесплатно, очень советую этот курс.

Для тех, кто хочет дальше развиваться в Python:

3. Поколение Python Курс для профессионалов и ООП. Купить можно на степике, или же на самом сайте со скидкой в разделе акции https://pygen.ru/sale#promo (сам купил оба со скидкой, не реклама).

YouTube Python ООП:

• Объектно-ориентированное программирование (ООП) на Python 3
• Объектно-ориентированное программирование (ООП) Python
• Объектно-ориентированное программирование (ООП) Python — для начинающих (+практика)

Алгоритмы и структуры данных

1. https://coderun.yandex.ru/catalog — Каталог задачек от Яндекса — альтернатива LeetCode
2. https://ru.algorithmica.org/ — Алгоритмика
3. GitHub: All algorithms implemented in Python — for education
4. https://leetcode.com — основной ресурс, где разработчики качают навыки решения алгоритмических задач

Разработка:

• Чеклист для разработчиков по подготовке к техническому собеседованию — не про data engineering, но будет полезно

Книги:

• Грокаем алгоритмы. 2-е изд. | Бхаргава Адитья — погуглите, чтоб найти книжку

YouTube:

• PlayList Курс · Алгоритмы и структуры данных

Stepik:

• Алгоритмы: теория и практика. Структуры данных (бесплатно + сертификат Stepik)
• Алгоритмы: теория и практика. Методы (бесплатно + сертификат Stepik)
• Алгоритмы и структуры данных: ознакомительный курс (бесплатно + сертификат Stepik)
• Алгоритмы и структуры данных (курс без сертификата)
• Алгоритмы: теория и практика. Структуры данных. МНМЦ СПбГУ (курс без сертификата)

Airflow

1. Apache Airflow для аналитика — платно (пока курс не доступен, цена временно высокая)
2. Habr:
   • Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
   • Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
   • Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG
   • Знакомство с Apache Airflow: установка и запуск первого DAGа
3. Sber: Руководство по использованию AirFlow (оркестратор для задач ETL)
4. YouTube: ВВЕДЕНИЕ В AIRFLOW / ПОНЯТИЕ DAG’а / НАСТРОЙКА DAG’а В AIRFLOW
5. Книга «Apache Airflow и конвейеры обработки данных» (платно купить)
6. YouTube Eng:
   • Apache Airflow Tutorial for Beginners PlayList
7. YouTube Ru:
   • 5 Оркестраторы и работа с Airflow
8. Еще есть такой вот бесплатный курс Apache Airflow 2.2: практический курс

dbt

1. dbt Fundamentals — бесплатный курс от вендора на английском языке
2. YouTube 5 video на русском (плейлист):
   • Введение в dbt. Что это такое и зачем нужно
   • Модели в dbt
   • dbt: источники и сиды
   • dbt. Снэпшоты и метрики
   • dbt. Jinja и шаблоны
3. Статьи Хабр:
   • Введение в dbt шаг за шагом
   • Data Build Tool или что общего между Хранилищем Данных и Смузи
   • Что такое dbt и зачем он нужен маркетинг-аналитику
4. YouTube 2 видео «Курс по dbt с нуля»:
   • Занятие 1. Преимущества dbt. Запускаем dbt из docker в связке с ClickHouse
   • Занятие 2.2. Особенности установки на Windows. Запуск Clickhouse в wsl 2
5. DataLearn
   1. YouTube ВВЕДЕНИ В DBT / СОЗДАНИЕ МОДЕЛЕЙ ПРИ ПОМОЩИ DBT / УПРАВЛЕНИЕ ТРАНСФОРМАЦИЕЙ ДАННЫХ / РИШАТ МИНГАЗОВ
   2. Telegram Запись трансляции dbt: С ЧЕГО НАЧАТЬ? | Вебинар с Дмитрием Аношиным
   3. Telegram Начало работы с DBT | Часть 2
6. Статья: Обучение dbt. dbt-clickhouse Tutorial. Описание run model data
7. DBT Tutorial 12 videos YouTube Playlist — видео на английском
8. YouTube Video Введение в dbt: основы моделирования данных — на русском языке
9. YouTube Марк Порошин — Data Vault на Greenplum c помощью DBT
10. Перевод главы «Введение в dbt» из книги Unlocking dbt
11. YouTube — Курс по dbt для инженеров данных — большой подробный курс на русском языке

GitLab

1. YouTube:
   • Git. GitLab — плейлист:
     • 01-GitLab. Devops система. Установка в локальной сети. Настройка
     • Git и GitHub для начинающих
     • 02-GitLab clone по SSH. Настройка SSH для Linux и Windows
     • 03- DevOps практика: GitlLab CI+Runners. Создание CI CD Pipeline
     • 04 GitLab: Свой Docker Registry. Создание и подключение
   • GIT — Полный Курс Git и GitHub Для Начинающих [4 ЧАСА]
   • GIT: Merge или Rebase? В чем разница?
   • Git и GitHub Курс Для Новичков

Docker

1. YouTube:
   • Docker для Начинающих – Полный Курс
   • Docker Для Начинающих за 1 Час | Docker с Нуля
2. Статья Docker и Docker-Compose Tutorial

Spark

1. PySpark:
   • https://www.sparkplayground.com/tutorials — здесь можно изучить работу со спарком (на английском)
   • https://www.sparkplayground.com/playground — здесь можно потренироваться онлайн
2. YouTube:
   • Apache Spark для Джуна | Что такое Spark и как он работает?
   • МИТАП «Apache Spark за 2 часа — для нетерпеливых»_20 апреля 2022г
   • МИТАП: «Установка Apache Spark — это просто»_11 мая 2022г
   • МИТАП: «Spark или pandas? Spark и pandas!»
   • МИТАП: «Работа с источниками данных в Apache Spark»_ 14 июня 2022 года
   • МИТАП: «Использование SQL для работы с данными в Apache Spark»_29 июня 2022г
   • Анализируем данные с помощью фреймворка Spark
3. YouTube DataLearn:
   • PlayList — DE-101 | Модуль 7 — APACHE SPARK
   • Отдельный вебинар — ВВЕДЕНИЕ В PYSPARK И SPARKSQL / ОЛЕГ АГАПОВ
4. Stepik:
   • pySpark: Spark на Python

Scala

Youtube:

• Курс Scala 2022
• Уроки Scala
• Основы и особенности языка Scala //Демо-занятие курса «Scala-разработчик»

ClickHouse

1. Оптимизация SQL запросов на примере ClickHouse (Stepik) — бесплатный курс
2. ClickHouse для аналитика (курс будет доступен с 1 Января, цена снизится — пока курс на доработке)
3. Статья: Заметки про ClickHouse. Tutorial 101 — Большая подборка информации
4. Статья: Как данные физически хранятся в таблице MergeTree() в ClickHouse?
5. YouTube:
   • Kafka и Clickhouse — как организовать взаимодействие // Демо-занятие курса «Apache Kafka»
   • Что правда из того, что говорят про Clickhouse
   • Курс по ClickHouse (Амелин Владимир)
6. Курсы от Яндекса (бесплатные):
   • Managed Service for ClickHouse — можно получить сертификат, бесплатно
   • ClickHouse для инженеров и аналитиков (Stepik, без сертификата)

Kafka

1.  YouTube:
   • Про Kafka (основы)
   • Лучший Гайд по Kafka для Начинающих За 1 Час
   • Андрей Серебрянский — Грузим в Kafka из базы: с CDC и без
   • Kafka vs. RabbitMQ vs. Messaging Middleware vs. Pulsar
   • Unlock the Power of Event-Driven Architecture: How Netflix & Uber Handle Billions of Events
   • Основы Kafka для тестировщиков. Apache Kafka for QA

DuckDB

1. YouTube RU: Разработка data приложений на DuckDB
2. YouTube Eng:
   • DuckDB Tutorial — DuckDB course for beginners
   • DuckDB Tutorial For Beginners

Apache Iceberg

1. Книги:
   • Apache Iceberg. Полное руководство (ozon, перевод книги на русский язык)
2. Подборка материалов на английском про айсберг — Apache Iceberg 101 – Your Guide to Learning Apache Iceberg Concepts and Practices на сайте dremio.com
3. На канале YouTube Dremio тоже много плейлистов по Apache Iceberg
4. YouTube Eng:
   • Data Lake Fundamentals, Apache Iceberg and Parquet in 60 minutes on DataExpert.io
   • What is Apache Iceberg?
5. YouTube Ru:
   • Зачем Apache Iceberg, если уже есть много других форматов
6. Статья по Apache Iceberg: Введение в Apache Iceberg. Основы, архитектура, как работает?

Trino

1. Статьи:
   • Почему Trino такой быстрый: архитектура оптимизатора SQL-запросов
   • MPP-движок для Big Data: архитектура и принципы работы Trino
   • Мой опыт эксплуатации кластера Trino
2. smartdataconf:
   • Владимир Озеров — Быстрая обработка данных в Data Lake с помощью Trino
   • Презентация PDF
3. YouTube:
   • Trino Meetup #1: Как пересесть на Trino после Vertica: реальный кейс Авито, Дмитрий Рейман
   • Trino Meetup #1: Архитектура оптимизатора Trino, Владимир Озеров
   • Trino Meetup #2: Trino в Тинькофф, Дмитрий Зуев
   • Trino Meetup #2: Как ускорить работу Trino с Data Lake c помощью кэширования, Владимир Озеров

Проектирование хранилищ данных + методологии построения DWH

Общая статья:

• Проектирование DWH. Data Modeling. Kimball, Data Vault 2.0, Anchor Modeling

Статьи по Data Vault:

• Перевод 1 Главы — Введение в хранилища данных
• Перевод 2 Главы — Масштабируемая архитектура хранилища данных
• Перевод 3 Главы — Методология Data Vault 2.0
• Перевод 4 Главы — Моделирование Data Vault 2.0 — Что такое Hub / Link / Satellite?
• Перевод 5 Главы – Intermediate Моделирование Data Vault
• Перевод 6 Главы — Продвинутое моделирование Data Vault 2.0 — Advanced Data Vault Modeling
• Перевод 7 Главы — Dimensional Modeling (Data Vault 2.0)

Системный дизайн

YouTube:

• PlayList System Design (Interview Pen) — English
• Data Engineer тренирует System Design секцию. Собеседует @halltape | rzv_de | Aug 2024
• System Design — теория шардирования | Как масштабировать базы данных
• Как кэшировать данные | Теория кэширования — System Design
• Проектирование баз данных за 40 минут. Практика
• PlayList Системный дизайн (Eugene Suleimanov)
• PlayList System Design Fundamentals (ByteByteGo)
• PlayList System Design. Kleppman (Владимир Невзоров) — Разбор глав книги «Высоконагруженные приложения»
• Как подготовиться и пройти System Design Interview. Александр Поломодов
• Владимир Маслов — System Design. Как построить распределенную систему и пройти собеседование

Другое:

• 01. SAGA pattern. Хореография и Оркестрация — микросервисы
• ЭТОТ Паттерн Спрашивают на 99% Собесов
• Филипп Вагнер «Распределенные транзакции в условиях микросервисной архитектуры»

Форматы хранения данных

Apache Parquet

1. YouTube Eng:
   • An introduction to Apache Parquet
   • Parquet File Format — Explained to a 5 Year Old!

Apache Arrow

• YouTube:
  • Игорь Селивёрстов — Apache Arrow. В погоне за скоростью

Linux & DevOps

• YouTube:
  • PlayList «Linux by REBRAIN» — Онлайн-практикумы Linux для специалистов в IT (40 видео) — системных администраторов, сетевых инженеров, разработчиков, Devops-инженеров, технических / релизных менеджеров.
  • PlayList «Обучение DevOps» — 7 базовых видео

Тестирование

• YouTube Pytest Курс

Сборники информации по Awesome Data Engineering

• https://github.com/igorbarinov/awesome-data-engineering — A curated list of awesome things related to Data Engineering.
• https://github.com/halltape/HalltapeRoadmapDE — Roadmap для Data Engineer. Цель роадмапа – устроиться тебе на работу!
• https://github.com/data-burst/data-engineering-roadmap — Data Engineering Roadmap
• https://github.com/sonhmai/data-systems-design — System Design, Solution Architecture, Data Systems Practice
• https://github.com/DataExpert-io/data-engineer-handbook — The Data Engineering Handbook
• https://github.com/DataTalksClub/data-engineering-zoomcamp — Data Engineering Zoomcamp: A Free 9-Week Course on Data Engineering Fundamentals
• https://github.com/Data-Learn/data-engineering — Getting Started with Data Enngineering — datalearn.ru
• https://maelfabien.github.io/bgd/# — A series of articles dedicated to Big Data analytics and Data Engineering.

Подборка каналов на YouTube про DWH/DataLake/Data Engineering на русском языке

1. Avito DWH Плейлист
2. Т-Банк (T-Meetup) — DWH, GreenPlum
3. SmartData все плейлисты
4. Data Platform Yandex
5. DataOffice Ростелеком PlayList YouTube
6. Лекции в МГТУ им. Баумана: Deep dive into SQL and DWH. Пишем эффективные аналитические запросы
7. Отдельно хочется выделить канал HighLoadChannel, на котором много ИТ докладов не только по Data
8. OTUS IT Онлайн — образование — здесь можно посмотреть какие-то вводные вебинары по инструментам, а дальше по документации продолжить изучение
9. YouTube PlayList: Создание хранилища данных — Владимир Амелин

Сообщение Awesome Data Engineering. Дорожная карта Data Engineer RoadMap появились сначала на DataTalks.RU. Data Engineering / DWH / Data Pipeline.