Что такое ACID? Представьте, что вы запускаете приложение электронной коммерции. Клиент размещает заказ, и ваша система должна вычесть товар из запасов, списать средства с кредитной карты клиента и зарегистрировать продажу в вашей системе учета — и все это одновременно. Что ...
Анатомия платформы данных Прежде чем мы перейдем к рассмотрению Data Pipeline Design Patterns, мы рассмотрим различные термины из архитектуры данных (платформа данных, DWH, Data Lake и т.д.). Различия между платформой данных, хранилищем данных и озером данных Прежде чем углубляться в ...
СТАТЬЯ В ПРОЦЕССЕ НАПИСАНИЯ СТАТЬЯ В ПРОЦЕССЕ НАПИСАНИЯ СТАТЬЯ В ПРОЦЕССЕ НАПИСАНИЯ СТАТЬЯ В ПРОЦЕССЕ НАПИСАНИЯ СТАТЬЯ В ПРОЦЕССЕ НАПИСАНИЯ СТАТЬЯ В ПРОЦЕССЕ НАПИСАНИЯ Что посмотреть на русском по Spark? Однозначно плейлист «DataLearn: DE-101 | Модуль 7». Здесь вы получите ...
Шаблоны обновлений данных в DWH Эта статья частично пересекается со статьей Понимание инкрементальных стратегий dbt, часть 1 (рекомендую ознакомиться). Изменение данных — одна из основных задач для команд инженерии данных, особенно при переходе от одной технологии к другой. Обсудим команды ...
Перевод второй главы из книги Deciphering Data Architectures Глава 2 «Типы архитектур данных» Крайне важно с самого начала уделить время проектированию и созданию правильной архитектуры данных. Я усвоил это на собственном опыте в начале своей карьеры. Мне так хотелось поскорее ...
Перевод первой главы Big Data. Big Data — Большие данные Число компаний, создающих архитектуры данных, значительно увеличилось в 2020-х годах. Этот рост вряд ли замедлится в ближайшее время, главным образом благодаря тому, что объем доступных данных достиг беспрецедентного уровня. Данные ...
Перевод статьи, исходный текст: https://medium.com/indiciumtech/understanding-dbt-incremental-strategies-part-1-2-22bd97c7eeb5 Данный перевод выполнен с небольшими примечаниями. Используйте статью как ориентир, проверяя по каждой базе и каждому адаптеру возможность реализации. Особенно это касается партиций. Перевод выполнен 1 в 1 без удаления реплик автора. С технической точки ...
Перевод статьи: Building a Medallion architecture with ClickHouse Построение архитектуры Medallion с использованием ClickHouse Крупномасштабная обработка данных требует эффективной структуризации, трансформации и анализа наборов данных. Архитектура Medallion — это шаблон проектирования рабочего процесса данных для организации и повышения их качества ...
Глава 2 «Моделирование данных для аналитики (dbt)» В современном мире, ориентированном на данные, организации всё больше полагаются на аналитику данных для получения ценных инсайтов и принятия обоснованных решений. Моделирование данных играет важнейшую роль в этом процессе, обеспечивая прочную основу для ...
Инженерия аналитики (Analytics Engineering) История аналитики включает важные этапы и технологии, которые сформировали эту область в том виде, какой мы знаем сегодня. Всё началось с появления концепции хранилищ данных в 1980-х годах, что стало основой для организации и анализа бизнес-данных. ...