dbt

dbt (Data Build Tool) — инструмент для трансформации данных, который превращает хранилище в систему, управляемую кодом: модели, тесты и документация живут в репозитории, а не в разрозненных SQL-скриптах.

Мы рассказываем, что такое dbt с нуля, как устроены модели и макросы, как писать кастомные материализации для выгрузки данных в S3 и ClickHouse. Подход «analytics engineering» делает разработку данных похожей на разработку ПО.

Материалы тега помогают навести порядок в пайплайнах: версионирование моделей, тестирование данных, документация и переиспользование кода — всё то, что обычно ломается при хаотичном росте запросов.

Если ваши SQL-скрипты превратились в «боевого слона» — dbt поможет, и наши статьи покажут, с чего начать.