Тесты моделей

Тесты в dbt — это проверки качества данных, которые выполняются вместе с моделями: уникальность ключей, отсутствие пропусков, соответствие значениям. В SubQuery тесты пишутся в YAML-конфигурации моделей и запускаются кнопкой или по расписанию.

Зачем нужны тесты

  • модель может выполниться успешно, но данные в ней — неверные: дубли, пропуски, битые связи;
  • тесты ловят такие проблемы сразу после запуска, а не в дашборде у бизнеса;
  • упавший тест останавливает доверие к модели до исправления, а не тиражирует ошибку дальше по графу.

Тесты в YAML

Базовые проверки задаются в файле документации модели — schema.yml рядом с папкой моделей:

models:  - name: orders_daily    columns:      - name: date        tests:          - not_null          - unique      - name: order_id        tests:          - not_null

Встроенные проверки, доступные в SubQuery:

Тест Что проверяет
not_null в колонке нет пустых значений
unique значения колонки уникальны

Тесты можно добавлять и из интерфейса документации моделей (Документация моделей).

Собственные тесты

Если встроенных проверок мало, пишется SQL-тест — запрос, который должен вернуть ноль строк:

-- tests/orders_amount_positive.sqlselect *from {{ ref('orders_daily') }}where amount < 0

Такой тест выполняется как обычный запрос: пустой результат — данные в порядке, строки — список нарушений.

Запуск тестов

  1. Нажмите DBT запуск или Ctrl+Shift+Enter.
  2. Выберите команду dbt test.
  3. Укажите модель или запустите тесты всего проекта.
  4. Результаты появятся в логе: упавшие тесты показывают строки-нарушения.

Запуск тестов доступен, если он включён в тарифе (Лимиты и квоты).

Тесты в расписании

Тесты полезнее всего на регулярной основе: задание по расписанию с командой dbt test проверяет данные после каждой ночной выгрузки, а подписчики получают письмо при ошибке.

Рекомендации

  • ставьте not_null и unique на ключи и даты — это самые частые источники дублей;
  • для моделей, питающих дашборды, добавьте тесты в то же расписание, что и dbt run;
  • перед публикацией ветки прогоняйте тесты в рабочей области — так конфликты с данными ловятся до слияния.

Что дальше