Тесты моделей
Содержание
Тесты в dbt — это проверки качества данных, которые выполняются вместе с моделями: уникальность ключей, отсутствие пропусков, соответствие значениям. В SubQuery тесты пишутся в YAML-конфигурации моделей и запускаются кнопкой или по расписанию.
Зачем нужны тесты
- модель может выполниться успешно, но данные в ней — неверные: дубли, пропуски, битые связи;
- тесты ловят такие проблемы сразу после запуска, а не в дашборде у бизнеса;
- упавший тест останавливает доверие к модели до исправления, а не тиражирует ошибку дальше по графу.
Тесты в YAML
Базовые проверки задаются в файле документации модели — schema.yml рядом с папкой моделей:
models: - name: orders_daily columns: - name: date tests: - not_null - unique - name: order_id tests: - not_null
Встроенные проверки, доступные в SubQuery:
| Тест | Что проверяет |
|---|---|
not_null |
в колонке нет пустых значений |
unique |
значения колонки уникальны |
Тесты можно добавлять и из интерфейса документации моделей (Документация моделей).
Собственные тесты
Если встроенных проверок мало, пишется SQL-тест — запрос, который должен вернуть ноль строк:
-- tests/orders_amount_positive.sqlselect *from {{ ref('orders_daily') }}where amount < 0
Такой тест выполняется как обычный запрос: пустой результат — данные в порядке, строки — список нарушений.
Запуск тестов
- Нажмите DBT запуск или
Ctrl+Shift+Enter. - Выберите команду
dbt test. - Укажите модель или запустите тесты всего проекта.
- Результаты появятся в логе: упавшие тесты показывают строки-нарушения.
Запуск тестов доступен, если он включён в тарифе (Лимиты и квоты).
Тесты в расписании
Тесты полезнее всего на регулярной основе: задание по расписанию с командой dbt test проверяет данные после каждой ночной выгрузки, а подписчики получают письмо при ошибке.
Рекомендации
- ставьте
not_nullиuniqueна ключи и даты — это самые частые источники дублей; - для моделей, питающих дашборды, добавьте тесты в то же расписание, что и
dbt run; - перед публикацией ветки прогоняйте тесты в рабочей области — так конфликты с данными ловятся до слияния.