Понятия и сущности

SubQuery — это платформа аналитики данных, в которой данные собираются из источников, обрабатываются моделями dbt и используются в ноутбуках и BI. Чтобы уверенно работать в сервисе, достаточно понимать одиннадцать базовых сущностей — они встречаются во всех разделах документации.

Команда

Команда объединяет людей и хранит лицензию. Одна команда — одна лицензия. Внутри команды создаются проекты, а участники получают роли и рабочие места.

Команду создаёт первый зарегистрированный пользователь, затем он становится её администратором и приглашает коллег.

Проект

Проект — рабочее пространство внутри команды: в нём живут подключения, потоки, dbt-проект, ноутбуки и файлы. Одной команде доступно несколько проектов — например, отдельный проект для маркетинговой аналитики и отдельный для продуктовой.

Данные проекта изолированы: у каждого проекта своё пространство в Озере и свои подключения.

Модули

Модуль — часть сервиса, решающая конкретную задачу:

Модуль Задача
Подключения доступ к СУБД, рекламным кабинетам и S3
Потоки регулярная загрузка данных из источников в Озеро
dbt модели данных, трансформации, расписание
Ноутбуки анализ на Python и SQL прямо в браузере
Озеро хранилище данных на Apache Iceberg
Файловый менеджер работа с файлами в S3
BI визуализация и совместные доски
Метаслой доступ к данным Озера через PostgreSQL-фасад

Рабочее место

Рабочее место — единица лицензии: право одного участника работать в модуле. Роль даёт права на действия, а рабочее место — доступ к самому модулю. Если рабочее место не выдано, пользователь не увидит модуль, даже с нужной ролью.

Подробнее — в Лицензии и рабочие места.

Лицензия и тариф

Лицензия определяет тариф команды и его лимиты: количество участников, проектов, рабочих мест, запусков задач и AI-токенов. Есть три тарифа — бесплатный, Team и Enterprise. Пробный период длится две недели, после чего команда автоматически переводится на бесплатный тариф. Как считается стоимость — в биллинге.

Роль

Роль задаёт, что участник может делать в команде, проекте и dbt. Роли выдаются на уровне команды (team.admin, team.manager) и проекта (project.manager, dbt.admin, dbt.dev, dbt.sql). Полный список — в Ролях и сущностях.

Подключение

Подключение — доступ к внешней системе: ClickHouse, PostgreSQL, Greenplum, Trino, MySQL, S3 или рекламному кабинету. Подключение создаётся один раз и используется во всех модулях: в потоках, dbt, ноутбуках и файловом менеджере. Полный список типов — в разделе Подключения.

Реквизиты подключения хранятся в зашифрованном виде и не видны участникам проекта.

Поток

Поток — настроенная регулярная загрузка данных из источника в Озеро. В потоке указывают источник, набор данных, окно данных, метод вставки и расписание. Данные потока попадают в Озеро и дальше обрабатываются моделями dbt.

Озеро

Озеро — хранилище данных проекта на Apache Iceberg. Сюда попадают данные из потоков, сюда же пишут результаты модели dbt. Запрашивать данные Озера можно из dbt и ноутбуков через DuckDB. Подробнее — в разделе Озеро.

Рабочая область dbt

Рабочая область (ветка) — копия dbt-проекта, в которой можно менять модели, не затрагивая основную версию. Изменения публикуются в основную рабочую область, а расписание задач всегда работает с опубликованной версией.

Задание по расписанию

Задание — настроенный запуск dbt-команды по расписанию: обновление моделей, тестов или документации. У задания есть история запусков, логи и подписка на уведомления об ошибках.