Понятия и сущности
Содержание
SubQuery — это платформа аналитики данных, в которой данные собираются из источников, обрабатываются моделями dbt и используются в ноутбуках и BI. Чтобы уверенно работать в сервисе, достаточно понимать одиннадцать базовых сущностей — они встречаются во всех разделах документации.
Команда
Команда объединяет людей и хранит лицензию. Одна команда — одна лицензия. Внутри команды создаются проекты, а участники получают роли и рабочие места.
Команду создаёт первый зарегистрированный пользователь, затем он становится её администратором и приглашает коллег.
Проект
Проект — рабочее пространство внутри команды: в нём живут подключения, потоки, dbt-проект, ноутбуки и файлы. Одной команде доступно несколько проектов — например, отдельный проект для маркетинговой аналитики и отдельный для продуктовой.
Данные проекта изолированы: у каждого проекта своё пространство в Озере и свои подключения.
Модули
Модуль — часть сервиса, решающая конкретную задачу:
| Модуль | Задача |
|---|---|
| Подключения | доступ к СУБД, рекламным кабинетам и S3 |
| Потоки | регулярная загрузка данных из источников в Озеро |
| dbt | модели данных, трансформации, расписание |
| Ноутбуки | анализ на Python и SQL прямо в браузере |
| Озеро | хранилище данных на Apache Iceberg |
| Файловый менеджер | работа с файлами в S3 |
| BI | визуализация и совместные доски |
| Метаслой | доступ к данным Озера через PostgreSQL-фасад |
Рабочее место
Рабочее место — единица лицензии: право одного участника работать в модуле. Роль даёт права на действия, а рабочее место — доступ к самому модулю. Если рабочее место не выдано, пользователь не увидит модуль, даже с нужной ролью.
Подробнее — в Лицензии и рабочие места.
Лицензия и тариф
Лицензия определяет тариф команды и его лимиты: количество участников, проектов, рабочих мест, запусков задач и AI-токенов. Есть три тарифа — бесплатный, Team и Enterprise. Пробный период длится две недели, после чего команда автоматически переводится на бесплатный тариф. Как считается стоимость — в биллинге.
Роль
Роль задаёт, что участник может делать в команде, проекте и dbt. Роли выдаются на уровне команды (team.admin, team.manager) и проекта (project.manager, dbt.admin, dbt.dev, dbt.sql). Полный список — в Ролях и сущностях.
Подключение
Подключение — доступ к внешней системе: ClickHouse, PostgreSQL, Greenplum, Trino, MySQL, S3 или рекламному кабинету. Подключение создаётся один раз и используется во всех модулях: в потоках, dbt, ноутбуках и файловом менеджере. Полный список типов — в разделе Подключения.
Реквизиты подключения хранятся в зашифрованном виде и не видны участникам проекта.
Поток
Поток — настроенная регулярная загрузка данных из источника в Озеро. В потоке указывают источник, набор данных, окно данных, метод вставки и расписание. Данные потока попадают в Озеро и дальше обрабатываются моделями dbt.
Озеро
Озеро — хранилище данных проекта на Apache Iceberg. Сюда попадают данные из потоков, сюда же пишут результаты модели dbt. Запрашивать данные Озера можно из dbt и ноутбуков через DuckDB. Подробнее — в разделе Озеро.
Рабочая область dbt
Рабочая область (ветка) — копия dbt-проекта, в которой можно менять модели, не затрагивая основную версию. Изменения публикуются в основную рабочую область, а расписание задач всегда работает с опубликованной версией.
Задание по расписанию
Задание — настроенный запуск dbt-команды по расписанию: обновление моделей, тестов или документации. У задания есть история запусков, логи и подписка на уведомления об ошибках.