Озеро и DuckDB

Таблицы Озера доступны в SubQuery через DuckDB как каталог sq. Запросы выполняются прямо в браузере: в ноутбуке достаточно DuckDB-ячейки, в dbt — предпросмотра. Доступ выдаётся автоматически и обновляется без ручных ключей.

Каталог sq

При работе с Озером DuckDB подключает каталог с именем sq:

  • внутри каталога — таблицы проекта: данные потоков и материализованные модели;
  • схема запроса: select * from sq.<схема>.<таблица>;
  • таблицы видны в дереве схемы dbt и в панели «Схема БД» ноутбука.

Запрос в ноутбуке

  1. Откройте ноутбук и добавьте SQL-ячейку с подключением DuckDB.
  2. Выполните запрос к таблице Озера:
select *from sq.raw.visitslimit 100
  1. Результат отобразится под ячейкой и сохранится вместе с ноутбуком.

Из Python-ячейки доступен тот же путь через sq.query — результат приходит в pandas DataFrame (см. Работу с СУБД).

Запрос в dbt

  • Дерево базы данных в dbt-IDE показывает таблицы Озера наравне с таблицами подключённых СУБД.
  • Предпросмотр модели выполняется в браузере через тот же DuckDB-движок.
  • Модель может читать таблицы Озера через ref() и селекты по каталогу.

Как работает доступ

Механизм Что происходит
Выдача доступа при входе в проект вы получаете права на чтение таблиц Озера этого проекта
Обновление краткосрочный доступ обновляется автоматически во время работы
Истечение сессии при долгом отсутствии переавторизуйтесь в сервисе — доступ восстановится

Ключи хранилища на руки не выдаются: SubQuery сам выдаёт краткосрочные права, поэтому реквизиты не нужно хранить и ротировать вручную.

Ограничения

  • Запросы выполняются в браузере: объём вычислений зависит от вашего устройства (Ограничения ноутбуков).
  • Каталог sq недоступен внешним приложениям через публичный API (Публичный API).