Озеро

Озеро — хранилище данных проекта на Apache Iceberg: открытый табличный формат, в котором таблицы хранятся в объектном хранилище S3, а целостность обеспечивается транзакциями на уровне каталога. У каждого проекта своё пространство в Озере, изолированное от других проектов и команд.

Почему Iceberg

Apache Iceberg даёт хранилищу свойства, которых нет у «просто файлов в S3»:

  • ACID-транзакции — запись не смешивается с чтением: параллельные запросы видят согласованную версию таблицы;
  • схема и эволюция — поля можно добавлять и переименовывать без переписывания данных;
  • история версий — таблица хранит снапшоты, поэтому данные не теряются при ошибке загрузки;
  • независимость движка — Iceberg читается разными инструментами, а не только той СУБД, что записала данные.

Как данные попадают в Озеро

Источник Что пишет в Озеро
Потоки данные рекламных кабинетов и аналитики по расписанию
dbt-модели результаты моделей, материализованных в Озеро

Данные накапливаются в таблицах проекта. Таблицы Озера видны в дереве схемы dbt и в панели «Схема БД» ноутбука.

Как запрашивать Озеро

  • Ноутбуки — DuckDB-ячейки обращаются к таблицам Озера напрямую в браузере (Озеро и DuckDB).
  • dbt — модели могут читать таблицы Озера через подключение и писать результаты обратно.

Доступ и права

  • Доступ к Озеру выдаётся вместе с доступом к проекту: участник проекта работает с таблицами, участник команды без доступа к проекту — нет.
  • Данные разделены на уровне проекта: один проект не видит таблицы другого.
  • Отзыв доступа у участника закрывает и доступ к Озеру проекта.

Ограничения

  • Объём и производительность зависят от тарифа команды (Лицензии и рабочие места).
  • Вычисления над Озером в ноутбуках выполняются в браузере: тяжёлые агрегации лучше делать в dbt или на подключённой СУБД.