Озеро
Содержание
Озеро — хранилище данных проекта на Apache Iceberg: открытый табличный формат, в котором таблицы хранятся в объектном хранилище S3, а целостность обеспечивается транзакциями на уровне каталога. У каждого проекта своё пространство в Озере, изолированное от других проектов и команд.
Почему Iceberg
Apache Iceberg даёт хранилищу свойства, которых нет у «просто файлов в S3»:
- ACID-транзакции — запись не смешивается с чтением: параллельные запросы видят согласованную версию таблицы;
- схема и эволюция — поля можно добавлять и переименовывать без переписывания данных;
- история версий — таблица хранит снапшоты, поэтому данные не теряются при ошибке загрузки;
- независимость движка — Iceberg читается разными инструментами, а не только той СУБД, что записала данные.
Как данные попадают в Озеро
| Источник | Что пишет в Озеро |
|---|---|
| Потоки | данные рекламных кабинетов и аналитики по расписанию |
| dbt-модели | результаты моделей, материализованных в Озеро |
Данные накапливаются в таблицах проекта. Таблицы Озера видны в дереве схемы dbt и в панели «Схема БД» ноутбука.
Как запрашивать Озеро
- Ноутбуки — DuckDB-ячейки обращаются к таблицам Озера напрямую в браузере (Озеро и DuckDB).
- dbt — модели могут читать таблицы Озера через подключение и писать результаты обратно.
Доступ и права
- Доступ к Озеру выдаётся вместе с доступом к проекту: участник проекта работает с таблицами, участник команды без доступа к проекту — нет.
- Данные разделены на уровне проекта: один проект не видит таблицы другого.
- Отзыв доступа у участника закрывает и доступ к Озеру проекта.
Ограничения
- Объём и производительность зависят от тарифа команды (Лицензии и рабочие места).
- Вычисления над Озером в ноутбуках выполняются в браузере: тяжёлые агрегации лучше делать в dbt или на подключённой СУБД.