Потоки
Содержание
Поток — это настроенная регулярная загрузка данных из внешнего источника в Озеро. Вы один раз описываете, что забирать, за какой период и как часто, а SubQuery сам выгружает данные по расписанию и складывает их в хранилище проекта.
Как устроен путь данных
flowchart LR A[Источник<br/>Яндекс Метрика, VK Ads] --> B[Поток<br/>набор данных и расписание] B --> C[Озеро<br/>таблицы Apache Iceberg] C --> D[dbt и ноутбуки<br/>модели и анализ]
Поток соединяет источник и хранилище: данные рекламных кабинетов и аналитики приземляются в таблицы Озера, откуда их подхватывают модели dbt и ноутбуки.
Из чего состоит поток
| Часть потока | Что определяет |
|---|---|
| Подключение | источник данных и права доступа |
| Набор данных | какие данные выгружать: отчёты и поля |
| Окно данных | за какой период выгружать при каждом запуске |
| Метод вставки | как данные ложатся в таблицу: добавление или перезапись |
| Расписание | когда запускать загрузку автоматически |
Когда использовать потоки
- данные нужны регулярно: ежедневно, еженедельно, за скользящий период;
- вы строите сквозную или маркетинговую аналитику на истории расходов и визитов;
- не хочется поддерживать собственные скрипты выгрузки через API.
Если данные нужны один раз, проще выполнить выгрузку вручную или подключить базу напрямую.
Поддерживаемые источники
- Яндекс Метрика — доступна сейчас.
- VK Ads, Яндекс Директ и другие рекламные кабинеты — подключаются и готовятся к запуску; уточняйте доступность в поддержке.
Подключение источника — отдельный шаг: сначала создайте подключение к кабинету, затем поток (Подключение Яндекс Метрики).
Куда попадают данные
Данные потока сохраняются в Озере проекта. Таблицу можно найти в дереве схемы dbt и в панели «Схема БД» ноутбука и использовать в моделях и SQL-запросах как любую другую таблицу.