Создание потока

Поток создаётся за пять шагов: выбрать подключение, настроить источник, выбрать поля, задать окно данных и метод вставки, затем запустить. После первого запуска данные появляются в таблице Озера.

Что нужно до создания потока

  • подключение к источнику: например, Яндекс Метрика;
  • доступ к проекту с правами на создание потоков.

Создание потока по шагам

  1. Откройте проект → Потоки → Создать поток.
  2. Выберите подключение-источник. От него зависит доступный тип потока.
  3. Выберите источник и набор данных: счётчик и отчёт для Яндекс Метрики, кабинет для рекламных систем.
  4. Отметьте поля, которые нужно выгружать: измерения и метрики. Поля определяют структуру будущей таблицы.
  5. Настройте окно данных — за какой период выгружать при каждом запуске.
  6. Выберите метод вставки — как данные ложатся в таблицу.
  7. При желании включите расписание, иначе запускайте поток вручную.
  8. Нажмите Создать или Запустить — первая выгрузка начнётся сразу.

Окно данных

Окно определяет период выгрузки каждого запуска:

Режим Как работает
Фиксированное вы указываете конкретные даты: удобно для исторической выгрузки
Относительное период считается от текущей даты: «последние N дней/недель/месяцев»

Для регулярной загрузки выбирайте относительное окно — оно всегда актуально без правок.

Метод вставки

Метод Как работает Когда использовать
Insert новые строки добавляются в конец таблицы только добавляющиеся данные, без перезагрузки периода
Delete + Insert (по умолчанию) строки периода по ключевому полю (обычно date) удаляются и вставляются заново регулярные выгрузки: данные обновляются без дублей
Полная перезапись таблица очищается и заполняется заново небольшие таблицы, полная актуализация

Подробнее о влиянии метода на историю данных — в Расписании и окне данных.

Результат

После первого запуска:

  • в Озере появится таблица с выбранными полями;
  • историю запусков и результаты видно в карточке потока;
  • таблицу можно использовать в dbt и ноутбуках.