Подключение отчетов Okdesk в Yandex DataLens
- 1. Создание Облака в Yandex Cloud
2. Разворачивание ClickHouse
3. Настройка ClickHouse
4. Настройка синхронизации между SQL API и ClickHouse
5. Настройка DataLensСоздания облака в Yandex Cloud
Создайте облако в Yandex Cloud согласно инструкцииРазворачивание ClickHouse
Как создать кластер ClickHouse в Yandex Cloud
Если в интерфейсе и настройках что-то изменилось, обратитесь к документации на сайте Yandex Cloud.
Перейдите в консоль управления и выберите пункт Managed Service for ClickHouse.
Нажмите на кнопку Создать кластер. Далее необходимо задать настройки кластера ClickHouse.
📌 При создании кластера следуйте нашим инструкциям. Это позволит снизить стоимость сервиса. Чем больше ресурсов потребляет кластер, тем дороже выходит его сопровождение.
Настройки кластераБазовые параметры
Задайте имя кластера и описание.
Выберите окружение PRODUCTION.
Укажите последнюю версию СУБД с LTS.
РесурсыПлатформа определяет тип процессора, который будет использоваться хостом. От процессора зависит соотношение и количество ядер, оперативной памяти, тип диска и стоимость ресурсов.
Вы можете попробовать поработать с Intel Ice Lake c типом burstable: это самый дешевый вариант, возможно с вашим количеством данных этого хватит, повысить тариф всегда можно в любое время.
📌 Но! С типом burstable ваш IP-адрес будет меняться каждые 24 часа.
Размер хранилищаДисков для кластера всего есть четыре типа:
-
Локальные SSD-диски (local-ssd) — самые быстрые диски, но если нет репликации, то при выходе из строя не обеспечивают сохранность данных.
-
Сетевые SSD-диски (network-ssd) — медленнее, чем локальные SSD-диски, зато данные не потеряются.
-
Сетевые HDD-диски (network-hdd) — сетевые диски с приемлемой скоростью, но медленнее, чем сетевые SSD-диски.
-
Нереплицируемые SSD-диски (network-ssd-nonreplicated) — сетевые SSD-диски с повышенной производительностью.
Если выбран тип платформы burstable, то доступно только два типа — network-ssd и network-hdd.
Выберите network-ssd и установите размер хранилища в 10 Гб (этого скорее всего должно хватить на вашем размере БД.)
Сетевые настройкиВ этом разделе выбирается облачная сеть, в которой будет размещён кластер. Можно оставить сеть по умолчанию или настроить здесь: Облачные сети.
ХостыВ разделе Хосты можно задать количество хостов, а также выбрать зону доступности вашего хоста. Зона доступности — это инфраструктура в дата-центре Yandex Cloud. Всего у Yandex Cloud три дата-центра: во Владимирской, Рязанской и Московской областях. Если вы располагаете хосты в разных дата-центрах, то обеспечиваете лучшую отказоустойчивость кластера: если в одном из дата-центров произойдёт сбой, то данные сохранятся в другом дата-центре и не потеряются. Скорее всего вам будет достаточно одного хоста, но отталкивайтесь от ваших нужд.
Если вдруг нужно, чтобы к кластеру был доступ по интернету и к нему могли подключаться среды разработки, разрешите хосту публичный доступ — фактически публичный IP. Для этого зайдите в настройки хоста и поставьте галочку напротив Публичного доступа.
📌 Но! С типом burstable ваш IP-адрес будет меняться каждые 24 часа.
Настройки СУБДПроведите конфигурацию кластера:
Включите управление пользователями через SQL. Это позволит создавать и управлять правами пользователей из учётной записи администратора в рамках SQL-запросов.
Включите управление базами данных через SQL. Это позволит создавать и настраивать БД из учётной записи администратора или созданных учётных записей с правами на контроль БД
Задайте пароль пользователя admin. Это пароль для авторизации в ClickHouse. Сохраните его, чтобы не потерять.
Сервисные настройкиВ этом разделе настраивают сетевой доступ к кластеру.
Настройки начало резервного копирования (UTC), окно обслуживания и сервисный аккаунт оставьте выбранными по умолчанию.
Включите доступ из DataLens. Так вы сможете подключать DataLens к кластеру.
Включите доступ из консоли управления. Вы сможете отправлять SQL-запросы к базам из консоли управления Yandex Cloud.
Вы можете также включить защиту от непреднамеренного удаления.
Нажмите кнопку Создать кластер. Создание кластера занимает некоторое время: дождитесь, когда состояние доступности станет Alive.
Настройка ClickHouse
Создание базы данных
Перейдите в созданный ранее кластер. В левом меню выберите WebSQL
В появившемся окне введите:
- Имя – произвольное название для подключения (например: okdesk)
- Тип базы данных – по умолчанию будет выбран ClickHouse, его и нужно оставить
- Кластер – автоматически будет заполнено кластером из которого вы перешли (на всякий случай проверьте, что это класстер который создавался по инструкции ранее)
- Имя пользователя – admin
- Пароль – пароль от учетки admin
- Базы данных – нажмите Добавить базу данных и введите default
В левом списке перейдите в базу данных default и в правом текстовом поле введите CREATE DATABASE IF NOT EXISTS okdesk и нажмите на кнопку Выполнить.
Настройка синхронизации между SQL API и Сlickhouse.
Далее, необходимо создать синхронизацию между SQL API и созданным ранее кластером Сlickhouse — создаем Data Transfer.
Как создать Data Transfer
Перейдите в консоль управления и выберите пункт Yandex Data Transfer.
Нажмите на кнопку Создать трансфер. Далее необходимо будет создать Эндпоинты.
Создание Эндпоинтов
Источник
Напротив поля Источник, нажимаем кнопку Создать новый.
Тип Базы данных выбираем PostgreSQL, тип подключения Пользовательская инсталляция и заполняем все поля данными подключения к SQL API, выданной вами Okdesk, и нажимаем Создать.
ПриемникНапротив поля Приемник, нажимаем кнопку Создать новый.
Тип Базы данных выбираем ClickHouse, тип подключения Кластер Managed Service for ClickHouse и заполняем все поля данными подключения к созданному ранее кластеру ClickHouse:
-
База данных — okdesk (если назовёте по другому, то шаблоны отчетов которые мы подготовили в DataLens не будут работать)
-
Пользователь и пароль — admin и пароль, который вы создавали ранее на этапе создания кластера
-
Политика очистки — Truncate (данные при каждой синхронизации удаляются и синхронизируются заново)
и нажимаем Создать.
Донастройка Data TransferВыбираем тип трансфера Копирование и включаем периодичность не чаще чем каждые 6 часов (данные в SQL API обновляются не чаще 3-4 часов) и нажимаем Создать.
В разделе Yandex Data Transfer / Трансферы найти созданный трансфер, нажать на троеточие справа от него, выбрать Активировать и дождаться завершения.
Создание представлений для отчетаПерейдите опять в WebSQL, скачайте файл и скопируйте и выполните каждый выделенный в блоке файл по отдельности (что бы выполнить запрос после вставки, необходимо нажать кнопку Выполнить).
Настройка DataLens
Копирование шаблона
На Marketplace открываете шаблон отчета https://datalens.yandex.ru/marketplace/f2eutnli4n1o63msghr3 и нажимаете на кнопку Развернуть, далее Сохранить и сервис подтвердит об удачном копировании и предложит открыть папку с отчетом.
Настройка подключенияВ списке файлов, находите файл подключения demo и открываете двойным щелчком.
В открывшемся окне заполняете поля и после, нажимаете на кнопку Проверить подключение и если оно успешно, то Сохранить изменение:
-
Облако и каталог — выбираете ваше облако, на котором развернули кластер по инструкции выше (возможно у вас более 1 облака)
-
Кластер — выбираете кластер, который развернули по инструкции выше
-
Имя хоста — скорее всего у вас и не из чего выбирать, будет одно значение в списке
-
Имя пользователя и пароль — вводите данные админской учетки от кластера (возможно, у вас более 1 базы под другие ваши нужды, и тогда вам необходимо создать отдельного пользователя, у которого будет доступ только к данной БД и указать его)
Запуск отчета в DataLensВ левом боковом меню выбираете Дашборды и из списка запускаете Okdesk.Дашборд.
-
Загрузка данных...