Lightdash
Lightdash — это AI-first BI-платформа, созданная для современных команд по работе с данными, которая сочетает открытость dbt с производительностью ClickHouse. Подключив ClickHouse к Lightdash, команды получают самообслуживаемую аналитику на базе ИИ, опирающуюся на их семантический слой dbt, так что на каждый вопрос даётся ответ с контролируемыми и согласованными метриками.
Разработчики ценят Lightdash за его открытую архитектуру, версионируемые YAML-модели и интеграции, которые напрямую встраиваются в их рабочий процесс — от GitHub до IDE.
Это партнёрство объединяет скорость ClickHouse и удобство Lightdash для разработчиков, упрощая как никогда ранее исследование, визуализацию и автоматизацию получения инсайтов с помощью ИИ.
Создание интерактивной панели мониторинга с Lightdash и ClickHouse
В этом руководстве показано, как Lightdash подключается к ClickHouse для исследования ваших dbt-моделей и создания интерактивных панелей мониторинга.
На примере ниже показана готовая панель мониторинга, построенная на данных из ClickHouse.
Сбор данных для подключения
При настройке подключения между Lightdash и ClickHouse вам понадобятся следующие параметры:
- Host: Адрес сервера, на котором запущена ваша база данных ClickHouse
- User: Имя пользователя базы данных ClickHouse
- Password: Пароль пользователя базы данных ClickHouse
- DB name: Имя вашей базы данных ClickHouse
- Schema: Схема по умолчанию, которую dbt использует для компиляции и выполнения вашего проекта (указана в
profiles.yml) - Port: Порт HTTPS-интерфейса ClickHouse (по умолчанию:
8443) - Secure: Включите этот параметр, чтобы использовать HTTPS/SSL для защищённых соединений
- Retries: Количество повторных попыток выполнения неуспешных запросов к ClickHouse в Lightdash (по умолчанию:
3) - Start of week: Выберите, с какого дня начинается отчётная неделя; по умолчанию используется параметр, заданный в вашем хранилище данных
Чтобы подключиться к ClickHouse по HTTP(S) вам потребуется следующая информация:
| Параметр(ы) | Описание |
|---|---|
HOST and PORT | Typically, the port is 8443 when using TLS or 8123 when not using TLS. |
DATABASE NAME | Out of the box, there is a database named default, use the name of the database that you want to connect to. |
USERNAME and PASSWORD | Out of the box, the username is default. Use the username appropriate for your use case. |
The details for your ClickHouse Cloud service are available in the ClickHouse Cloud console. Select a service and click Connect:
Choose HTTPS. Connection details are displayed in an example curl command.
If you're using self-managed ClickHouse, the connection details are set by your ClickHouse administrator.
Настройка профиля dbt для ClickHouse
В Lightdash подключения основаны на вашем существующем dbt-проекте.
Чтобы подключить ClickHouse, убедитесь, что ваш локальный файл ~/.dbt/profiles.yml содержит корректную конфигурацию целевого подключения к ClickHouse.
Например:
Создание проекта Lightdash, подключённого к ClickHouse
После того как ваш профиль dbt настроен для ClickHouse, вам также нужно подключить dbt-проект к Lightdash.
Поскольку этот процесс одинаков для всех хранилищ данных, мы не будем подробно рассматривать его здесь — вы можете воспользоваться официальным руководством Lightdash по импорту dbt-проекта:
Импорт dbt-проекта → Lightdash Docs
После подключения вашего dbt-проекта Lightdash автоматически определит конфигурацию ClickHouse из файла profiles.yml. Как только проверка подключения пройдёт успешно, вы сможете начать исследовать свои dbt-модели и создавать панели мониторинга на базе ClickHouse.
Исследование данных ClickHouse в Lightdash
После подключения Lightdash автоматически синхронизирует ваши dbt-модели и предоставляет доступ к следующим объектам:
- Измерения и меры, определённые в YAML
- Логика семантического слоя, например метрики, соединения (joins) и explores
- Панели мониторинга, работающие на основе запросов к ClickHouse в режиме реального времени
Теперь вы можете создавать панели мониторинга, делиться аналитическими выводами и даже использовать Ask AI для генерации визуализаций непосредственно поверх ClickHouse — без необходимости писать SQL вручную.
Определение метрик и измерений в Lightdash
В Lightdash все метрики и измерения определяются непосредственно в .yml-файлах ваших dbt-моделей. Это делает бизнес-логику управляемой по версиям, согласованной и полностью прозрачной.
Определение этих сущностей в YAML гарантирует, что ваша команда использует единые определения во всех панелях мониторинга и аналитических отчётах. Например, вы можете создавать повторно используемые метрики, такие как total_order_count, total_revenue или avg_order_value, прямо рядом с dbt-моделями — без необходимости дублировать их в интерфейсе.
Чтобы узнать больше о том, как определять эти сущности, ознакомьтесь со следующими руководствами Lightdash:
Выполнение запросов к данным из таблиц
После того как ваш dbt-проект подключён и синхронизирован с Lightdash, вы можете начать исследовать данные непосредственно из таблиц (или «explores»). Каждая таблица представляет собой dbt-модель и включает метрики и измерения, которые вы определили в YAML.
Страница Explore состоит из пяти основных областей:
- Измерения и метрики — все поля, доступные в данной таблице
- Фильтры — ограничивают набор данных, возвращаемый вашим запросом
- Chart — визуализируйте результаты запросов
- Results — просмотреть сырые данные, возвращаемые вашей базой данных ClickHouse
- SQL — просмотреть сгенерированный SQL-запрос, который стоит за вашими результатами
Отсюда вы можете создавать и настраивать запросы в интерактивном режиме — перетаскивая поля, добавляя фильтры и переключаясь между типами визуализации, такими как таблицы, столбчатые диаграммы или временные ряды.
Для более подробного изучения explores и выполнения запросов к таблицам см.: Введение в таблицы и страницу Explore → Lightdash Docs
Создание панелей мониторинга
После того как вы исследовали данные и сохранили визуализации, вы можете объединить их в панели мониторинга, чтобы поделиться ими с командой.
Панели мониторинга в Lightdash полностью интерактивны — вы можете применять фильтры, добавлять вкладки и просматривать графики, работающие на запросах к ClickHouse в режиме реального времени.
Вы также можете создавать новые графики непосредственно внутри панели мониторинга, что помогает поддерживать порядок в проектах и избегать беспорядка. Графики, созданные таким образом, являются эксклюзивными для этой панели мониторинга — их нельзя повторно использовать в других частях проекта.
Чтобы создать диаграмму только для панели мониторинга:
- Нажмите Add tile
- Выберите New chart
- Создайте визуализацию в конструкторе диаграмм
- Сохраните её — она появится в нижней части панели мониторинга
Узнайте больше о том, как создавать и организовывать панели мониторинга, здесь: Создание панелей мониторинга → Lightdash Docs
Ask AI: самообслуживаемая аналитика на базе dbt
AI-агенты в Lightdash делают исследование данных по-настоящему самостоятельным. Вместо написания запросов вы можете просто задавать вопросы на естественном языке — например, «Каким был наш ежемесячный рост выручки?» — и AI-агент автоматически создаст подходящую визуализацию, используя ваши метрики и модели, определённые в dbt, чтобы обеспечить точность и согласованность.
Он работает на том же семантическом слое, который вы используете в dbt, а это значит, что каждый ответ остаётся управляемым, объяснимым и быстрым — всё это обеспечивается ClickHouse.
Узнайте больше об AI-агентах здесь: AI Agents → Lightdash Docs
Подробнее
Чтобы узнать больше о подключении проектов dbt к Lightdash, посетите раздел Документация Lightdash → Настройка ClickHouse.
