Создайте свой первый ClickPipe для Azure Blob Storage

Предварительные требования

Для выполнения этого руководства вам понадобятся:

• Учетная запись Azure Blob Storage
• Строка подключения Azure
• Имя контейнера
• Запущенный сервис ClickHouse Cloud

Перейдите к источникам данных

На главной странице вашего сервиса нажмите Data sources в меню слева. Разверните раскрывающийся список ClickPipes и нажмите Create ClickPipe.

Выбор источника данных

Выберите Azure Blob Storage в качестве типа данных.

Настройте подключение ClickPipe

1. Укажите для вашего ClickPipe понятное описательное имя
2. Выберите Connection String в раскрывающемся списке метода аутентификации
3. Вставьте строку подключения Azure в поле Connection string
4. Введите имя контейнера
5. Введите путь к файлу Azure Blob Storage, используя подстановочные знаки, если вы хотите настроить приём нескольких файлов

При необходимости включите непрерывную ингестию. Подробнее см. "Continuous Ingestion".

Затем нажмите Incoming data.

Выбор формата данных

1. Выберите тип файла
2. Укажите сжатие файла (detect automatically, none, gzip, brotli, xz или zstd)
3. Выполните дополнительную настройку, специфичную для формата, например укажите разделитель для форматов с разделителями-запятыми
4. Нажмите Parse information

Настройка таблицы, схемы и параметров

Теперь вам нужно создать новую таблицу или выбрать существующую, в которую будут сохраняться входящие данные.

1. Укажите, необходимо ли загружать данные в новую таблицу или в существующую
2. Выберите базу данных и имя таблицы, если создается новая таблица
3. Выберите ключ или ключи сортировки
4. Определите все сопоставления из исходного файла в целевую таблицу для имени столбца, типа столбца, значения по умолчанию и возможности хранения NULL-значений
5. Наконец, укажите дополнительные параметры, такие как тип движка, который вы хотите использовать, выражение для партиционирования и первичный ключ

После завершения настройки таблицы, схемы и параметров нажмите Details and settings.

Настройка прав доступа

ClickPipes создаст отдельного пользователя базы данных для записи данных. Вы можете выбрать роль для этого пользователя. Для materialized views или доступа к словарю из целевой таблицы выберите "Full access".

Завершение настройки

Нажмите Create ClickPipe, чтобы завершить настройку.

Теперь вы должны увидеть свой ClickPipe в статусе provisioning. Через несколько мгновений статус изменится с provisioning на completed.