Интеграция с ClickHouse Cloud
Введение
ClickPipes — это управляемая платформа интеграции данных, которая делает приём данных из широкого спектра источников таким же простым, как несколько щелчков мышью. Разработанная для самых требовательных нагрузок, надёжная и масштабируемая архитектура ClickPipes обеспечивает стабильную производительность и отказоустойчивость. ClickPipes можно использовать как для долгосрочных сценариев потоковой передачи данных, так и для разовых задач по загрузке данных.
Поддерживаемые источники данных
| Название | Логотип | Тип | Статус | Описание |
|---|---|---|---|---|
| Apache Kafka | Streaming | Стабильно | Настройте ClickPipes и начните приём потоковых данных из Apache Kafka в ClickHouse Cloud. | |
| Confluent Cloud | Streaming | Стабильно | Используйте совместные возможности Confluent и ClickHouse Cloud благодаря нашей прямой интеграции. | |
| Redpanda |  | Streaming | Стабильно | Настройте ClickPipes и начните приём потоковых данных из Redpanda в ClickHouse Cloud. |
| AWS MSK | Streaming | Стабильно | Настройте ClickPipes и начните приём потоковых данных из AWS MSK в ClickHouse Cloud. | |
| Azure Event Hubs | Streaming | Стабильно | Настройте ClickPipes и начните приём потоковых данных из Azure Event Hubs в ClickHouse Cloud. См. Azure Event Hubs FAQ для получения рекомендаций. | |
| WarpStream | Streaming | Стабильно | Настройте ClickPipes и начните приём потоковых данных из WarpStream в ClickHouse Cloud. | |
| Amazon S3 | Object Storage | Стабильно | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. | |
| Google Cloud Storage | Object Storage | Стабильно | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. | |
| DigitalOcean Spaces | Object Storage | Стабильно | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. | |
| Azure Blob Storage | Object Storage | Стабильно | Настройте ClickPipes для приёма больших объёмов данных из объектного хранилища. | |
| Amazon Kinesis | Streaming | Стабильно | Настройте ClickPipes и начните приём потоковых данных из Amazon Kinesis в ClickHouse Cloud. | |
| Postgres | DBMS | Стабильно | Настройте ClickPipes и начните приём данных из Postgres в ClickHouse Cloud. | |
| MySQL | DBMS | Публичная бета | Настройте ClickPipes и начните приём данных из MySQL в ClickHouse Cloud. | |
| MongoDB | DBMS | Закрытая предварительная версия | Настройте ClickPipes и начните приём данных из MongoDB в ClickHouse Cloud. |
В ClickPipes будут добавляться новые коннекторы; подробнее можно узнать, связавшись с нами.
Список статических IP-адресов
Ниже приведены статические NAT IP-адреса (разделённые по регионам), которые ClickPipes использует для подключения к вашим внешним сервисам. Добавьте IP-адреса региона, соответствующего вашему экземпляру, в список разрешённых IP-адресов, чтобы разрешить трафик. В случае конвейеров объектного хранилища вам также следует добавить IP-адреса кластера ClickHouse в список разрешённых IP-адресов.
Для всех сервисов трафик ClickPipes будет исходить из региона по умолчанию, определяемого на основе расположения вашего сервиса:
- eu-central-1: Для всех регионов ЕС, явно не перечисленных (включая регионы GCP и Azure в ЕС).
- eu-west-1: Для всех сервисов в AWS
eu-west-1, созданных 20 января 2026 г. или позднее (сервисы, созданные до этой даты, используют IP-адресаeu-central-1). - us-east-1: Для всех сервисов в AWS
us-east-1. - ap-south-1: Для сервисов в AWS
ap-south-1, созданных 25 июня 2025 г. или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-northeast-2: Для сервисов в AWS
ap-northeast-2, созданных 14 ноября 2025 г. или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - ap-southeast-2: Для сервисов в AWS
ap-southeast-2, созданных 25 июня 2025 г. или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - us-west-2: Для сервисов в AWS
us-west-2, созданных 24 июня 2025 г. или позднее (сервисы, созданные до этой даты, используют IP-адресаus-east-2). - us-east-2: Для всех остальных регионов, явно не перечисленных (включая регионы GCP и Azure).
| Регион AWS | IP-адреса |
|---|---|
| eu-central-1 | 18.195.233.217, 3.127.86.90, 35.157.23.2, 18.197.167.47, 3.122.25.29, 52.28.148.40 |
| eu-west-1 (с 20 января 2026 г.) | 54.228.1.92 , 54.72.101.254, 54.228.16.208, 54.76.200.104, 52.211.2.177, 54.77.10.134 |
| us-east-1 | 54.82.38.199, 3.90.133.29, 52.5.177.8, 3.227.227.145, 3.216.6.184, 54.84.202.92, 3.131.130.196, 3.23.172.68, 3.20.208.150 |
| us-east-2 | 3.131.130.196, 3.23.172.68, 3.20.208.150, 3.132.20.192, 18.119.76.110, 3.134.185.180 |
| ap-south-1 (с 25 июня 2025 г.) | 13.203.140.189, 13.232.213.12, 13.235.145.208, 35.154.167.40, 65.0.39.245, 65.1.225.89 |
| ap-northeast-2 (с 14 ноября 2025 г.) | 3.38.68.69, 52.78.68.128, 13.209.152.13, 3.38.24.84, 3.37.159.31, 3.34.25.104 |
| ap-southeast-2 (с 25 июня 2025 г.) | 3.106.48.103, 52.62.168.142, 13.55.113.162, 3.24.61.148, 54.206.77.184, 54.79.253.17 |
| us-west-2 (с 24 июня 2025 г.) | 52.42.100.5, 44.242.47.162, 52.40.44.52, 44.227.206.163, 44.246.241.23, 35.83.230.19 |
Настройка параметров ClickHouse
ClickHouse Cloud предоставляет подходящие значения по умолчанию для большинства сценариев. Однако, если вам нужно изменить некоторые настройки ClickHouse для целевых таблиц ClickPipes, наиболее гибким решением будет использование отдельной роли для ClickPipes. Шаги:
- создайте пользовательскую роль
CREATE ROLE my_clickpipes_role SETTINGS .... Смотрите синтаксис CREATE ROLE для получения подробной информации. - добавьте эту пользовательскую роль пользователю ClickPipes на шаге
Details and Settingsпри создании ClickPipes.
Настройка расширенных настроек ClickPipes
ClickPipes предоставляет разумные значения по умолчанию, которые соответствуют требованиям большинства сценариев использования. Если в вашем случае требуется дополнительная тонкая настройка, вы можете изменить следующие настройки:
ClickPipes для объектного хранилища
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
Max insert bytes | 10GB | Количество байт, обрабатываемых в одном пакете вставки. |
Max file count | 100 | Максимальное количество файлов, обрабатываемых в одном пакете вставки. |
Max threads | auto(3) | Максимальное количество параллельных потоков для обработки файлов. |
Max insert threads | 1 | Максимальное количество параллельных потоков вставки для обработки файлов. |
Min insert block size bytes | 1GB | Минимальный размер блока в байтах, который может быть вставлен в таблицу. |
Max download threads | 4 | Максимальное количество параллельных потоков загрузки. |
Object storage polling interval | 30s | Определяет максимальный интервал ожидания перед вставкой данных в кластер ClickHouse. |
Parallel distributed insert select | 2 | Параметр parallel_distributed_insert_select. |
Parallel view processing | false | Включать ли отправку в присоединённые представления параллельно, а не последовательно. |
Use cluster function | true | Обрабатывать ли файлы параллельно на нескольких узлах. |
Потоковые ClickPipes
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
Streaming max insert wait time | 5s | Настраивает максимальное время ожидания перед вставкой данных в кластер ClickHouse. |
Отчёт об ошибках
ClickPipes сохраняет ошибки в двух отдельных таблицах в зависимости от типа ошибки, возникшей во время ингестии.
Ошибки при записи
ClickPipes создаст таблицу рядом с таблицей назначения с постфиксом <destination_table_name>_clickpipes_error. В этой таблице будут содержаться все ошибки, связанные с некорректными данными или несовпадающей схемой, а также полное содержимое некорректного сообщения. Для этой таблицы установлен TTL в 7 дней.
Системные ошибки
Ошибки, связанные с работой ClickPipe, будут сохраняться в таблице system.clickpipes_log. В ней хранятся все прочие ошибки, связанные с работой вашего ClickPipe (сеть, подключение и т. д.). Для этой таблицы настроен TTL 7 дней.
Если ClickPipes не удаётся подключиться к источнику данных в течение 15 минут или к приёмнику в течение 1 часа, инстанс ClickPipes останавливается и записывает соответствующее сообщение в таблицу системных ошибок (при условии, что инстанс ClickHouse доступен).
FAQ
-
Что такое ClickPipes?
ClickPipes — это возможность ClickHouse Cloud, которая упрощает подключение ваших сервисов ClickHouse к внешним источникам данных, в частности к Kafka. С помощью ClickPipes для Kafka вы можете легко и непрерывно загружать данные в ClickHouse, делая их доступными для аналитики в реальном времени.
-
Поддерживает ли ClickPipes преобразование данных?
Да, ClickPipes поддерживает базовое преобразование данных, предоставляя доступ к созданию DDL. Затем вы можете применять более продвинутые преобразования к данным по мере их загрузки в целевую таблицу в сервисе ClickHouse Cloud, используя возможность ClickHouse по работе с materialized views.
-
Приводит ли использование ClickPipes к дополнительным расходам?
ClickPipes тарифицируется по двум показателям: объём принятых данных (Ingested Data) и вычислительные ресурсы (Compute). Полная информация о ценах доступна на этой странице. Запуск ClickPipes также может приводить к косвенным затратам на вычисления и хранение в целевом сервисе ClickHouse Cloud, аналогично любой нагрузке на приём данных.
-
Есть ли способ обрабатывать ошибки или сбои при использовании ClickPipes для Kafka?
Да, ClickPipes для Kafka автоматически выполняет повторные попытки при сбоях при чтении данных из Kafka по любой операционной причине, включая сетевые проблемы, проблемы с подключением и т. п. В случае искажённых данных или недопустимой схемы ClickPipes сохранит запись в таблицу record_error и продолжит обработку.
