> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-postgresql-tls-support.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Пошаговое руководство по созданию первого Kafka ClickPipe.

# Создание первого Kafka ClickPipe

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

> В этом руководстве мы пошагово рассмотрим процесс создания первого Kafka ClickPipe.

Kafka ClickPipes можно развертывать и настраивать вручную через интерфейс ClickPipes, а также программно с помощью [OpenAPI](/ru/integrations/clickpipes/programmatic-access/openapi) и [Terraform](/ru/integrations/clickpipes/programmatic-access/terraform).

<Steps>
  <Step title="Перейдите к источникам данных" id="1-load-sql-console">
    В левом меню выберите кнопку `Data Sources` и нажмите "Set up a ClickPipe".

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step0.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=e9541eb0c881173eacc746f45524d8d4" alt="Выберите импорт" size="md" width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.webp" />
  </Step>

  <Step title="Выберите источник данных" id="2-select-data-source">
    Выберите в списке источник данных Kafka.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step1.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=a50f95af84bef1cf769395a204bd0cfa" alt="Выберите тип источника данных" size="md" width="2600" height="1890" data-path="images/integrations/data-ingestion/clickpipes/cp_step1.webp" />
  </Step>

  <Step title="Настройте источник данных" id="3-configure-data-source">
    Заполните форму: укажите имя для ClickPipe, описание (необязательно), учетные данные и другие сведения о подключении.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step2.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=cabcedf06d16b8930dbdd3b57fd35d13" alt="Заполните сведения о подключении" size="md" width="1896" height="1370" data-path="images/integrations/data-ingestion/clickpipes/cp_step2.webp" />
  </Step>

  <Step title="Настройте реестр схем (необязательно)" id="4-configure-your-schema-registry">
    Для топиков Avro и Protobuf требуется корректная схема. Подробнее о том, как настроить реестр схем, см. в разделе [Реестры схем](/ru/integrations/clickpipes/kafka/schema-registries).
  </Step>

  <Step title="Настройте обратную частную конечную точку (необязательно)" id="5-configure-reverse-private-endpoint">
    Настройте обратную частную конечную точку, чтобы ClickPipes могли подключаться к вашему кластеру Kafka через AWS PrivateLink.
    Подробнее см. в нашей [документации по AWS PrivateLink](/ru/integrations/clickpipes/aws-privatelink).
  </Step>

  <Step title="Настройка SSH-туннелирования (необязательно)" id="6-configure-ssh-tunneling">
    Вы можете использовать SSH-туннелирование, если ваш брокер Kafka недоступен из интернета. Вместо прямого подключения ClickPipes устанавливает SSH-соединение с бастион-хостом (сервером в вашей сети, который имеет публичный доступ), а затем перенаправляет через него трафик к вашему брокеру Kafka в частной сети.

    1. Включите переключатель "SSH Tunnel".
    2. Заполните сведения о SSH-подключении:
       * **SSH Host**: имя хоста или IP-адрес вашего бастион-хоста — это общедоступный сервер, который служит шлюзом в вашу частную сеть.
       * **SSH Port**: SSH-порт на бастион-хосте (по умолчанию `22`).
       * **SSH User**: имя пользователя для аутентификации на бастион-хосте.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_ssh_tunnel.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=f4bc1d67973ac1ea2349dde9e97518e2" alt="Конфигурация SSH-туннеля" size="md" width="1810" height="1510" data-path="images/integrations/data-ingestion/clickpipes/cp_ssh_tunnel.webp" />

    3. Чтобы использовать аутентификацию по ключу, нажмите "Revoke and regenerate key pair", чтобы сгенерировать новую пару ключей, и скопируйте созданный открытый ключ на ваш SSH-сервер в `~/.ssh/authorized_keys`.
    4. Нажмите "Verify Connection", чтобы проверить подключение.

    <Note>
      Убедитесь, что вы добавили [ClickPipes IP addresses](/ru/integrations/clickpipes/home#list-of-static-ips) в правила брандмауэра для SSH-бастиона, чтобы ClickPipes могли установить SSH-туннель.
    </Note>
  </Step>

  <Step title="Выберите топик" id="7-select-your-topic">
    Выберите топик, и интерфейс отобразит пример документа из этого топика.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step3.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=ee80e73c22789da32f70cd5a860520f2" alt="Выберите топик" size="md" width="2380" height="1956" data-path="images/integrations/data-ingestion/clickpipes/cp_step3.webp" />
  </Step>

  <Step title="Настройте целевую таблицу" id="8-configure-your-destination-table">
    На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и настройки. Вверху страницы вы увидите предварительный просмотр изменений в таблице-образце в реальном времени.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step4a.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=24a3288470ed1e16962d0b66ac75a585" alt="Задайте таблицу, схему и настройки" size="md" width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.webp" />

    Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_table_settings.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=101064df928dc0d89dfd718e33260010" alt="Задайте дополнительные параметры" size="md" width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_table_settings.webp" />
  </Step>

  <Step title="Настройка разрешений" id="9-configure-permissions">
    ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Для этого внутреннего пользователя можно выбрать пользовательскую роль или одну из предопределённых ролей:

    * `Full access`: полный доступ к кластеру. Это может быть полезно, если вы используете Materialized View или словарь с целевой таблицей.
    * `Only destination table`: только с разрешением `INSERT` для целевой таблицы.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step5.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=9a75402c40da36a6a5c2936ca83f2523" alt="Разрешения" size="md" width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.webp" />
  </Step>

  <Step title="Завершение настройки" id="10-complete-setup">
    После нажатия на "Create ClickPipe" будет создан и запущен ваш ClickPipe. После этого он появится в разделе Data Sources.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_overview.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=e39f05bbffb64f3c6959363afb9451c9" alt="Обзор" size="md" width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.webp" />
  </Step>
</Steps>
