> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-postgresql-tls-support.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Пошаговое руководство по созданию первого ClickPipe для Amazon S3.

# Создание первого ClickPipe для Amazon S3

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

export const props_0 = undefined

export const provider_0 = "s3"

S3 ClickPipe — это полностью управляемый и отказоустойчивый способ приёма данных из Amazon S3 и S3-совместимых объектных хранилищ в ClickHouse Cloud. Он поддерживает как **однократную загрузку**, так и **непрерывную ингестию** с семантикой «ровно один раз».

<Steps>
  <Step>
    ## Выберите источник данных

    **1.** В ClickHouse Cloud выберите **Data sources** в главном навигационном меню и нажмите **Create ClickPipe**.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step0.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=e9541eb0c881173eacc746f45524d8d4" alt="Выбор импорта" size="lg" border width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.webp" />

    {props_0.provider_0 === 's3' && <S3DataSource />}

    {props_0.provider_0 === 'gcs' && <GCSSDataSource />}
  </Step>

  <Step>
    ## Настройте подключение ClickPipe

    **1.** Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего сервиса Объектного хранилища.

    {props_0.provider_0 === 's3' && <S3Connection />}

    {props_0.provider_0 === 'gcs' && <GCSConnection />}

    **2.** Нажмите **Incoming data**. ClickPipes получит метаданные из вашего бакета для следующего шага.
  </Step>

  <Step>
    ## Выберите формат данных

    В интерфейсе отобразится список файлов в указанном бакете.
    Выберите формат данных (сейчас поддерживается только часть форматов ClickHouse), а также укажите, нужно ли включить непрерывный приём.
    Подробнее см. в разделе "continuous ingest" на странице обзора.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=a84e426c9e173c435890ac98a842551f" alt="Задать формат данных и topic" size="lg" border width="2336" height="1566" data-path="images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.webp" />
  </Step>

  <Step>
    ## Настройте таблицу, схему и параметры

    На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую.
    Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры.
    Предварительный просмотр изменений в реальном времени отображается в sample-таблице в верхней части экрана.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step4a.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=24a3288470ed1e16962d0b66ac75a585" alt="Задать таблицу, схему и параметры" size="lg" border width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.webp" />

    Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step4a3.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=178f11473c45ddcd9a1f7d28b8bb5fa3" alt="Задать расширенные элементы управления" size="lg" border width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a3.webp" />

    Кроме того, вы можете выбрать приём данных в существующую таблицу ClickHouse.
    В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step4b.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=b1746ce2f9257230cd188f910e4b1979" alt="Использовать существующую таблицу" size="lg" border width="2738" height="1322" data-path="images/integrations/data-ingestion/clickpipes/cp_step4b.webp" />

    <Info>
      Вы также можете сопоставлять [virtual columns](/ru/reference/functions/table-functions/s3#virtual-columns), такие как `_path` или `_size`, с полями.
    </Info>
  </Step>

  <Step>
    ## Настройте разрешения

    Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

    **Разрешения:** ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Для этого внутреннего пользователя можно выбрать пользовательскую роль или одну из предопределённых ролей:

    * `Full access`: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
    * `Only destination table`: только разрешения `INSERT` для целевой таблицы.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_step5.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=9a75402c40da36a6a5c2936ca83f2523" alt="Разрешения" size="lg" border width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.webp" />
  </Step>

  <Step>
    ## Завершите настройку

    Нажав "Complete Setup", вы зарегистрируете ClickPipe, и он появится в сводной таблице.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_success.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=3ee0e38a0f6c1e04971d5b80f01e0fd5" alt="Уведомление об успешном завершении" size="sm" border width="613" height="212" data-path="images/integrations/data-ingestion/clickpipes/cp_success.webp" />

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_remove.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=08cf3ed6761f9606f741a6cb7d209e46" alt="Уведомление об удалении" size="lg" border width="2756" height="1320" data-path="images/integrations/data-ingestion/clickpipes/cp_remove.webp" />

    В сводной таблице доступны элементы управления для просмотра sample-данных из исходной или целевой таблицы в ClickHouse

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_destination.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=f8b015bcd2ef5293053a6f4cf161c848" alt="Просмотр пункта назначения" size="lg" border width="2758" height="1316" data-path="images/integrations/data-ingestion/clickpipes/cp_destination.webp" />

    А также элементы управления для удаления ClickPipe и просмотра сводки по задаче приёма.

    <Image img="https://mintcdn.com/private-7c7dfe99-postgresql-tls-support/w-Unfx0B83cK7_6Z/images/integrations/data-ingestion/clickpipes/cp_overview.webp?fit=max&auto=format&n=w-Unfx0B83cK7_6Z&q=85&s=e39f05bbffb64f3c6959363afb9451c9" alt="Просмотр обзора" size="lg" border width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.webp" />

    **Поздравляем!** Вы успешно настроили свой первый ClickPipe.
    Если этот ClickPipe настроен для непрерывного приёма, он будет работать постоянно и выполнять приём данных в реальном времени из удалённого источника данных.
    В противном случае он обработает батч и завершит работу.
  </Step>
</Steps>
