Apache Kafka 트리거

Apache Kafka 트리거는 Apache Kafka 연결에서 구독한 Apache Kafka 이벤트를 기반으로 통합을 호출할 수 있는 커넥터 이벤트 트리거입니다.

시작하기 전에

Apache Kafka 트리거에 대한 새 연결을 만들거나 구성하려면 프로젝트에 다음 Identity and Access Management(IAM) 역할이 있는지 확인합니다.

커넥터 관리자(roles/connectors.admin)

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

Apache Kafka 트리거에 사용할 서비스 계정에 다음 IAM 역할을 부여하세요.

Application Integration 호출자(roles/integrations.integrationInvoker)

서비스 계정에 역할 부여에 대한 자세한 내용은 서비스 계정에 대한 액세스 관리를 참조하세요.

제한사항

Apache Kafka 트리거에는 다음과 같은 제한사항이 적용됩니다.

이벤트 구독에 SASL_SSL 보안 프로토콜을 지원합니다.
이벤트 구독에 mTLS를 지원하지 않습니다.

Apache Kafka 트리거 추가

Apache Kafka 트리거를 통합에 추가하려면 다음 단계를 수행하세요.

Google Cloud 콘솔에서 Application Integration 페이지로 이동합니다.
Application Integration으로 이동
탐색 메뉴에서 통합을 클릭합니다.
Google Cloud 프로젝트에서 사용할 수 있는 모든 통합이 나열된 통합 목록 페이지가 나타납니다.
기존 통합을 선택하거나 통합 만들기를 클릭하여 새 통합을 만듭니다.
새 통합을 만드는 경우:
1. 통합 만들기 창에 이름과 설명을 입력합니다.
2. 통합 리전을 선택합니다.
  참고: 리전 드롭다운에는 Google Cloud 프로젝트에 프로비저닝된 리전만 나열됩니다. 새 리전을 프로비저닝하려면 리전 사용 설정을 클릭합니다. 자세한 내용은 새 리전 사용 설정을 참조하세요.
3. 통합을 위한 서비스 계정을 선택합니다. 통합 툴바의 통합 요약 창에서 언제든지 통합에 대한 서비스 계정 세부정보를 변경하거나 업데이트할 수 있습니다.
  참고: 서비스 계정 선택 옵션은 선택한 리전에 대해 통합 거버넌스를 사용 설정한 경우에만 표시됩니다.
4. 만들기를 클릭합니다.
통합 편집기 페이지에서 통합이 열립니다.
통합 편집기 탐색 메뉴에서 트리거를 클릭하여 사용 가능한 트리거 목록을 확인합니다.
클릭하고 통합 편집기에 Apache Kafka 트리거 요소를 배치합니다.

Apache Kafka 트리거를 구성하려면 Integration Connectors에서 제공하는 기존 Apache Kafka 연결을 사용하거나 인라인 연결 만들기 옵션을 사용하여 새 Apache Kafka 연결을 만들면 됩니다.

기존 연결을 사용하여 Apache Kafka 트리거 구성

Integration Connectors에서 기존 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성할 수 있습니다. Apache Kafka 트리거는 커넥터 이벤트 트리거이므로 이벤트 구독이 사용 설정된 Apache Kafka 연결만 사용하여 트리거를 구성할 수 있습니다.

새 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성하는 방법은 새 연결을 사용하여 Apache Kafka 트리거 구성을 참조하세요.

기존 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성하려면 다음 단계를 따르세요.

통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 트리거 구성 창을 엽니다.
트리거 구성을 클릭합니다.
커넥터 이벤트 트리거 편집기 페이지에서 다음 구성 세부정보를 제공합니다.
1. 리전: Apache Kafka 연결의 리전을 선택합니다.
2. 연결: 사용할 Apache Kafka 연결을 선택합니다.
  Application Integration에는 활성 상태이고 이벤트 구독이 사용 설정된 Apache Kafka 연결만 표시됩니다.
3. 주제 이름: 주제 이름을 입력합니다.
4. 소비자 그룹 ID: 원하는 경우 Kafka 소비자가 속한 소비자 그룹의 이름을 지정하는 소비자 그룹 ID를 입력합니다.
5. 파티션: 특정 파티션을 구독하려면 파티션을 입력합니다. 파티션은 주제를 여러 부분으로 나누고 각 부분을 클러스터의 다른 노드에 저장하는 방법입니다.
6. 초기 오프셋: 오프셋 초기화 전략을 선택하세요.
  - earliest를 선택하면 연결은 소비자 그룹의 수명 이전에 생성된 메시지를 포함하여 소비되지 않은 메시지를 소비합니다.
  - latest를 선택하면 소비자 그룹이 생성된 후 생성된 메시지가 연결에서 소비됩니다.
7. 서비스 계정: Apache Kafka 트리거에 필요한 IAM 역할이 있는 서비스 계정을 선택합니다.
완료를 클릭합니다.

새 연결을 사용하여 Apache Kafka 트리거 구성

새 Apache Kafka 연결을 사용하여 Apache Kafka 트리거를 구성하려면 다음 단계를 따르세요.

통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 트리거 구성 창을 엽니다.
Apache Kafka 트리거 구성을 클릭합니다.
리전 필드를 건너뜁니다.
연결을 클릭하고 목록에서 연결 만들기 옵션을 선택합니다. 연결 만들기 창이 나타납니다.
위치 단계에서 새 Apache Kafka 연결 위치를 선택합니다.
1. 리전: 목록에서 리전을 선택합니다.
2. 다음을 클릭합니다.
연결 세부정보 단계에서 새 Apache Kafka 연결에 대한 세부정보를 제공합니다.
1. 커넥터 버전: 목록에서 사용 가능한 Apache Kafka 커넥터 버전을 선택합니다.
2. 연결 이름: Apache Kafka 연결 이름을 입력합니다.
  참고: 연결 이름은 다음 기준을 충족해야 합니다.
  - 연결 이름에 문자, 숫자, 하이픈을 사용할 수 있습니다.
  - 문자는 소문자여야 합니다.
  - 연결 이름은 문자로 시작하고 문자 또는 숫자로 끝나야 합니다.
  - 연결 이름은 49자(영문 기준)를 초과할 수 없습니다.
  - 이벤트 구독을 지원하는 커넥터의 경우 연결 이름은 'goog' 프리픽스로 시작할 수 없습니다.
3. (선택사항) 설명: 연결에 대한 설명을 입력합니다.
4. (선택사항) Cloud Logging 사용 설정: 연결의 모든 로그 데이터를 저장하려면 이 체크박스를 선택합니다.
5. 서비스 계정: Apache Kafka 연결을 위한 필수 IAM 역할이 있는 서비스 계정을 선택합니다.
6. Apache Kafka 연결에는 이벤트 구독, 항목, 작업 사용 옵션이 기본적으로 선택됩니다.
  참고: 이 커넥터는 Enable only event subscription 옵션을 지원하지 않습니다.
7. 유형 감지 스키마: MessageOnly를 선택합니다.
8. 레지스트리 서비스: 주제 스키마 작업에 사용되는 스키마 레지스트리 서비스입니다.
9. 레지스트리 유형: 특정 주제에 지정된 스키마의 유형입니다.
10. 레지스트리 버전: 지정된 주제의 RegistryUrl에서 읽은 스키마 버전입니다.
11. 레지스트리 사용자: RegistryUrl에 지정된 서버로 승인할 사용자 이름 또는 액세스 키 값입니다.
12. 레지스트리 비밀번호: RegistryUrl에 지정된 서버로 승인할 비밀번호/보안 비밀 키 값이 포함된 Secret Manager 보안 비밀입니다.
13. 필요한 경우 연결 노드 설정을 구성합니다.
  - 최소 노드 수: 최소 연결 노드 수를 입력합니다.
  - 최대 노드 수: 최대 연결 노드 수를 입력합니다.
  노드는 트랜잭션을 처리하는 연결의 단위(또는 복제본)입니다. 연결에 대해 더 많은 트랜잭션을 처리하려면 더 많은 노드가 필요합니다. 이와 반대로 더 적은 트랜잭션을 처리하기 위해서는 더 적은 노드가 필요합니다. 노드가 커넥터 가격 책정에 미치는 영향을 파악하려면 연결 노드 가격 책정을 참조하세요. 값을 입력하지 않으면 기본적으로 최소 노드가 (높은 가용성을 위해) 2로 설정되고 최대 노드는 50으로 설정됩니다.
14. (선택사항) + 라벨 추가를 클릭하여 키/값 쌍의 형식으로 연결에 라벨을 추가합니다.
15. SSL 사용 설정: 이 필드는 SSL 사용 설정 여부를 설정합니다.
16. 다음을 클릭합니다.
대상 섹션에 연결하려는 Kafka 부트스트랩 서버의 세부정보를 입력합니다.
1. 대상 유형: 대상 유형을 선택합니다.
  - 목록에서 호스트 주소를 선택하여 대상의 호스트 이름 또는 IP 주소를 지정합니다.
  - 백엔드 시스템에 비공개 연결을 설정하려면 목록에서 엔드포인트 연결을 선택한 다음 엔드포인트 연결 목록에서 필요한 엔드포인트 연결을 선택합니다.
    참고: 엔드포인트 연결을 만드는 방법은 PSC 서비스 연결 및 엔드포인트 연결을 참조하세요. 엔드포인트 연결을 만들면 엔드포인트 연결 목록에 표시됩니다.
  추가 보안을 사용하여 백엔드 시스템에 공개 연결을 설정하려면 연결의 고정 아웃바운드 IP 주소를 구성한 후 방화벽 규칙을 구성하여 특정 고정 IP 주소만 허용 목록에 추가합니다.
  
  Kafka 부트스트랩 서버를 추가하려면 + 대상 추가를 클릭합니다.
2. 다음을 클릭합니다.
인증 섹션에서 인증 세부정보를 입력합니다.
1. 인증 유형을 선택하고 관련 세부정보를 입력합니다.
  Apache Kafka 연결에서 지원되는 인증 유형은 다음과 같습니다.
  - 사용자 이름 및 비밀번호
    - 사용자 이름: 연결에 사용할 Apache Kafka 사용자 이름입니다.
    - 비밀번호: Apache Kafka 사용자 이름과 연결된 비밀번호가 포함된 Secret Manager 보안 비밀입니다.
    - 인증 스킴: 인증에 사용되는 스킴입니다.
      Apache Kafka 연결에서 지원되는 인증 스키마는 다음과 같습니다.
      - Plain
      - SCRAM-SHA-1
      - SCRAM-SHA-256
  - 사용 불가
    익명 로그인을 사용하려면 사용할 수 없음을 선택합니다.
2. 다음을 클릭합니다.
데드 레터 구성을 입력합니다. 데드 레터를 구성하면 연결에서 처리되지 않은 이벤트를 지정된 Pub/Sub 주제에 씁니다. 다음 세부정보를 입력합니다.
1. 데드 레터 프로젝트 ID: 데드 레터 Pub/Sub 주제를 구성한 Google Cloud 프로젝트 ID입니다.
2. 데드 레터 주제: 처리되지 않은 이벤트의 세부정보를 쓰려는 Pub/Sub 주제입니다.
다음을 클릭합니다.
검토: 연결 및 인증 세부정보를 검토합니다.
만들기를 클릭합니다.

트리거 출력

Apache Kafka 트리거에서 이벤트 구독 구성을 완료하는 데 몇 분 정도 걸립니다. 이벤트 구독 세부정보 아래의 트리거 구성 창에서 이벤트 구독 상태를 볼 수 있습니다.

Apache Kafka 트리거는 다음 상태를 사용하여 이벤트 구독 상태를 나타냅니다.

Creating: 트리거가 이벤트 구독을 구독 중임을 나타냅니다.
Active: 트리거가 이벤트 구독을 성공적으로 구독했음을 나타냅니다.
Error: 구성된 이벤트 구독에 문제가 있음을 나타냅니다.

이벤트 구독 세부정보 섹션에 이벤트 구독 상태 외에도 연결 리전, 연결 이름, 이벤트 구독 이름과 같은 기타 세부정보가 표시됩니다.

트리거 출력 변수

각 이벤트에서 Apache Kafka 트리거는 다운스트림 태스크에 사용할 수 있는 ConnectorEventPayload 출력 변수(JSON 형식)를 생성합니다. 출력 변수에는 Apache Kafka 이벤트의 페이로드가 포함됩니다. 예를 들면 다음과 같습니다.

  {
    "message": "{\"key\":\"18\",\"topic\":\"test\",\"value\":\"hello world\",\"partition\":0,\"offset\":12,\"headers\":\"{}\",\"timestamp\":1712755076824,\"serializedMessagesize\":14}",
    "contentType": "text/plain"
 }

이벤트 구독 보기

Integration Connectors에서 연결과 연결된 모든 이벤트 구독을 보고 관리하려면 다음을 수행합니다.

Integration Connectors > 연결 페이지로 이동합니다.
연결 페이지로 이동
구독을 보려는 연결을 클릭합니다.
이벤트 구독 탭을 클릭합니다.
그러면 연결된 모든 이벤트 구독이 표시됩니다.

Apache Kafka 트리거 수정

Apache Kafka 트리거를 수정하여 연결 구성 및 이벤트 구독 세부 정보를 변경하거나 업데이트할 수 있습니다.

Apache Kafka 트리거를 수정하려면 다음 단계를 수행하세요.

통합 편집기에서 Apache Kafka 트리거 요소를 클릭하여 트리거 구성 창을 엽니다.
Apache Kafka 트리거 구성을 클릭합니다.
커넥터 이벤트 트리거 편집기 페이지에서 다음을 수행합니다.
1. 이전에 구성한 이벤트 구독을 유지하려면 유지를 클릭하고 삭제를 클릭합니다.
  경고: 이벤트 구독을 삭제하면 이벤트 구독을 사용하여 게시된 모든 통합이 영향을 받습니다. 이 태스크를 실행취소할 수 없습니다.
2. 원하는 대로 연결 구성과 이벤트 구독 세부정보를 업데이트합니다.
3. 완료를 클릭합니다.

이벤트 구독 세부정보의 트리거 구성 창에서 업데이트된 연결과 이벤트 구독 세부정보를 볼 수 있습니다.

할당량 및 한도

할당량 및 한도에 대한 자세한 내용은 할당량 및 한도를 참조하세요.

다음 단계

모든 태스크 및 트리거 알아보기
통합을 테스트하고 게시하는 방법 알아보기

오류 처리 알아보기
통합 실행 로그 알아보기