Salesforce 전송 예약
Salesforce용 BigQuery Data Transfer Service를 사용하면 Salesforce 커넥터에서 BigQuery로 반복되는 로드 작업을 자동으로 예약하고 관리할 수 있습니다.
제한사항
Salesforce 데이터 전송에는 다음과 같은 제한사항이 적용됩니다.
- Salesforce용 BigQuery Data Transfer Service는 Salesforce Bulk API만 Salesforce 인스턴스에 연결할 수 있도록 지원하고 Salesforce Bulk API에서 지원하는 항목의 전송만 지원합니다. 지원되는 항목에 관한 자세한 내용은 '항목이 Bulk API에서 지원되지 않음' 오류를 참고하세요.
- 반복 데이터 전송 사이의 최소 간격은 15분입니다. 반복 전송의 기본 간격은 24시간입니다.
- BigQuery Data Transfer Service는 Salesforce Bulk API v1을 사용하여 Salesforce 엔드포인트에 연결하여 데이터를 검색합니다.
시작하기 전에
다음 섹션에서는 Salesforce 데이터 전송을 만들기 전에 취해야 할 조치에 대해 설명합니다.
Salesforce Connected App 만들기
다음과 같은 필수 구성으로 Salesforce Connected App을 만들어야 합니다.
- Connected App에서 기본 정보를 구성합니다. Salesforce를 이전하려면 Connected App 이름 및 연락처 이메일 필드가 필요합니다.
- 다음 구성으로 OAuth 설정을 사용 설정합니다.
- OAuth 설정 사용 설정 체크박스를 선택합니다.
- 콜백 URL 필드에 다음을 입력합니다.
- 프로덕션 환경의 경우
https://login.salesforce.com/services/oauth2/token
을 입력합니다. - 샌드박스 환경의 경우
https://test.salesforce.com/services/oauth2/token
을 입력합니다.
- 프로덕션 환경의 경우
- 선택한 OAuth 범위 섹션에서 API를 통해 사용자 데이터 관리(api)를 선택합니다.
- 지원되는 승인 흐름에 필요한 코드 교환용 증명 키(PKCE) 확장 프로그램 체크박스를 선택 해제합니다.
- 클라이언트 사용자 인증 정보 흐름 사용 설정을 선택한 후 표시되는 알림에서 확인을 클릭합니다.
필요한 구성으로 Connected App을 구성했으면 저장을 클릭합니다. 새로 만든 Connected App의 세부정보 페이지로 리디렉션됩니다.
Connected App을 만든 후에는 다음을 실행하여 클라이언트 사용자 인증 정보 흐름도 구성해야 합니다.
- 설정을 클릭합니다.
- 검색창에서 Connected App을 검색합니다.
- 앱 관리 > Connected App을 클릭합니다. Salesforce Lightning Experience를 사용하는 경우 Connected App 관리를 클릭합니다.
- 만든 Connected App에서 수정을 클릭합니다.
- 앱 세부정보 페이지가 표시됩니다. 클라이언트 사용자 인증 정보 흐름 섹션의 Run As(실행 권한) 입력란에 사용자 이름을 입력합니다. 이 필드의 검색 도구를 사용하여 올바른 사용자를 선택했는지 확인할 수 있습니다.
- 저장을 클릭합니다.
필수 Salesforce 정보
Salesforce 데이터 전송을 만들 때 다음 Salesforce 정보가 있어야 합니다.
파라미터 이름 | 설명 |
---|---|
myDomain |
Salesforce의 내 도메인 |
clientId |
Salesforce 연결 애플리케이션의 고객 키입니다. |
clientSecret |
Salesforce Connected App의 OAuth 클라이언트 보안 비밀번호 또는 고객 보안 비밀입니다. |
myDomain
, clientID
, clientSecret
값을 가져오려면 다음 옵션 중 하나를 선택합니다.
Salesforce Classic
myDomain
세부정보 검색
myDomain
을 찾으려면 다음 단계를 따르세요.
- Salesforce 플랫폼에 로그인합니다.
- 설정을 클릭합니다.
- 검색창에서 내 도메인을 검색합니다.
- 검색 결과에서 도메인 관리 > 내 도메인을 클릭합니다.
내 도메인 세부정보 섹션에서 myDomain
가 현재 내 도메인 URL의 접두사로 표시됩니다. 예를 들어 내 도메인 URL이 example.my.salesforce.com
이면 사용할 myDomain
값은 example
입니다.
ClientId
및 ClientSecret
세부정보 검색
ClientId
및 ClientSecret
값을 찾으려면 다음 단계를 따르세요.
- Salesforce 플랫폼에 로그인합니다.
- 설정을 클릭합니다.
- 검색 창에서 Apps를 검색합니다.
- 검색 결과의 Build(빌드) 섹션에서 Create(만들기) > Apps(앱)를 클릭합니다.
- Connected App 이름을 클릭합니다.
- Connected App 세부정보 페이지에서 소비자 세부정보 관리를 클릭합니다.
- 등록된 방법 중 하나를 사용하여 본인 인증을 진행합니다. 본인 인증을 다시하라는 메시지가 표시되기 전까지 최대 5분 동안 소비자 세부정보 페이지를 볼 수 있습니다.
- 소비자 세부정보 페이지에서 소비자 키가
ClientId
값입니다. 고객 보안 비밀은ClientSecret
값입니다.
Salesforce Lightning Experience
myDomain
세부정보 검색
myDomain
을 찾으려면 다음 단계를 따르세요.
- Salesforce 플랫폼에 로그인합니다.
- 설정을 클릭합니다.
- 검색창에서 내 도메인을 검색합니다.
- 검색 결과에서 회사 설정 > 내 도메인을 클릭합니다.
내 도메인 세부정보 섹션에서 myDomain
가 현재 내 도메인 URL의 접두사로 표시됩니다. 예를 들어 내 도메인 URL이 example.my.salesforce.com
이면 사용할 myDomain
값은 example
입니다.
ClientId
및 ClientSecret
세부정보 검색
- Salesforce 플랫폼에 로그인합니다.
- 설정을 클릭합니다.
- 검색 창에서 Apps를 검색합니다.
- 검색 결과에서 앱 > 앱 관리자를 클릭합니다.
- 연결된 앱을 찾은 다음 보기를 클릭합니다.
- 소비자 세부정보 관리를 클릭합니다.
- 등록된 방법 중 하나를 사용하여 본인 인증을 진행합니다. 본인 인증을 다시하라는 메시지가 표시되기 전까지 최대 5분 동안 소비자 세부정보 페이지를 볼 수 있습니다.
- 소비자 세부정보 페이지에서 소비자 키가
ClientId
값입니다. 고객 보안 비밀은ClientSecret
값입니다.
BigQuery 기본 요건
- BigQuery Data Transfer Service 사용 설정에 필요한 모든 작업을 완료했는지 확인합니다.
- 데이터를 저장할 BigQuery 데이터세트를 만듭니다.
- Pub/Sub의 전송 실행 알림을 설정하려면
pubsub.topics.setIamPolicy
Identity and Access Management(IAM) 권한이 있는지 확인합니다. 이메일 알림만 설정한다면 Pub/Sub 권한이 필요하지 않습니다. 자세한 내용은 BigQuery Data Transfer Service 실행 알림을 참조하세요.
필요한 BigQuery 역할
전송을 만드는 데 필요한 권한을 얻으려면 관리자에게 BigQuery 관리자(roles/bigquery.admin
) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이 사전 정의된 역할에는 전송을 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
전송을 만들려면 다음 권한이 필요합니다.
- 사용자에 대한
bigquery.transfers.update
-
대상 데이터 세트에 대한
bigquery.datasets.get
-
대상 데이터 세트에 대한
bigquery.datasets.update
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
Salesforce 데이터 전송 설정
Salesforce 데이터 전송을 만들려면 다음 단계를 따르세요.
콘솔
Google Cloud 콘솔의 데이터 전송 페이지로 이동합니다.
전송 만들기를 클릭합니다.
소스 유형 섹션의 소스에서 Salesforce를 선택합니다.
데이터 소스 세부정보 섹션에서 다음을 수행합니다.
- 내 도메인에 Salesforce 내 도메인을 입력합니다.
- 클라이언트 ID에 Salesforce 연결 애플리케이션 고객 키를 입력합니다.
- 클라이언트 보안 비밀번호에 Salesforce 연결 애플리케이션 고객 보안 비밀을 입력합니다.
전송할 Salesforce 객체에서 찾아보기를 클릭하여 BigQuery 대상 데이터 세트로 전송할 객체를 선택합니다.
- 데이터 전송에 포함할 객체를 이 필드에 직접 입력할 수도 있습니다.
대상 설정 섹션의 데이터 세트에서 데이터를 저장하기 위해 만든 데이터 세트를 선택합니다.
전송 구성 이름 섹션의 표시 이름에 데이터 전송 이름을 입력합니다.
일정 옵션 섹션에서 다음을 수행합니다.
반복 빈도 목록에서 이 데이터 전송 실행 빈도를 지정하는 옵션을 선택합니다. 커스텀 반복 빈도를 지정하려면 커스텀을 선택합니다. 주문형을 선택하면 이 전송은 수동으로 전송을 트리거할 때 실행됩니다.
해당하는 경우 지금 시작 또는 설정 시간에 시작을 선택하고 시작 날짜와 실행 시간을 제공합니다.
서비스 계정 목록에서 Google Cloud 프로젝트와 연결된 서비스 계정을 선택합니다. 선택한 서비스 계정에는 이 데이터 전송을 실행하는 데 필요한 역할이 있어야 합니다.
제휴 ID로 로그인한 경우 서비스 계정이 데이터 전송을 만드는 데 필요합니다. Google 계정으로 로그인한 경우 전송에 사용되는 서비스 계정은 선택사항입니다.
데이터 전송에서 서비스 계정을 사용하는 방법에 대한 자세한 내용은 서비스 계정 사용을 참조하세요.
선택사항: 알림 옵션 섹션에서 다음을 수행합니다.
- 이메일 알림을 사용 설정하려면 이메일 알림 전환 버튼을 클릭합니다. 이 옵션을 사용 설정하면 전송 실행이 실패할 때 전송 관리자에게 이메일 알림이 발송됩니다.
- 이 전송에 Pub/Sub 전송 실행 알림을 사용 설정하려면 Pub/Sub 알림 전환 버튼을 클릭합니다. 주제 이름을 선택하거나 주제 만들기를 클릭하여 주제를 만들 수 있습니다.
저장을 클릭합니다.
bq
bq mk
명령어를 입력하고 전송 생성 플래그 --transfer_config
를 지정합니다.
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=DATA_SOURCE \ --display_name=NAME \ --target_dataset=DATASET \ --params='PARAMETERS'
각 항목의 의미는 다음과 같습니다.
- PROJECT_ID(선택사항): Google Cloud 프로젝트 ID.
특정 프로젝트를 지정하는
--project_id
가 입력되지 않으면 기본 프로젝트가 사용됩니다. - DATA_SOURCE: 데이터 소스 —
salesforce
- NAME: 데이터 전송 구성의 표시 이름. 전송 이름은 나중에 수정해야 할 경우를 대비해 간편하게 전송을 식별할 수 있는 값이면 됩니다.
- DATASET. 전송 구성의 대상 데이터 세트
PARAMETERS: JSON 형식으로 생성된 전송 구성의 매개변수. 예를 들면
--params='{"param":"param_value"}'
입니다. Salesforce 데이터 전송에 대한 매개변수는 다음과 같습니다.connector.authentication.oauth.clientId
: Salesforce 연결 애플리케이션의 고객 키connector.authentication.oauth.clientSecret
: Salesforce 연결 애플리케이션의 OAuth 클라이언트 보안 비밀번호 또는 고객 보안 비밀connector.authentication.oauth.myDomain
: Salesforce 내 도메인. 예를 들어 도메인 URL이example.my.salesforce.com
이면 값은example
입니다.assets
: BigQuery로 전송할 Salesforce 객체의 경로입니다.
예를 들어 다음 명령어는 필요한 모든 매개 변수를 사용하여 기본 프로젝트에 Salesforce 데이터 전송을 만듭니다.
bq mk \ --transfer_config \ --target_dataset=mydataset \ --data_source=salesforce \ --display_name='My Transfer' \ --params='{"assets":["Account"], "connector.authentication.oauth.clientId": "1234567890", "connector.authentication.oauth.clientSecret":"ABC12345", "connector.authentication.oauth.myDomain":"MyDomainName",}'
API
projects.locations.transferConfigs.create
메서드를 사용하고 TransferConfig
리소스의 인스턴스를 지정합니다.
가격 책정
이 기능이 프리뷰 버전인 동안에는 Salesforce 데이터를 BigQuery로 전송하는 데 비용이 들지 않습니다.
전송 설정 문제 해결
전송을 설정하는 데 문제가 있으면 Salesforce 데이터 전송 문제를 참조하세요.
다음 단계
- BigQuery Data Transfer Service 개요는 BigQuery Data Transfer Service 소개 참조하기
- 전송 구성 정보 가져오기, 전송 구성 나열, 전송 실행 기록 보기를 포함한 전송 사용에 대한 정보는 전송 작업 참조하기
- 교차 클라우드 작업으로 데이터를 로드하는 방법을 알아보기