Databricks

네트워크 트래픽 암호화

Looker 애플리케이션과 데이터베이스 사이에 네트워크 트래픽을 암호화하는 것이 가장 좋습니다. 안전한 데이터베이스 액세스 사용 설정 문서 페이지에 설명된 옵션 중 하나를 고려해 보세요.

Looker 사용자 만들기

Looker는 개인 액세스 토큰으로 Databricks에 인증합니다. Databricks 문서에 따라 Looker에서 사용할 Databricks 사용자의 개인 액세스 토큰을 만듭니다.

GRANT로 권한을 이 사용자에게 추가합니다.

Looker 사용자에게는 최소한 SELECT 및 READ_METADATA 권한이 있어야 합니다.

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

서버 정보

Databricks 문서에 따라 Databricks 클러스터의 HTTP 경로를 찾습니다. 이 페이지에서는 이를 <YOUR_HTTP_PATH>라고 합니다.

영구 파생 테이블 설정

영구 파생 테이블을 사용하려면 별도의 데이터베이스를 만듭니다.

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

이렇게 하려면 쓰기 기반 사용자 권한도 추가로 부여해야 합니다.

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

데이터베이스에 대한 Looker 연결 만들기

Looker의 관리 섹션에서 연결을 선택한 후 연결 추가를 클릭합니다.

연결 세부정보를 작성합니다. 대다수의 설정은 대부분의 데이터베이스 언어에 공통적으로 적용됩니다. 자세한 내용은 데이터베이스에 Looker 연결 문서 페이지를 참조하세요. 다음은 일부 설정에 대한 설명입니다.

• 이름: 연결 이름을 지정합니다. LookML 프로젝트에서 연결을 참조하는 방법은 다음과 같습니다.
• 언어: Databricks 언어를 지정합니다.
• 호스트: Databricks 작업공간 URL을 지정합니다. 예를 들면 dbc-xxxxxxxx.cloud.databricks.com/입니다.
• 포트: 데이터베이스 포트를 지정합니다. 기본값은 443입니다.
• 데이터베이스: Looker 쿼리에 사용할 데이터베이스의 이름을 지정합니다. 기본값은 default입니다.
• 카탈로그: Unity Catalog가 사용 설정된 Databricks 데이터베이스의 경우 Looker 쿼리에 사용할 카탈로그의 이름을 지정합니다. 카탈로그를 지정하지 않으면 Looker는 기본 카탈로그의 스키마에만 액세스합니다. 자세한 내용은 Databricks Unity Catalog의 Looker 기능을 참조하세요.
• 인증: 데이터베이스 계정 또는 OAuth를 선택합니다.
  • 데이터베이스 계정을 사용하여 Looker에 연결하는 데 사용할 Databricks 개인 액세스 토큰을 지정합니다(자세한 내용은 Looker 사용자 만들기 섹션 참조).
    • 사용자 이름에 token 값을 입력합니다. 이 필드에 Databricks 사용자 이메일을 입력하지 마세요.
    • 비밀번호에 Databricks 개인 액세스 토큰을 입력합니다.
  • OAuth를 사용하여 연결에 사용할 OAuth를 구성합니다. 자세한 내용은 Databricks 연결에 사용할 OAuth 구성 섹션을 참조하세요.
• PDT 사용 설정: 이 전환 버튼으로 영구 파생 테이블을 사용 설정합니다. PDT가 사용 설정되면 연결 창에 추가 PDT 설정과 PDT 재정의 섹션이 표시됩니다. 참고: OAuth를 사용하는 Databricks 연결에는 PDT가 지원되지 않습니다.
• 임시 데이터베이스: PDT를 저장하는 데 사용할 데이터베이스를 입력합니다.
• 최대 PDT 빌더 연결 수: 이 연결에 가능한 동시 PDT 빌드 수를 지정합니다. 이 값을 너무 높게 설정하면 쿼리 시간에 부정적인 영향을 줄 수 있습니다. 자세한 내용은 데이터베이스에 Looker 연결 문서 페이지를 참조하세요.

• 추가 JDBC 매개변수: Spark JDBC 매개변수를 추가합니다.

• 데이터 그룹 및 PDT 유지보수 일정: Looker가 데이터 그룹 및 영구 파생 테이블을 확인해야 하는 시기를 나타내는 cron 표현식입니다. 데이터 그룹 및 PDT 유지보수 일정 문서에서 이 설정에 대해 자세히 알아보세요.

• SSL: SSL 연결을 사용하려면 선택합니다.

• SSL 인증: 엄격한 SSL 인증서 확인을 시행하려면 선택합니다.

• 노드당 최대 연결 수: 이 설정은 처음에 기본값으로 두어도 됩니다. 이 설정에 대한 자세한 내용은 Looker를 데이터베이스에 연결 문서 페이지의 최대 연결 수 섹션을 참조하세요.

• 연결 풀 제한 시간: 이 설정은 처음에 기본값으로 두어도 됩니다. 이 설정에 대한 자세한 내용은 데이터베이스에 Looker 연결 문서 페이지의 연결 풀 제한 시간 섹션을 참조하세요.

• SQL Runner 사전 캐시: SQL Runner에서 테이블 정보를 미리 로드하지 않고 테이블을 선택한 경우에만 테이블 정보를 로드하도록 하려면 이 체크박스를 선택 취소합니다. 이 설정에 대한 자세한 내용은 데이터베이스에 Looker 연결 문서 페이지의 SQL Runner 사전 캐시 섹션을 참조하세요.

• 데이터베이스 시간대: 데이터베이스에 사용할 시간대를 지정합니다. 시간대를 변환하지 않으면 이 필드를 비워 둡니다. 자세한 내용은 시간대 설정 사용 문서 페이지를 참조하세요.

테스트를 클릭하여 연결을 테스트하고 올바르게 구성되었는지 확인합니다. 연결 가능이 표시되면 연결을 누릅니다. 그러면 나머지 연결 테스트를 실행하여 서비스 계정이 올바르게 적절한 역할로 설정되었는지 확인합니다. 문제 해결 정보는 데이터베이스 연결 테스트 문서 페이지를 참조하세요.

Databricks Unity Catalog의 Looker 기능

Looker는 Unity Catalog가 사용 설정된 Databricks 데이터베이스에 대한 연결을 지원합니다. 데이터베이스에 대한 Looker 연결을 만들거나 Databricks 데이터베이스에 대한 기존 Looker 연결을 수정할 때 Looker 연결 창의 카탈로그 필드에 카탈로그 이름을 지정할 수 있습니다.

Databricks 데이터베이스에 Unity Catalog가 사용 설정된 경우 Looker 연결의 카탈로그 필드에서 Databricks 카탈로그를 지정할 수 있습니다. Databricks 카탈로그를 지정하면 Looker는 다음 시나리오에서 카탈로그를 사용합니다.

• 데이터베이스에서 새 LookML 프로젝트를 생성할 때 Looker는 연결의 구성된 카탈로그에 있는 테이블을 기반으로 프로젝트 파일을 만듭니다.
• 기존 프로젝트의 경우 Looker IDE를 사용하여 테이블에서 뷰를 만들면 Looker는 연결의 구성된 카탈로그에 있는 테이블로만 뷰 파일을 만듭니다.
• SQL Runner를 사용하는 경우 연결의 구성된 카탈로그에서만 스키마를 선택할 수 있습니다.

Databricks 데이터베이스에 Unity Catalog가 사용 설정되어 있고 Looker 연결의 카탈로그 필드에 값이 없는 경우 대부분의 Looker 기능은 다음 시나리오와 같이 기본 카탈로그의 스키마에만 액세스합니다.

• 데이터베이스에서 새 LookML 프로젝트를 생성할 때 Looker는 Unity Catalog 기본 카탈로그의 테이블을 기반으로 프로젝트 파일을 만듭니다.
• 기존 프로젝트의 경우 Looker IDE를 사용하여 테이블에서 뷰를 만들면 Looker가 Unity Catalog 기본 카탈로그의 테이블에서만 뷰 파일을 만들 수 있습니다.
• SQL Runner를 사용하는 경우 Unity Catalog 기본 카탈로그에서 스키마만 선택할 수 있습니다.

Databricks 연결에 사용할 OAuth 구성

Looker는 Databricks 연결에 OAuth를 지원합니다. 즉, 각 Looker 사용자가 데이터베이스에 인증하고 Looker가 사용자의 자체 OAuth 사용자 계정으로 데이터베이스에서 쿼리를 실행하도록 승인합니다.

OAuth를 사용하면 데이터베이스 관리자가 다음 태스크를 수행할 수 있습니다.

• 데이터베이스에 대해 쿼리를 실행하는 Looker 사용자 감사
• 데이터베이스 수준 권한을 사용하여 역할 기반 액세스 제어 시행
• 데이터베이스에 액세스하는 모든 프로세스와 작업에 OAuth 토큰 사용(데이터베이스 ID와 비밀번호를 여러 위치에 임베딩하지 않아도 됨)
• 직접 데이터베이스를 통해 특정 사용자의 승인 취소

OAuth를 사용하는 Databricks 연결의 경우 OAuth 토큰이 만료되면 사용자는 주기적으로 다시 로그인해야 합니다.

데이터베이스 수준 OAuth 연결의 경우 다음에 유의하세요.

• 사용자가 OAuth 토큰 만료를 허용하면 사용자가 소유한 모든 Looker 일정이나 알림이 영향을 받습니다. 이를 방지하기 위해 Looker는 현재 활성 OAuth 토큰이 만료되기 전에 각 일정과 각 알림의 소유자에게 알림 이메일을 전송합니다. Looker에서는 토큰이 만료되기 14일, 7일, 1일 전에 알림 이메일을 전송합니다. 사용자는 Looker 사용자 페이지로 이동하여 데이터베이스에 Looker를 다시 승인하고 일정 및 알림이 중단되지 않도록 할 수 있습니다. 자세한 내용은 사용자 계정 설정 맞춤설정하기 문서 페이지를 참조하세요.
• OAuth를 사용하는 데이터베이스 연결은 '사용자별'이므로 캐싱 정책은 쿼리뿐만 아니라 사용자별로 적용됩니다. 즉, Looker는 캐싱 기간 내에 동일한 쿼리가 실행될 때마다 캐시된 결과를 사용하는 대신 동일한 사용자가 캐싱 기간 내에 동일한 쿼리를 실행한 경우에만 캐시된 결과를 사용합니다. 캐싱에 대한 자세한 내용은 쿼리 캐싱 문서 페이지를 참조하세요.
• OAuth를 사용하는 데이터베이스 연결에는 영구 파생 테이블(PDT)이 지원되지 않습니다.
• Looker 관리자가 다른 사용자로 가장하면 관리자가 해당 사용자의 OAuth 액세스 토큰을 사용합니다. 사용자의 액세스 토큰이 만료되면 관리자는 가장한 사용자를 대신하여 새 토큰을 만들 수 없습니다. sudo 명령어 사용 방법은 사용자 문서 페이지를 참조하세요.
• 사용자가 OAuth를 사용하여 Looker에서 Databricks에 로그인하면 Looker에 명시적인 사용자 동의 대화상자가 표시되지 않습니다. Looker로 OAuth를 설정하면 Databricks 데이터베이스에 액세스하는 Looker 인스턴스에 암묵적으로 동의하게 됩니다.
• Databricks 연결에 OAuth를 사용하려면 Looker 쿼리에 사용할 수 있는 Databricks 사용자 또는 서비스 주 구성원이 있어야 하며 Looker가 데이터 소스에 액세스하고 Databricks 내에서 필요한 작업을 수행하는 데 필요한 Databricks 권한을 사용자와 서비스 주 구성원에게 제공해야 합니다.

OAuth를 사용하여 Looker에 대한 Databricks 연결을 만들려면 다음 섹션에 설명된 일반적인 단계를 수행해야 합니다.

1. Databricks에서 커스텀 OAuth 애플리케이션 사용 설정
2. Looker에서 연결 구성

Databricks에서 커스텀 OAuth 애플리케이션 사용 설정

Databricks에 대한 Looker 연결에 OAuth를 사용하려면 다음 단계를 수행하여 Looker를 Databricks 데이터베이스의 커스텀 OAuth 애플리케이션으로 사용 설정해야 합니다.

1. Databricks 계정 콘솔에 로그인합니다.
2. 측면 패널에서 설정 아이콘을 클릭합니다.
3. 설정 창에서 앱 연결 탭을 클릭합니다.
4. 앱 연결 탭에서 연결 추가를 클릭합니다.

5. Databricks 연결 추가 대화상자에 다음 값을 입력합니다.

   • 애플리케이션 이름: 'Looker Integration'과 같이 설명이 포함된 이름을 제공합니다.

   • 리디렉션 URL: 다음 형식을 사용하여 승인에 성공한 후 Databricks가 사용자를 리디렉션할 Looker URL을 입력합니다(example.looker.com을 Looker 인스턴스 URL로 바꿈).

     https://example.looker.com/external_oauth/redirect
     

   • 액세스 범위: Looker에서 SQL을 통해 데이터를 쿼리할 수 있도록 SQL을 선택합니다.

   • 클라이언트 보안 비밀번호 생성: 이 옵션을 사용 설정합니다.

6. Databricks 연결 추가 대화상자에서 추가를 클릭합니다.

7. Databricks에서 생성하는 클라이언트 ID와 클라이언트 보안 비밀번호를 복사하여 안전하게 저장합니다.

OAuth 애플리케이션을 등록하면 Databricks 데이터베이스에서 처리하는 데 최대 30분이 걸릴 수 있습니다. 자세한 내용은 공식 Databricks 문서를 참조하세요.

Looker에서 연결 구성

Databricks 데이터베이스에서 Looker를 커스텀 OAuth 애플리케이션으로 구성하면 OAuth를 사용하는 Databricks에 대한 Looker 연결을 구성할 수 있습니다.

1. Looker의 관리 섹션에서 연결을 선택한 후 연결 추가를 클릭합니다.
2. 이 페이지의 데이터베이스에 대한 Looker 연결 만들기 섹션에 설명된 대로 연결 세부정보를 작성합니다.
3. 인증 필드에서 OAuth 옵션을 선택합니다.
4. OAuth 옵션을 선택하면 Looker에 OAuth 클라이언트 ID 및 OAuth 클라이언트 보안 비밀번호 필드가 표시됩니다. Databricks에서 Looker를 커스텀 OAuth 애플리케이션으로 사용 설정할 때 이러한 값에 Databricks에서 생성한 클라이언트 ID 및 클라이언트 보안 비밀번호를 입력합니다.
5. 연결 설정 페이지 하단에 있는 테스트 버튼을 선택하여 Looker가 성공적으로 OAuth 흐름을 설정하고 Databricks 인스턴스에 연결할 수 있는지 확인합니다.

기능 지원

Looker가 특정 기능을 지원하려면 데이터베이스 언어도 해당 기능을 지원해야 합니다.

Databricks는 Looker 24.20부터 다음 기능을 지원합니다.