벡터 검색은 Google 연구팀에서 개발한 획기적인 기술을 기반으로 하는 강력한 벡터 검색엔진입니다. 벡터 검색을 사용하면 ScaNN 알고리즘을 활용하여 차세대 검색 및 추천 시스템과 생성형 AI 애플리케이션을 빌드할 수 있습니다.
Google 검색, YouTube, Google Play와 같은 핵심 Google 제품을 지원하는 동일한 연구 및 기술의 이점을 누릴 수 있습니다. 즉, 대규모 데이터 세트를 처리하고 전 세계에 빠른 속도로 결과를 제공하는 데 신뢰할 수 있는 확장성, 가용성, 성능을 얻을 수 있습니다. 벡터 검색을 사용하면 자체 애플리케이션에 최신 시맨틱 검색 기능을 구현할 수 있는 엔터프라이즈급 솔루션을 사용할 수 있습니다.
블로그: 벡터 검색을 사용한 멀티모달 검색 |
|
|
|
시작하기
벡터 검색 대화형 데모: 라이브 데모를 확인하여 벡터 검색 기술의 기능을 실감하고 벡터 검색을 시작해 보세요.
벡터 검색 빠른 시작: 샘플 데이터 세트를 사용하여 벡터 검색 색인을 빌드, 배포, 쿼리하여 30분 내에 벡터 검색을 사용해 보세요. 이 튜토리얼에서는 설정, 데이터 준비, 색인 생성, 배포, 쿼리, 정리를 다룹니다.
시작하기 전: 모델을 선택하고 학습한 후 데이터를 준비하여 임베딩을 준비합니다. 그런 다음 쿼리 색인을 배포할 공개 또는 비공개 엔드포인트를 선택합니다.
벡터 검색 가격 및 가격 계산기: 벡터 검색 가격에는 배포된 색인을 호스팅하는 데 사용되는 가상 머신 비용과 색인을 빌드하고 업데이트하는 데 드는 비용이 포함됩니다. 최소 설정(월 $100 미만)으로도 중간 규모의 사용 사례에 높은 처리량을 제공할 수 있습니다. 월간 비용을 추정하려면 다음 단계를 따르세요.
- Google Cloud 가격 계산기로 이동합니다.
- 합산하여 추정을 클릭합니다.
- Vertex AI를 검색합니다.
- Vertex AI 버튼을 클릭합니다.
- 서비스 유형 드롭다운에서 Vertex AI 벡터 검색을 선택합니다.
- 기본 설정을 유지하거나 직접 구성합니다. 월별 예상 비용은 비용 세부정보 패널에 표시됩니다.
문서
API
사용 사례 및 블로그
벡터 검색 기술은 AI를 사용하는 비즈니스의 중앙 허브가 되고 있습니다. IT 시스템에서 관계형 데이터베이스가 작동하는 방식과 마찬가지로 문서, 콘텐츠, 제품, 사용자, 이벤트, 기타 항목과 같은 다양한 비즈니스 요소를 관련성을 기반으로 연결합니다. 벡터 검색은 문서 및 이미지와 같은 기존 미디어를 검색하는 것 외에도 지능형 추천을 제공하고, 비즈니스 문제를 솔루션과 일치시키며, IoT 신호를 모니터링 알림에 연결할 수도 있습니다. AI 지원 엔터프라이즈 데이터의 급증하는 환경을 탐색하는 데 필수적인 다목적 도구입니다.
|
검색/정보 검색
추천 |
Vertex AI 벡터 검색으로 고성능 생성형 AI 앱을 활용하는 방법: 벡터 검색은 챗봇, 멀티모달 검색 등과 함께 전자상거래, RAG 시스템, 추천 엔진을 비롯한 다양한 애플리케이션을 지원합니다. 하이브리드 검색은 전문 검색어의 검색 결과를 더욱 개선합니다. Bloomreach, eBay, Mercado Libre와 같은 고객은 성능, 확장성, 비용 효율성을 위해 Vertex AI를 사용하고 있으며, 이를 통해 더 빠른 검색과 전환 증가 등의 이점을 얻고 있습니다. eBay에서 추천에 벡터 검색 사용: eBay에서는 추천 시스템에 벡터 검색을 사용하는 방법을 강조 표시합니다. 이 기술을 통해 eBay는 광범위한 카탈로그에서 유사한 제품을 찾아 사용자 환경을 개선할 수 있습니다. Mercari, Google의 벡터 검색 기술을 활용하여 새로운 마켓플레이스 만들기: Mercari에서 벡터 검색을 사용하여 새로운 마켓플레이스 플랫폼을 개선하는 방법을 설명합니다. 벡터 검색은 플랫폼의 맞춤 콘텐츠를 지원하여 사용자가 관련성 높은 제품을 더 효과적으로 찾을 수 있도록 합니다. 텍스트용 Vertex AI 임베딩: 간편해진 LLM 그라운딩: 텍스트 데이터용 Vertex AI 임베딩을 사용하여 LLM을 그라운딩하는 방법을 중점적으로 다룹니다. 벡터 검색은 모델의 응답이 사실 정보에 기반하도록 하는 관련 텍스트 구절을 찾는 데 중요한 역할을 합니다. 멀티모달 검색이란?: '비전을 사용한 LLM'으로 비즈니스 변화: LLM과 시각적 이해를 결합한 멀티모달 검색에 대해 설명합니다. 벡터 검색이 텍스트 데이터와 이미지 데이터를 모두 처리하고 비교하여 더 포괄적인 검색 환경을 제공하는 방법을 설명합니다. 대규모 멀티모달 검색 사용: Vertex AI로 텍스트 및 이미지 기능 결합: 가중치가 적용된 순위 편향적 상호 순위 앙상블 메서드를 사용하여 텍스트 검색과 이미지 검색을 결합하는 Vertex AI로 멀티모달 검색엔진을 빌드하는 방법을 설명합니다. 이렇게 하면 사용자 환경이 개선되고 더 관련성 높은 결과를 제공할 수 있습니다. TensorFlow 추천자 및 벡터 검색으로 심층 검색 확장: TensorFlow 추천자 및 벡터 검색을 사용하여 재생목록 추천 시스템을 빌드하는 방법을 설명합니다. 심층 검색 모델, 학습, 배포, 확장을 다룹니다. |
|
생성형 AI: RAG 및 에이전트를 위한 검색 |
Vertex AI 및 Denodo가 생성형 AI로 엔터프라이즈 데이터 활용: Vertex AI와 Denodo를 통합하여 비즈니스에서 생성형 AI를 사용하기 위해 데이터에서 유용한 정보를 얻는 방법을 보여줍니다. 벡터 검색은 엔터프라이즈 환경 내에서 관련 데이터를 효율적으로 액세스하고 분석하는 데 중요한 역할을 합니다. Infinite Nature와 업계의 본성: AI의 다양한 가능성을 보여주는 '자연' 데모: 다양한 업계에서 AI의 잠재력을 설명하는 데모를 보여줍니다. 벡터 검색을 활용하여 생성형 추천 및 멀티모달 시맨틱 검색을 지원합니다. Infinite Fleurs: AI 지원 창의성으로 활짝 핀 꽃을 만나보세요: 벡터 검색, Gemini, Imagen 모델을 사용하는 AI 실험인 Google의 Infinite Fleurs는 사용자 프롬프트에 따라 고유한 꽃다발을 생성합니다. 이 기술은 다양한 산업에서 창의성을 고취할 수 있는 AI의 잠재력을 보여줍니다. Google Cloud의 RAG용 LlamaIndex: LlamaIndex를 사용하여 대규모 언어 모델로 검색 증강 생성(RAG)을 지원하는 방법을 설명합니다. LlamaIndex는 벡터 검색을 활용하여 기술 자료에서 관련 정보를 검색하므로 더 정확하고 맥락에 적합한 대답을 이끌어낼 수 있습니다. Vertex AI의 RAG 및 그라운딩: Vertex AI의 RAG 및 그라운딩 기법을 살펴봅니다. 벡터 검색은 검색 중에 관련성 있는 그라운딩 정보를 식별하는 데 도움이 되므로 생성된 콘텐츠의 정확성과 안정성이 향상됩니다. LangChain의 벡터 검색: 질의 응답 및 PDF 처리를 비롯하여 텍스트 데이터의 벡터 데이터베이스 색인을 빌드하고 배포하는 데 LangChain과 함께 벡터 검색을 사용하는 방법을 안내합니다. |
|
BI, 데이터 분석, 모니터링 등 |
Vertex AI에서 스트리밍 수집을 통해 실시간 AI 사용 설정: 벡터 검색의 스트리밍 업데이트와 실시간 AI 기능을 제공하는 방법을 살펴봅니다. 이 기술을 사용하면 수신되는 데이터 스트림을 실시간으로 처리하고 분석할 수 있습니다. |
관련 리소스
다음 리소스를 사용하여 벡터 검색을 시작할 수 있습니다.
Notebooks 및 솔루션
|
|
|
Vertex AI 벡터 검색 빠른 시작: 벡터 검색에 대한 개요를 제공합니다. 이는 플랫폼을 처음 접하고 빠르게 시작하려는 사용자를 위해 설계되었습니다. |
텍스트 임베딩 및 벡터 검색 시작하기: 텍스트 임베딩 및 벡터 검색을 소개합니다. 이 기술의 작동 방식과 검색 결과를 개선하는 데 이러한 기술을 사용하는 방법을 설명합니다. |
|
|
|
시맨틱 및 키워드 검색 결합: Vertex AI 벡터 검색을 사용한 하이브리드 검색 튜토리얼: 하이브리드 검색에 벡터 검색을 사용하는 방법에 관한 안내를 제공합니다. 하이브리드 검색 시스템을 설정하고 구성하는 단계를 다룹니다. |
벡터 검색을 사용한 Vertex AI RAG 엔진: 벡터 검색을 사용한 Vertex AI RAG 엔진의 사용을 살펴봅니다. 이 문서에서는 두 기술을 함께 사용하는 이점을 설명하고 실제 애플리케이션에서 이를 사용하는 방법의 예시를 제공합니다. |
|
|
|
Vertex AI 및 벡터 검색을 사용하는 RAG 지원 생성형 AI 애플리케이션을 위한 인프라: 벡터 검색, Cloud Run, Cloud Storage를 사용하여 생성형 AI 애플리케이션과 RAG를 빌드하기 위한 아키텍처를 자세히 설명하며, 사용 사례, 설계 선택사항, 주요 고려사항을 다룹니다. |
<p"> 대규모 후보군 생성을 위한 2타워 검색 구현: 참조 아키텍처를 제공하여 Vertex AI로 엔드 투 엔드 방식의 2타워 후보군 생성 워크플로를 구현하는 방법을 보여줍니다. 2타워 모델링 프레임워크는 웹 쿼리 및 후보 항목과 같은 두 가지 서로 다른 항목 간의 의미적 유사성을 학습하기 때문에 맞춤설정 사용 사례에서 강력한 검색 기법입니다. </p"> |
학습
벡터 검색 및 임베딩 시작하기 벡터 검색은 유사하거나 관련된 항목을 찾는 데 사용됩니다. 추천, 검색, 챗봇, 텍스트 분류에 사용할 수 있습니다. 이 프로세스에는 임베딩을 만들고, Google Cloud에 업로드하고, 쿼리할 수 있도록 색인을 생성하는 작업이 포함됩니다. 이 실습에서는 Vertex AI를 사용하는 텍스트 임베딩에 중점을 두지만 다른 데이터 유형에 대해서도 임베딩을 생성할 수 있습니다.
벡터 검색 및 임베딩 이 과정에서는 벡터 검색을 소개하고, 벡터 검색을 사용해 임베딩용 대규모 언어 모델(LLM) API로 검색 애플리케이션을 빌드하는 방법을 설명합니다. 이 과정은 벡터 검색 및 텍스트 임베딩의 개념을 설명하는 강의, Vertex AI에서 벡터 검색을 빌드하는 방법을 보여주는 실용적인 데모, 실무형 실습으로 구성됩니다.
텍스트 임베딩 이해 및 적용
Vertex AI Embeddings API는 유사한 항목 식별과 같은 태스크에 사용되는 텍스트의 숫자 표현인 텍스트 임베딩을 생성합니다.
이 과정에서는 분류 및 시맨틱 검색과 같은 태스크에 텍스트 임베딩을 사용하고 시맨틱 검색을 LLM과 결합하여 Vertex AI를 사용하는 질의 응답 시스템을 빌드합니다.
머신러닝 단기집중과정: 임베딩 이 과정에서는 단어 임베딩을 소개하고 이를 희소 표현과 비교합니다. 임베딩을 얻는 메서드를 살펴보고 정적 임베딩과 문맥 임베딩을 구분합니다.
관련 제품
Vertex AI 임베딩: 임베딩 API의 개요를 제공합니다. 텍스트 및 멀티모달 임베딩 사용 사례와 추가 리소스 및 관련 Google Cloud 서비스 링크
Vertex AI Agent Builder Ranking APIRanking API는 선행 학습된 언어 모델을 사용하여 쿼리와의 관련성을 기반으로 문서 순위를 다시 지정하여 정확한 점수를 제공합니다. 벡터 검색을 비롯한 다양한 소스의 검색 결과를 개선하는 데 적합합니다.
Vertex AI Feature Store: BigQuery를 데이터 소스로 사용하여 특성 데이터를 관리하고 서빙할 수 있습니다. 온라인 서빙을 위한 리소스를 프로비저닝하여 BigQuery에서 직접 최신 특성 값을 서빙하는 메타데이터 레이어 역할을 합니다. Feature Store를 사용하면 쿼리에 대해 Vector Store에서 반환한 항목의 특성 값을 즉시 검색할 수 있습니다.
Vertex AI Pipelines Vertex AI Pipelines는 ML 파이프라인으로 ML 워크플로를 조정하여 서버리스 방식으로 ML 시스템을 자동화, 모니터링, 제어할 수 있도록 지원합니다. Kubeflow Pipelines 또는 TensorFlow Extended(TFX) 프레임워크를 사용하여 정의된 ML 파이프라인을 일괄 실행할 수 있습니다. Pipelines를 사용하면 자동화된 파이프라인을 빌드하여 임베딩을 생성하고, 벡터 검색 색인을 만들고 업데이트하며, 프로덕션 검색 및 추천 시스템을 위한 MLOps 설정을 구성할 수 있습니다.
심층 분석 리소스
Vertex AI 임베딩 및 태스크 유형으로 생성형 AI 사용 사례 개선 Vertex AI 임베딩 및 태스크 유형을 사용하여 생성형 AI 애플리케이션을 개선하는 데 중점을 둡니다. 벡터 검색은 태스크 유형 임베딩과 함께 사용하여 더 관련성 높은 정보를 찾음으로써 생성된 콘텐츠의 맥락과 정확성을 개선할 수 있습니다.
TensorFlow 추천자 추천 시스템을 빌드하기 위한 오픈소스 라이브러리입니다. 데이터 준비부터 배포까지의 프로세스를 간소화하고 유연한 모델 빌드를 지원합니다. TFRS는 튜토리얼과 리소스를 제공하고 정교한 추천 모델을 만들 수 있도록 지원합니다.
TensorFlow Ranking TensorFlow Ranking은 확장 가능한 신경망 순위 지정 학습(LTR) 모델을 빌드하기 위한 오픈소스 라이브러리입니다. 검색, 추천, 기타 분야의 애플리케이션에서 다양한 손실 함수와 순위 측정항목을 지원합니다. 이 라이브러리는 Google AI에서 적극적으로 개발하고 있습니다.
ScaNN 발표: 효율적인 벡터 유사성 검색 효율적인 벡터 유사성 검색을 위한 알고리즘인 Google의 ScaNN은 새로운 기술을 활용하여 최근접 이웃을 찾는 정확도와 속도를 개선합니다. 기존 방법보다 우수하며 시맨틱 검색이 필요한 머신러닝 태스크에 광범위하게 적용됩니다. Google의 연구는 기본 ML 및 AI의 사회적 영향 등 다양한 영역에 걸쳐 있습니다.
SOAR: ScaNN을 사용한 더욱 빠른 벡터 검색을 위한 새로운 알고리즘 Google의 SOAR 알고리즘은 제어된 중복을 도입하여 벡터 검색 효율성을 개선하고 더 작은 색인으로 더 빠른 검색을 가능하게 합니다. SOAR은 여러 클러스터에 벡터를 할당하여 성능을 개선하기 위한 '백업' 검색 경로를 만듭니다.
관련 동영상
벡터 검색은 AI 기반 애플리케이션을 빌드하는 데 사용되는 강력한 도구입니다. 이 동영상에서는 이 기술을 소개하고 시작하는 방법을 단계별로 안내합니다.
벡터 검색은 하이브리드 검색에 사용할 수 있으므로 벡터 검색의 강력한 기능을 기존 검색엔진의 유연성과 속도와 결합할 수 있습니다. 이 동영상에서는 하이브리드 검색을 소개하고 하이브리드 검색에 벡터 검색을 사용하는 방법을 보여줍니다.
이미 벡터 검색을 사용하고 있습니다! 전문가가 되는 방법을 알아보세요
여러분도 모르는 사이에 매일 벡터 검색을 사용하고 있을 수 있다는 사실을 알고 계셨나요? 소셜 미디어에서 찾기 어려운 제품을 찾는 것부터 머릿속에 맴도는 노래를 찾아내는 것까지 벡터 검색은 이러한 일상적인 경험을 가능하게 하는 AI의 마법입니다.
DeepMind팀의 새로운 '태스크 유형' 임베딩으로 RAG 검색 품질 개선
Google DeepMind팀에서 개발한 새로운 태스크 유형 임베딩으로 RAG 시스템의 정확성과 관련성을 개선하세요. 이 동영상을 시청하고 RAG 검색 품질의 일반적인 문제와 태스크 유형 임베딩이 질문과 답변 간의 시맨틱 격차를 효과적으로 해소하여 더 효과적인 검색과 향상된 RAG 성능을 제공하는 방법을 알아보세요.
벡터 검색 용어
이 목록에서는 벡터 검색을 사용하기 위해 이해해야 하는 몇 가지 중요한 용어를 보여줍니다.
벡터: 벡터는 크기와 방향을 갖는 부동 소수점 값의 목록입니다. 숫자, 공간의 지점, 방향과 같은 모든 종류의 데이터를 나타내기 위해 사용할 수 있습니다.
임베딩: 임베딩은 의미론적인 의미를 캡처하는 방식으로 데이터를 표현하는 데 사용되는 벡터 유형입니다. 임베딩은 일반적으로 머신러닝 기법을 사용하여 생성되며 자연어 처리(NLP) 및 기타 머신러닝 애플리케이션에서 자주 사용됩니다.
밀집 임베딩: 밀집 임베딩은 대부분 0이 아닌 값을 포함하는 배열을 사용하여 텍스트의 시맨틱 의미를 나타냅니다. 밀집 임베딩을 사용하면 시맨틱 유사성을 기반으로 유사한 검색 결과를 반환할 수 있습니다.
희소 임베딩: 희소 임베딩은 밀집 임베딩과 비교했을 때 0이 아닌 값이 거의 포함되지 않은 고차원 배열을 사용하여 텍스트 구문을 나타냅니다. 희소 임베딩은 키워드 검색에 자주 사용됩니다.
하이브리드 검색: 하이브리드 검색은 밀집 및 희소 임베딩을 모두 사용하므로 키워드 검색과 시맨틱 검색을 조합하여 검색할 수 있습니다. 벡터 검색은 밀집 임베딩, 희소 임베딩, 하이브리드 검색을 기반으로 한 검색을 지원합니다.
색인: 유사성 검색을 위해 함께 배포된 벡터 모음입니다. 벡터를 색인에 추가하거나 색인에서 삭제할 수 있습니다. 유사성 검색 쿼리는 특정 색인에 대해 실행되고 해당 색인에서 벡터를 검색합니다.
정답: 정답 데이터 세트와 같이 실제 세계에 대한 머신러닝의 정확도 확인을 나타내는 용어입니다.
재현율: 실제로 최근접 인접 항목인 색인으로 반환된 최근접 인접 항목의 비율입니다. 예를 들어 최근접 인접 항목 20개에 대한 최근접 인접 항목 쿼리에서 최근접 인접 항목 정답을 19개 반환하면 재현율은 19/20x100 = 95%가 됩니다.
제한: 불리언 규칙을 사용하여 색인의 하위 집합으로 검색을 제한하는 기능입니다. 제한을 '필터링'이라고도 부릅니다. 벡터 검색에서는 숫자 필터링 및 텍스트 속성 필터링을 사용할 수 있습니다.