生成式 AI 字典

  • 服務專員
    • 在生成式 AI 的脈絡下，虛擬服務專員是指軟體會自主規劃及執行一系列動作，以達成目標，可能適用於新穎情境。代理程式可用於各種應用程式，例如自然語言處理、機器學習和機器人。舉例來說，LLM 代理會使用語言模型評估環境，並選擇有助於達成目標的動作。LLM 代理程式可用於生成文字、翻譯語言及回答問題。
  • API 端點
    • API 端點是服務設定的一種形式，可指定網路位址，也就是服務端點 (例如 aiplatform.googleapis.com)。
  • 應用程式預設憑證 (ADC)
    • 應用程式預設憑證 (ADC) 可讓您輕鬆取得授權憑證，用於呼叫 Google API。如果對獨立於使用者的應用程式所發出的呼叫必須具備相同的身分和授權層級，應用程式預設憑證是最合適的方式。我們建議您使用這個方法授權對 Google Cloud API 發出的呼叫，特別是在您要建構部署到 Google App Engine (GAE) 或 Compute Engine 虛擬機器的應用程式時。詳情請參閱「應用程式預設憑證的運作方式」。
  • 最鄰近搜尋 (ANN)
    • 近似最鄰近 (ANN) 服務是一種高規模、低延遲的解決方案，可為大型語料庫尋找類似的向量 (或更具體的「嵌入」)。詳情請參閱「如何使用向量搜尋來比對語意」。
  • 構件
    • 構件是機器學習工作流程產生及使用的離散實體或資料。構件範例包括資料集、模型、輸入檔案和訓練記錄。
  • Artifact Registry
    • Artifact Registry 是通用構件管理服務，建議您使用這項服務，在 Google Cloud 中管理容器和其他構件。詳情請參閱 Artifact Registry。
  • 人工智慧 (AI)
    • 人工智慧 (或 AI) 是研究和設計「智慧」機器的領域，也就是模仿人類或智力功能 (例如機械動作、推理或解決問題) 的機器。機器學習是 AI 最熱門的子領域之一，會使用統計和資料導向方法來建立 AI。不過，有些人會互通使用這兩個詞。
  • 擴增實境 (AR)
    • 將算繪的數位內容與現實世界內容混合，可透過手機等螢幕顯示，或以疊加方式呈現於眼鏡等光學裝置所見的畫面。數位內容應追蹤攝影機或眼鏡的移動 (視場景的算繪方式而定)，讓數位內容看起來像是現實世界的一部分。
  • 驗證
    • 驗證用戶端 (可能是使用者或其他程序) 身分的程序，目的是取得安全系統的存取權。已證明身分的用戶端稱為「已驗證」。詳情請參閱「Google 的驗證方式」。
  • 自動並排比較 (AutoSxS)
    • 自動並排比較 (AutoSxS) 是一項模型輔助評估工具，可並排比較兩個大型語言模型 (LLM)。這項服務可用來評估 Vertex AI Model Registry 中的生成式 AI 模型，或預先產生的推論結果。AutoSxS 會使用自動評分工具，判斷哪個模型對提示的回應較佳。AutoSxS 可隨選使用，評估語言模型的成效與人類評估人員的評估結果相近。
  • 自動語音辨識 (ASR，語音轉文字)
    • 自動將口語 (語音) 轉錄為文字。
  • AutoML
    • 機器學習演算法會透過黑箱最佳化「學習學習」。詳情請參閱 ML 詞彙表。
  • autorater
    • 自動評估器是一種語言模型，可根據原始推論提示評估模型回覆的品質。AutoSxS 管道會使用這項工具比較兩個模型的推論結果，並判斷哪個模型表現最佳。詳情請參閱「自動評估者」。
  • 基準
    • 用來做為參考點的模型，可比較另一個模型 (通常是較複雜的模型) 的成效。舉例來說，邏輯迴歸模型可能很適合做為深層模型的基準。針對特定問題，模型開發人員可根據基準量化新模型必須達到的最低預期成效，確保新模型實用。詳情請參閱「基準和目標資料集」。
  • 批次
    • 單一訓練疊代中使用的範例集。批次大小會決定批次中的樣本數量。
  • 批次大小
    • 批次中的樣本數量。舉例來說，SGD 的批次大小為 1，而迷你批次的批次大小通常介於 10 到 1000 之間。訓練和推論期間的批次大小通常是固定的，但 TensorFlow 允許動態批次大小。
  • 批次推論
    • 批次推論功能會接受一組推論要求，並將結果輸出至一個檔案。詳情請參閱 Vertex AI 推論總覽。
  • 批次預測
    • 批次預測功能會處理一組推論要求，並將結果輸出至一個檔案。詳情請參閱「Vertex AI 預測總覽」。
  • 偏誤
    • 1. 對某些事物、人或族群抱有刻板印象、偏見或偏袒心態。這些偏誤可能會影響資料的收集和解讀、系統設計，以及使用者與系統的互動方式。2. 取樣或通報程序造成的系統性錯誤。
  • 雙向
    • 這個詞彙用於說明評估目標文字部分前後文字的系統。相較之下，單向系統只會評估目標文字區段之前的文字。
  • 基於 Transformer 的雙向編碼器表示技術 (BERT)
    • BERT 是一種預先訓練語言表示法的方法，也就是先在大型文字語料庫 (例如 Wikipedia) 上訓練通用「語言理解」模型，然後將該模型用於我們關心的下游自然語言處理工作 (例如問答)。BERT 是第一個用於預先訓練 NLP 的無監督深度雙向系統，因此效能優於先前的做法。
  • 雙語評估研究 (BLEU)
    • 這項指標會比較機器翻譯演算法的輸出內容與一或多個真人翻譯的輸出內容，藉此評估演算法的品質。
  • 提升
    • 在模型訓練中，「提升」是指用於增加訓練資料集大小和多樣性的資料擴增技術。方法是轉換現有樣本，建立更多不同的樣本，藉此提升模型成效，特別是在原始資料集有限時。
  • 定界框
    • 視訊影格中物件的定界框可透過兩種方式指定：(i) 使用由一組 x、y 座標組成的 2 個頂點 (假設是矩形的對角)。例如：x_relative_min、y_relative_min、x_relative_max、y_relative_max。詳情請參閱「準備影片資料」。
  • bucket
    • Cloud Storage 的頂層資料夾。值區名稱不得與任何 Cloud Storage 使用者的值區名稱重複。Bucket 包含檔案。詳情請參閱 Cloud Storage 產品總覽。
  • 思維鏈
    • 在生成式 AI 中，「思維鏈」(CoT) 是一種提示技巧，可鼓勵大型語言模型 (LLM) 在得出結論前，明確詳述其推論過程。也就是提示模型顯示解決問題的中間步驟，而不只是提供最終答案。這項方法可大幅提升 LLM 在複雜推理工作上的效能。
  • 即時通訊
    • 與機器學習系統 (通常是大型語言模型) 一來一往的對話內容。對話中的先前互動 (您輸入的內容和大型語言模型的回覆) 會成為後續對話的脈絡。聊天機器人是大型語言模型的應用程式。
  • 檢查點
    • 資料會擷取模型參數在訓練期間或訓練完成後的狀態。舉例來說，在訓練期間，您可以：1. 停止訓練，可能是刻意停止，也可能是因為發生特定錯誤。2. 擷取查核點。3. 稍後，重新載入檢查點，可能是在不同的硬體上。4. 重新展開訓練。在 Gemini 中，檢查點是指以特定資料集訓練的 Gemini 模型特定版本。
  • 分類模型
    • 推論結果為類別的模型。舉例來說，下列都是分類模型：預測輸入句子語言的模型 (法文？西班牙文？義大利文？預測樹種的模型 (是楓樹嗎？橡木？Baobab?)。模型會預測特定醫療狀況的正類或負類。
  • 分類指標
    • Python 適用的 Vertex AI SDK 支援的分類指標包括混淆矩陣和 ROC 曲線。
  • Cloud TPU
    • 專門設計的硬體加速器，可加快 Google Cloud 上的機器學習工作負載。
  • 叢集
    • 在生成式 AI 的脈絡中，分群法是一種非監督式機器學習技術，可根據資料點的特徵將相似的資料點分組。具體做法是定義相似度測量 (或指標) 來比較資料點，並將相似度高的資料點分到同一叢集。在生成式 AI 應用程式中，這可能包括將嵌入 (以數值表示文字、圖像或其他資料) 分類，以執行搜尋、分類或離群值偵測等工作。舉例來說，您可以將顧客資料分群，找出行為或特徵相似的群組，藉此進行顧客區隔。詳情請參閱「什麼是叢集？」。
  • 容器映像檔
    • 容器映像檔是套件，內含元件的可執行程式碼，以及程式碼執行的環境定義。詳情請參閱「自訂訓練總覽」。
  • context
    • 脈絡用於將構件和執行作業歸入單一可查詢的型別類別。背景資訊可用來表示一組中繼資料。舉例來說，Context 可以是機器學習管道的執行作業。
  • 內容快取
    • Vertex AI 中的脈絡快取是大量資料，可用於對 Gemini 模型發出多項要求。快取內容會儲存在建立快取要求的區域。可以是 Gemini 多模態模型支援的任何 MIME 類型，例如文字、音訊或影片。詳情請參閱「情境快取總覽」。
  • 脈絡窗口
    • 模型在特定提示中可處理的權杖數量。脈絡窗口越大，模型能使用的資訊就越多，因此回覆提示時能提供連貫一致的內容。
  • 客戶管理的加密金鑰 (CMEK)
    • 客戶管理的加密金鑰 (CMEK) 是一種整合功能，可讓客戶使用在 Cloud KMS (也稱為 Storky) 中管理的金鑰，加密現有 Google 服務中的資料。Cloud KMS 中的金鑰是保護資料的金鑰加密金鑰。詳情請參閱客戶管理的加密金鑰 (CMEK)。
  • 資料分析
    • 考量樣本、評估和視覺化，瞭解資料。在建立第一個模型之前，先進行資料分析特別有用。此外，這項功能對於瞭解實驗和偵錯系統問題也至關重要。
  • 資料擴增
    • 透過轉換現有範例來建立額外範例，人為擴大訓練範例的範圍和數量。舉例來說，假設圖片是其中一項特徵，但資料集沒有足夠的圖片範例，模型就無法學習實用的關聯性。理想情況下，您會將足夠的標籤圖片新增至資料集，讓模型能正常訓練。如果無法滿足這些條件，資料擴增功能可以旋轉、延展及反射每張圖片，產生許多原始圖片的變體，或許能產生足夠的標記資料，以利進行優異的訓練。
  • DataFrame
    • 這是用來在記憶體中表示資料集的熱門 pandas 資料型別。DataFrame 類似於表格或試算表。DataFrame 的每個資料欄都有名稱 (標題)，且每列都由不重複的數字識別。DataFrame 中的每個資料欄都採用二維陣列結構，但每個資料欄可指派自己的資料型別。
  • 資料索引
    • 在生成式 AI 領域，資料索引是建構及整理知識庫的程序，可提升搜尋和檢索效率。這包括建立索引 (通常稱為語料庫)，以便有效率地搜尋資料。這項程序與建立語料庫不同，編入索引的資料可用於豐富大型語言模型 (LLM) 的脈絡，減少幻覺並提高回覆準確度。舉例來說，在網站環境中，資料索引可能涉及新增 metadata (例如 datePublished 和 dateModified)，以提升搜尋功能。有許多方法可以為資料建立索引，包括在應用程式中使用向量搜尋進行相似度搜尋，例如在查詢時為 LLM 擷取相關資訊。詳情請參閱 RAG 引擎總覽 。
  • 資料擷取
    • 資料擷取是指從各種來源擷取資料，並整合到中央位置，以利後續處理和分析。在生成式 AI 領域，資料擷取是指從不同資料來源 (例如臨床表單、病患記錄或非結構化文字) 擷取資訊，以訓練及微調生成式 AI 模型。通常會先處理及轉換擷取的資料，確保資料品質和一致性，再用於訓練生成式 AI 模型。這個過程可能包括資料清理、特徵工程和資料擴增技術，以提升模型的效能和泛化能力。詳情請參閱「使用生成式 AI 管理使用率」。
  • 資料平行處理
    • 這種訓練或推論的擴充方式，是將整個模型複製到多部裝置，然後將輸入資料的子集傳遞至每部裝置。資料平行處理可讓您以非常大的批次大小進行訓練和推論，但模型必須夠小，才能在所有裝置上執行。資料平行化通常可加快訓練和推論速度。
  • 資料集
    • 資料集廣義來說是指結構化或非結構化資料記錄的集合。原始資料的集合，通常 (但不限於) 以下列其中一種格式整理：試算表、CSV (逗號分隔值) 格式的檔案。詳情請參閱「建立資料集」。
  • 資料轉換
    • 在檢索增強生成 (RAG) 的脈絡中，資料轉換是指將資料轉換為適合 LLM 建立索引和處理的格式。這通常需要將資料分割成較小的區塊，以便管理嵌入和索引作業。其他轉換可能包括清理和驗證步驟，確保資料品質。詳情請參閱 RAG 引擎總覽。
  • 解碼器
    • 一般來說，任何 ML 系統都會將經過處理、密集或內部表示法轉換為較原始、稀疏或外部的表示法。解碼器通常是較大型模型的元件，且經常與編碼器配對。在序列對序列工作，解碼器會從編碼器產生的內部狀態開始，預測下一個序列。
  • 深層類神經網路 (DNN)
    • 具有多個隱藏層的類神經網路，通常是透過深度學習技術進行程式設計。
  • 深度
    • 類神經網路中下列項目的總和：1. 隱藏層數量 2. 輸出層數量 (通常為 1) 3. 任何嵌入層的數量。舉例來說，如果類神經網路有五個隱藏層和一個輸出層，深度就是 6。請注意，輸入層不會影響深度。
  • DevOps
    • DevOps 是一套 Google Cloud Platform 產品，例如 Artifact Registry 和 Cloud Deploy。
  • 提早停止訓練
    • 這是一種正規化方法，在訓練損失停止下降前結束訓練。提早停止訓練是指當驗證資料集的損失開始增加時，也就是一般化效能變差時，您會刻意停止訓練模型。
  • 嵌入
    • 以數字表示字詞或文字片段。這些數字會擷取文字的語意和脈絡。相似或相關的字詞或文字通常會有相似的嵌入，也就是在高維度向量空間中彼此靠近。
  • 嵌入空間 (潛在空間)
    • 在生成式 AI 中，嵌入空間是指以數值表示文字、圖片或影片，藉此掌握輸入內容之間的關係。機器學習模型 (尤其是生成式 AI 模型) 擅長從大型資料集中找出模式，進而建立這些嵌入。應用程式可以運用嵌入內容處理及生成語言，辨識內容特有的複雜含意和語意關係。
  • 嵌入向量
    • 項目的密集向量表示法 (通常是低維度)，如果兩個項目語意相似，則其各自的嵌入會位於嵌入向量空間中彼此附近。
  • 編碼器
    • 一般來說，任何 ML 系統都會將原始、稀疏或外部表示法轉換為經過處理、較密集或較內部的表示法。編碼器通常是較大型模型的元件，且經常與解碼器配對。有些 Transformer 會將編碼器與解碼器配對，但其他 Transformer 只會使用編碼器或解碼器。部分系統會將編碼器的輸出內容做為分類或迴歸網路的輸入內容。在序列對序列工作，編碼器會接收輸入序列並傳回內部狀態 (向量)。然後解碼器會使用該內部狀態預測下一個序列。
  • ensemble
    • 獨立訓練的模型集合，其推論結果會經過平均或匯總。在許多情況下，集成模型產生的推論結果比單一模型更準確。舉例來說，隨機森林就是由多個決策樹建構而成的集成。請注意，並非所有決策樹林都是集合。
  • 環境
    • 在強化學習中，這個世界包含代理程式，並允許代理程式觀察該世界的狀態。例如，所代表的世界可以是西洋棋等遊戲，也可以是迷宮等實體世界。當代理程式對環境套用動作時，環境就會在狀態之間轉換。
  • 評估 (eval)
    • 評估 (簡稱「eval」) 是一種實驗，其中記錄或合成的查詢會透過兩個搜尋堆疊傳送：一個是包含變更的實驗堆疊，另一個是不含變更的基礎堆疊。評估結果會產生差異和指標，方便您評估變更對搜尋結果和其他 Google 使用者體驗的影響、品質和其他效果。在調整或疊代變更時，系統會使用評估結果。此外，這類測試也用於向實際使用者流量推出變更。
  • 執行
    • 執行作業是個別機器學習工作流程步驟的記錄，通常會附上執行階段參數的註解。執行作業的例子包括擷取資料、驗證資料、訓練模型、評估模型及部署模型。
  • F1 分數
    • F1 分數是用來評估模型輸出內容準確度的指標。這項指標特別適合用來評估模型在精確度和召回率都很重要的工作 (例如資訊擷取) 中的成效。對於生成式 AI 模型，F1 分數可用於比較模型的推論與真值資料，以判斷模型的準確度。不過，對於摘要和文字生成等生成式工作，Rough-L 分數等其他指標可能更合適。
  • 功能
    • 在機器學習 (ML) 中，特徵是指執行個體或實體的特徵或屬性，可用於訓練 ML 模型或進行推論。
  • 特徵擷取
    • 在生成式 AI 的脈絡下，特徵擷取是指從輸入資料中找出並選取相關特徵，以用於模型訓練的過程。然後使用這些特徵生成類似原始輸入的新資料。舉例來說，在圖像生成中，特徵擷取可能涉及識別邊緣、紋理和顏色。在自然語言處理中，這可能包括擷取關鍵字、詞組和文法結構。生成模型會使用擷取的特徵建立新內容。
  • 功能服務
    • 特徵提供是指匯出或擷取特徵值，以用於訓練或推論的程序。在 Vertex AI 中，特徵提供分為兩種：線上提供和離線提供。線上供應功能會擷取特徵資料來源子集的最新特徵值，用於線上推論。離線或批次服務會匯出大量特徵資料 (包括歷史資料)，以供離線處理，例如訓練機器學習模型。
  • 特徵檢視畫面
    • 特徵檢視畫面是指從 BigQuery 資料來源具體化至線上商店執行個體的特徵邏輯集合。特徵檢視區會儲存並定期重新整理客戶的特徵資料，這些資料會定期從 BigQuery 來源重新整理。特徵檢視表會直接或透過與特徵註冊庫資源的關聯，與特徵資料儲存空間建立關聯。
  • 少量樣本提示 (少量樣本)
    • 在生成式 AI 中，「少量樣本」是指一種提示，內含少量範例，可引導模型生成回覆。這些範例可協助模型瞭解所需的回覆格式、措辭、範圍或一般模式。少量樣本提示通常用於控管語言模型的輸出內容，確保模型生成的回覆準確、優質，且符合使用者期望。只要提供幾個相關範例，使用者就能影響模型的行為，獲得更令人滿意的結果。詳情請參閱「加入少樣本範例」。
  • 基礎模型 (FM)
    • 這類模型以廣泛的資料訓練而成，因此可以調整 (例如微調)，藉此處理多種下游任務。
  • 基礎模型作業 (FMOP)
    • FMOps 擴充了 MLOps 的功能，著重於有效製作預先訓練 (從頭訓練) 或自訂 (微調) 的基礎模型。
  • Gemini
    • Gemini 是 Google 的一系列大型序列式多模態模型，也就是說，這類模型可同時接受多種媒體的輸入內容，並生成輸出內容，包括文字、音訊和視覺媒體。這類工具可與能夠執行各種工作的代理整合。詳情請參閱「Google 模型」。
  • 一般化
    • 模型對先前未見過的新資料做出正確推論的能力。能夠泛化的模型與過度配適的模型正好相反。
  • 生成
    • 在生成式 AI 的脈絡中，「生成」是指從現有資料或資訊建立新資料或內容的過程。生成式 AI 模型會以大型資料集訓練，並從中學習模式和關係。再運用學到的知識生成獨特的新內容，這些內容與訓練資料相似，但並非完全相同。詳情請參閱「生成式 AI 或傳統 AI 的使用時機」。
  • 生成模型
    • 這類機器學習模型可根據訓練資料產生新輸出內容。簡單來說，模型會生成與訓練資料集中的特定類別相似的新資料。這類模型通常與大型語言模型相關，但其他類型的模型也可能屬於生成式模型。
  • Google 嵌入式數據機系統 (GEMS)
    • GEMS 是以數據機為目標的嵌入式軟體架構，以及隨附的一組開發工作流程和基礎架構。GEMS 的核心願景是提供高品質的數據機系統程式碼，並在許多含有數據機的 Google 裝置中高度重複使用。為實現這個宏大願景，GEMS 為開發人員提供全方位的環境，包含下圖所示的主要建構區塊。
  • 漸層
    • 相對於所有自變數的偏導數向量。在機器學習中，梯度是模型函式的偏導數向量。梯度會指向最陡峭的上升方向。
  • 圖表
    • 在生成式 AI 的脈絡中，圖形是指資訊的結構化表示法，可將資料整理成節點和邊緣的網路並建立連結。這類圖形通常用於呈現實體之間的知識和關係，因此對於需要深入瞭解資料脈絡和關係的生成式 AI 系統特別實用。運用知識圖譜的生成式 AI 系統可藉此提升檢索模型效能。將知識圖譜納入系統後，生成式 AI 就能存取內容豐富的資料，並遍歷圖譜，根據使用者查詢擷取相關子圖譜。系統會生成與情境相關的內容，提供更準確且實用的回覆。
  • 建立基準 (GT)
    • 真值是各領域使用的術語，指的是某項決策或測量問題的絕對真相，而非某個系統的估計值。在機器學習中，「實際資料」是指監督式學習技術的訓練集。
  • 幻覺
    • 生成式 AI 幻覺是指 AI 根據訓練資料無法證實，但仍自信滿滿地給出回覆。內容可能不實。在文字生成方面，這類模型可能會在生成的文字內容中，加入看似合理的隨機錯誤資訊。
  • 啟發式
    • 簡單且快速解決問題的方案。舉例來說，「我們透過啟發式方法達到 86% 的準確率。改用深層類神經網路後，準確率提升至 98%」。
  • 隱藏圖層
    • 類神經網路中的層，介於輸入層 (特徵) 和輸出層 (推論) 之間。每個隱藏層都包含一或多個神經元。深層類神經網路包含多個隱藏層。
  • 直方圖
    • 以長條圖顯示一組資料的變異情形。直方圖可將簡單的數字表格中難以偵測的模式視覺化。
  • 超參數
    • 超參數是指控管機器學習模型訓練過程的變數。這些變數可以包括學習率、最佳化工具中的動量值，以及模型最後一個隱藏層中的單元數。在 Vertex AI 中，超參數調整作業會使用所選超參數的不同值，在指定限制範圍內執行多次訓練應用程式試驗。目標是最佳化超參數設定，盡可能提高模型的預測準確率。詳情請參閱超參數調整總覽。
  • Imagen
    • Imagen 是文字轉圖像生成式 AI 服務，可透過 Vertex AI 平台使用。使用者可以生成新圖片、編輯圖片、微調樣式或主體模型、為圖片加上說明文字，或是取得圖片內容相關問題的答案。詳情請參閱 Vertex AI 的 Imagen 總覽。
  • 圖像辨識
    • 圖像辨識是指分類圖片中的物件、模式或概念。也稱為圖像分類。圖像辨識是機器學習和電腦視覺的子領域。
  • index
    • 為相似度搜尋一起部署的向量集合。向量可以新增至索引或從索引中移除。相似度搜尋查詢會發給特定索引，並搜尋該索引中的向量。
  • 推論
    • 在 Vertex AI 平台中，推論是指將資料點傳送至機器學習模型，據此計算輸出結果 (例如單一數值分數) 的程序。這個程序也稱為「將機器學習模型投入運作」或「將機器學習模型投入生產」。推論是機器學習工作流程中的重要步驟，因為模型必須經過推論，才能用於推論新資料。在 Vertex AI 中，您可以透過各種方式執行推論作業，包括批次推論和線上推論。批次推論會執行一組推論要求，並將結果輸出至一個檔案；線上推論則可針對個別資料點進行即時推論。
  • 資訊檢索 (IR)
    • 資訊檢索 (IR) 是 Vertex AI Search 的重要元件。這項程序會從大量資料中找出並擷取相關資訊。在 Vertex AI 中，IR 用於根據使用者的查詢，從語料庫中擷取文件。Vertex AI 提供一系列 API，協助您建構自己的檢索增強生成 (RAG) 應用程式或搜尋引擎。詳情請參閱「使用 RAG 引擎將 Vertex AI Search 做為檢索後端」。
  • 基礎架構即程式碼 (IaC)
    • 基礎架構即程式碼。管理 IT 基礎架構的方法，團隊可透過程式碼管理及佈建服務。使用 IaC 建立的設定檔會包含基礎架構規格，方便您大規模建立及編輯基礎架構。
  • 學習率 (步長)
    • 學習率是超參數，用於調整機器學習模型的最佳化程序。這項參數會決定模型在訓練期間更新權重的步距。學習率越高，收斂速度越快，但可能會導致不穩定或過度訓練。相反地，學習率越低，收斂速度可能會越慢，但有助於避免過度訓練，沒有來源。詳情請參閱超參數調整總覽。
  • 損失 (費用)
    • 訓練監督式模型時，模型推論結果與標籤之間的差距。損失函數會計算損失。
  • 受管理資料集
    • 在 Vertex AI 中建立及代管的資料集物件。
  • model
    • 無論模型是否經過預先訓練。一般來說，任何處理輸入資料並傳回輸出的數學建構體，換句話說，模型是系統進行推論所需的一組參數和結構。
  • 模型蒸餾 (知識蒸餾、師生模型)
    • 模型蒸餾技術可讓較小的學生模型向較大的老師模型學習。學生模型會經過訓練，模仿老師模型的輸出內容，然後用於生成新資料或進行推論。模型蒸餾技術通常用於提升大型模型的效率，或讓資源有限的裝置也能使用這些模型。此外，這項技術也能減少過度擬合，進而提升模型的泛化能力。
  • 模型監控
  • 模型資源名稱
    • model 的資源名稱如下：projects/<PROJECT_ID>/locations/<LOCATION_ID>/models/<MODEL_ID>。您可以在 Cloud 控制台的「模型登錄」頁面中找到模型 ID。
  • 網路檔案系統 (NFS)
  • one-hot 編碼
    • 獨熱編碼會將每個類別表示為 N 個元素的向量 (其中 N 是類別數量)，且只有一個元素的值為 1.0，其餘元素的值為 0.0。詳情請參閱「One-hot 編碼」。
  • 單樣本提示
    • 提示包含一個範例，說明大型語言模型應如何回應。詳情請參閱單次提示。
  • 參數
    • 參數是鍵入的輸入值，可設定執行作業、控管執行作業的行為，以及影響執行作業的結果。例如學習率、捨棄率和訓練步驟數。
  • 困惑
    • 困惑度是評估語言模型效能的指標。這項指標會根據模型訓練時使用的文字分布情形，評估模型生成特定文字序列的可能性。困惑度是評估語言模型的常用指標，通常用於比較不同模型的效能，或追蹤模型在訓練期間的進展。
  • 管道
    • 機器學習管道以容器為基礎，是可擴充的可攜式機器學習工作流程。詳情請參閱「Vertex AI Pipelines 簡介」。
  • 管道工作
    • 管道工作或管道執行作業對應於 Vertex AI API 中的 PipelineJob 資源。這是機器學習管道定義的執行個體，定義為一組透過輸入/輸出依附元件互連的機器學習工作。
  • 管道執行
    • 您可以將一或多個 Vertex PipelineJob 與實驗建立關聯，其中每個 PipelineJob 都會以單一執行作業的形式呈現。在此情況下，執行作業的參數會由 PipelineJob 的參數推斷而來。這些指標是從系統推斷而來，以及該 PipelineJob 產生的指標構件。系統會從該 PipelineJob 產生的構件推斷執行作業的構件。
  • 私人服務連線
    • 私人服務存取權是指在您的虛擬私有雲 (VPC) 網路與 Google 或第三方服務供應商所擁有網路之間建立的私人連線。虛擬私有雲網路中的虛擬機器 (VM) 執行個體可透過內部 IP 位址與這些服務通訊，避免暴露於公開網路上。詳情請參閱私人服務存取權。
  • 提示
    • 提示是提交給語言模型的自然語言要求，用來引導模型提供回覆。提示可以包含問題、指示、背景資訊、少樣本範例，以及模型可完成或接續編寫的不完整輸入內容。模型收到提示後，會根據使用的模型類型生成文字、嵌入、程式碼、圖片、影片、音樂等內容。詳情請參閱「提示策略總覽」。
  • 提示工程 (提示設計)
    • 在生成式 AI 中，提示工程是指設計有效的提示，引導大型語言模型 (LLM) 生成所需輸出內容。這項以測試為導向的疊代程序，著重於修正輸入內容，以達成特定結果。這包括考量提示的內容和結構，確保生成準確且高品質的回覆。即使簡單的任務可能不需要，但對於複雜的任務來說，有效的提示工程至關重要。目標是快速製作以 LLM 為基礎的應用程式原型。詳情請參閱「提示工程簡介」。
  • 提示調整
    • 提示調整是一種高效參數調整方法，可用來提升生成式 AI 模型在特定工作上的成效。這項技術會學習前置於實際提示的「前置字元」，有時會在每個層級學習。相較於其他調整方法，這種做法的成本較低且速度較快，通常能獲得良好的結果。如果您有特定工作，並希望模型以特定方式執行，提示調整功能就特別有效。有時也稱為提示學習或高效參數 (微調)。詳情請參閱「提示工程簡介」。
  • 佈建輸送量 (PT)
    • 「佈建的處理量」(PT) 是 Vertex AI 生成式 AI 模型的進階服務，可確保容量並提供可預測的價格，保證使用體驗。與即付即用 (隨選) 選項不同，PT 可讓客戶購買專屬配額，確保要求不會與其他要求競爭模型容量。PT 是按月或按週訂閱的固定費用方案，可為指定模型和位置預留輸送量。詳情請參閱佈建輸送量總覽。
  • 量化
    • 量化是一種模型最佳化技術，可降低用於表示模型參數的數字精確度。這可縮小模型、降低耗電量，並縮短推論延遲時間。
  • 隨機森林
    • 隨機森林是一種機器學習演算法，可用於分類和迴歸。這並非生成式 AI 模型本身，而是可用於較大型生成式 AI 系統的元件。隨機森林由多個決策樹組成，其推論結果是這些個別樹狀結構的推論結果彙整。舉例來說，在分類工作中，每棵樹都會「投票」給一個類別，而最終推論結果就是獲得最多票數的類別。詳情請參閱決策森林。
  • Vertex AI 上的 Ray 叢集
    • Vertex AI 上的 Ray 叢集是運算節點的代管叢集，可用於執行分散式機器學習 (ML) 和 Python 應用程式。這項服務提供基礎架構，可為機器學習工作流程執行分散式運算和平行處理。Vertex AI 內建 Ray 叢集，可確保重要機器學習工作負載或尖峰季節的容量可用性。與自訂工作不同，訓練服務會在工作完成後釋出資源，但 Ray 叢集會持續可用，直到刪除為止。詳情請參閱「Ray on Vertex AI 總覽」。
  • Vertex AI 上的 Ray (RoV)
    • Vertex AI 上的 Ray 經過精心設計，您可以使用相同的開放原始碼 Ray 程式碼編寫程式，並在 Vertex AI 上開發應用程式，只需進行極少的變更。詳情請參閱「Ray on Vertex AI 總覽」。
  • Ray on Vertex AI SDK for Python
    • Python 適用的 Ray on Vertex AI SDK 是 Python 適用的 Vertex AI SDK 版本，包含 Ray Client、Ray BigQuery 連接器、Vertex AI 上的 Ray 叢集管理，以及 Vertex AI 上的推論功能。詳情請參閱「Python 適用的 Vertex AI SDK 簡介」。
  • 召回
    • 索引傳回的真正最近鄰點百分比。舉例來說，如果 20 個最近鄰的最近鄰查詢傳回 19 個「實際」最近鄰，則召回率為 19/20x100 = 95%。
  • 推薦系統
    • 推薦系統是以機器學習為基礎的系統，可協助使用者在大量內容中找到絕佳內容。從可能龐大的語料庫中生成較小的候選項目子集，為候選項目評分和排序，並根據其他限制條件重新排序最終排名。詳情請參閱推薦系統總覽。
  • 正規化
    • 正規化是一種技術，用於防止機器學習模型過度擬合。過度配適是指模型過度學習訓練資料，導致在處理新資料時成效不佳。其中一種特定類型的正規化是提早停止訓練，也就是在驗證資料集的損失開始增加前停止訓練，這表示一般化效能下降。詳情請參閱「過度擬合：L2 正規化」。
  • 服務帳戶
    • 在 Google Cloud 中，服務帳戶是應用程式或虛擬機器 (VM) 執行個體使用的特殊帳戶，而非使用者。應用程式會使用服務帳戶執行已授權的 API 呼叫。
  • 服務專員
    • 服務代理是指 Google 代管的服務帳戶。當某項服務需要存取由其他服務建立的資源時，就會使用這項功能。舉例來說，當 Dataflow 或 Dataproc 服務需要在執行階段建立執行個體，或是 Cloud Function 想要使用 Key Management Service (KMS) 保護 Cloud Function 時，當服務需要服務代理程式時，Google Cloud 會自動建立。這類帳戶通常用於管理資源存取權，以及代表服務執行各種工作。詳情請參閱服務代理程式。
  • 摘要指標
    • 摘要指標是實驗執行期間每個指標鍵的單一值。舉例來說，實驗的測試準確度是在訓練結束時，根據測試資料集計算出的準確度，可擷取為單一值摘要指標。
  • TensorBoard
    • TensorBoard 是一套網頁應用程式，可將 TensorFlow 執行和模型視覺化，並協助您瞭解這些內容。詳情請參閱 TensorBoard。
  • TensorBoard 執行個體
    • TensorBoard 執行個體是區域性資源，可儲存與專案相關聯的 Vertex AI TensorBoard 實驗。舉例來說，如果您想要多個啟用 CMEK 的執行個體，可以在專案中建立多個 TensorBoard 執行個體。這與 API 中的 TensorBoard 資源相同。
  • TensorBoard 資源名稱
    • TensorBoard 資源名稱用於完整識別 Vertex AI TensorBoard 執行個體。格式如下：projects/PROJECT_ID_OR_NUMBER/locations/REGION/tensorboards/TENSORBOARD_INSTANCE_ID。
  • 時間偏移
    • 時間偏移量是相對於影片開頭的時間。
  • 時間序列指標
    • 時間序列指標是縱向指標值，每個值代表訓練例行程序中某個步驟的執行情況。時間序列指標會儲存在 Vertex AI TensorBoard 中。Vertex AI Experiments 會儲存 Vertex TensorBoard 資源的參照。
  • 權杖
    • 語言模型中的權杖是模型訓練和推論的最小單位，也就是字詞、詞素和字元。在語言模型以外的網域中，權杖可以代表其他類型的原子單元。舉例來說，在電腦視覺中，權杖可能是圖片的子集。詳情請參閱「列出和計算詞元數」。
  • trajectory
    • 「軌跡」是指代理程式或模型採取的步驟或動作序列。這項指標通常用於評估生成式模型，評估模型生成文字、程式碼或其他內容的能力。有多種軌跡指標可用於評估生成模型，包括軌跡完全比對、軌跡依序比對、軌跡任意順序比對和軌跡精確度。這些指標會評估模型輸出內容與一組人工生成的參考輸出內容之間的相似度。
  • Transformer
    • 「Transformer」是類神經網路架構，也是大多數最先進生成式模型的基礎。這項技術可用於各種語言模型應用程式，包括翻譯。Transformer 由編碼器和解碼器組成，編碼器會將輸入文字轉換為中間表示法，解碼器則會將其轉換為實用輸出內容。這類模型會運用自注意力機制，從處理中的字詞周圍的字詞收集背景資訊。訓練 Transformer 需要大量資源，但針對特定應用程式微調預先訓練的 Transformer 則更有效率。
  • Transformer 強化學習
    • Transformer 強化學習 (TRL) 是指將強化學習 (RL) 技術應用於訓練 Transformer 架構模型，以執行生成式工作。傳統生成模型通常會根據下一個權杖推論結果進行訓練，但不會針對連貫性、安全性及合理性等理想特質進行明確的調整，因此這種做法可解決傳統生成模型的限制。TRL 會使用 RL 直接針對複雜目標最佳化語言模型，並經常納入人類回饋 (RLHF) 來引導學習過程。例如，使用獎勵模型微調模型，以生成較少有害內容，以及使用 TRL 微調生成式模型 Gemma。詳情請參閱「Hugging Face DLC：在 Vertex AI 上使用 Transformer 強化學習 (TRL) 微調 Gemma」。
  • 真正正向
    • 「真陽性」是指模型正確識別出正向類別的推論結果。舉例來說，如果模型經過訓練，可識別會購買夾克的顧客，則正確預測顧客會購買夾克就是真正正向。
  • 驗證
    • 驗證會根據驗證集檢查模型推論的品質。這包括定義指標，用來評估生成內容的品質、速度、是否符合指示，以及安全性。驗證作業通常會使用已加上標籤的資料 (輸入提示和預期輸出內容)，比較模型的推論與真值。例如 F1 分數 (適用於分類) 和 ROUGE-L 分數 (適用於摘要)。這個程序也包括測試極端情況和異常情境，確保系統穩定性。對於已部署的模型，持續監控及擷取常見資料點和極端情況，有助於提升未來的驗證工作。
  • 向量
    • 向量是指以數值表示文字、圖片或影片，藉此掌握輸入內容之間的關係。機器學習模型適合用於建立嵌入，方法是識別大型資料集中的模式。應用程式可使用嵌入內容處理及生成語言，辨識內容特有的複雜含意和語意關係。詳情請參閱「Embeddings API 總覽」。
  • Vertex AI Experiments
    • 使用者可透過 Vertex AI Experiments 追蹤下列項目：1. 實驗執行步驟 (例如預先處理和訓練)。2. 輸入內容 (例如演算法、參數和資料集)。3. 這些步驟的輸出內容 (例如模型、檢查點和指標)。
  • Vertex AI Model Registry
    • Vertex AI Model Registry 是中央存放區，可用於管理機器學習模型的生命週期。Vertex AI Model Registry 會顯示模型總覽，方便您更妥善地整理、追蹤及訓練新版本。有想部署的模型版本時，可以直接從登錄檔將模型指派給端點，也可以使用別名將模型部署至端點。詳情請參閱「Vertex AI Model Registry 簡介」。
  • 影片片段
    • 影片片段的識別依據是影片的開始和結束時間偏移。
  • 虛擬私有雲 (VPC)
    • 虛擬私有雲是可設定的共用運算資源集區，可依需求在公有雲環境中分配，並在不同機構使用這些資源時提供一定程度的隔離。
  • 字詞嵌入
    • 字詞嵌入可將字詞表示為浮點值的密集向量。這樣一來，相似的字詞就會有相似的編碼。生成式 AI 經常使用字詞嵌入技術，擷取字詞之間的關係，並生成新文字或程式碼，不需來源。在生成式 AI 中，字詞嵌入可訓練模型，產生新的文字或程式碼。生成式 AI 模型瞭解字詞之間的關係後，就能建立連貫且相關的新內容。
  • 零樣本提示 (直接提示)
    • 在生成式 AI 中，零樣本提示是指大型語言模型 (LLM) 不需額外訓練或範例，就能執行工作的提示。這與少量樣本提示等方法不同，後者會為模型提供輸入和輸出內容範例。零樣本提示完全依賴模型預先存在的知識來生成回覆。詳情請參閱「零樣本提示」。