Vertex AI Model Optimizer

本指南說明如何使用 Vertex AI Model Optimizer 動態端點，自動選擇最符合需求的 Gemini 模型，簡化模型選取程序。本文涵蓋下列主題：

如要進一步瞭解 Model Optimizer 的定價，請參閱「定價」。

優點

Model Optimizer 可讓您：

  • 簡化模型選取程序：無須為每個應用程式選擇特定模型。
  • 兼顧成本和品質：根據您的偏好，在成效和預算之間取得平衡。
  • 無縫整合：可與現有的 Gemini API 和 SDK 搭配使用。
  • 追蹤用量：協助您監控用量，並找出可能節省成本的機會。
  • 有效處理文字相關工作：處理文字相關工作時，不需要手動選取端點。

支援的模型

模型最佳化工具會將要求轉送至下列模型：

  • Gemini 2.0 Flash (正式版)
  • Gemini 2.5 Pro (預先發布版)

語言支援

模型最佳化工具支援 Gemini 模型支援的所有語言。(請參閱「Gemini 支援的語言」)

支援應用實例

模型最佳化工具支援僅限文字的用途，包括：

  • 程式碼，包括函式呼叫和程式碼執行
  • 摘要
  • 單輪和多輪對話
  • 問答

如要瞭解限制和處理方式，請參閱「處理不支援的功能」。

開始使用

如要開始使用模型最佳化工具，請參閱快速入門 Colab 筆記本。

使用 Vertex AI Model Optimizer

Python

安裝

pip install --upgrade google-genai

詳情請參閱 SDK 參考說明文件。

設定環境變數，透過 Vertex AI 使用 Gen AI SDK： 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values # with appropriate values for your project. export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT export GOOGLE_CLOUD_LOCATION=global export GOOGLE_GENAI_USE_VERTEXAI=True
 

#     from google import genai #     from google.genai.types import ( #         FeatureSelectionPreference, #         GenerateContentConfig, #         HttpOptions, #         ModelSelectionConfig #     ) # #     client = genai.Client(http_options=HttpOptions(api_version="v1beta1")) #     response = client.models.generate_content( #         model="model-optimizer-exp-04-09", #         contents="How does AI work?", #         config=GenerateContentConfig( #             model_selection_config=ModelSelectionConfig( #                 feature_selection_preference=FeatureSelectionPreference.BALANCED  # Options: PRIORITIZE_QUALITY, BALANCED, PRIORITIZE_COST #             ), #         ), #     ) #     print(response.text) #     # Example response: #     # Okay, let's break down how AI works. It's a broad field, so I'll focus on the ... #     # #     # Here's a simplified overview: #     # ...

處理不支援的功能

Model Optimizer 僅支援文字輸入和輸出。不過，要求可能包含不支援的不同模式或工具。以下各節將說明 Model Optimizer 如何處理這些不支援的功能。

多模態要求

如果要求包含附有多模態資料 (例如影片、圖片或音訊) 的提示，系統會擲回 INVALID_ARGUMENT 錯誤。

不支援的工具

Model Optimizer 只支援要求函式宣告。如果要求包含其他工具類型，包括 google_maps、google_search、enterprise_web_search、retrieval 或 browse，系統會擲回 INVALID_ARGUMENT 錯誤。

提供意見

如要傳送 Model Optimizer 使用體驗的相關意見，請填寫意見回饋問卷調查。

如有關於 Model Optimizer 的問題、技術問題或意見回饋，請與 [email protected] 聯絡。

顧客討論群組

如要直接與開發團隊聯絡，可以加入 Vertex AI 模型最佳化工具意見交流群組，瞭解產品並協助我們改善功能，讓功能更符合您的需求。該群組的活動包括：

  • 虛擬研討會，進一步瞭解各項功能。
  • 意見回饋問卷調查，分享您的需求和優先事項。
  • 與 Google Cloud 員工進行 1 對 1 會議，探索新功能。

我們大約每 6 到 8 週會提供一次活動。您可以自由選擇參與多少活動，或隨時完全退出。 如要加入這個群組，請填寫 Vertex AI Model Optimizer 討論群組申請表單。