Model Garden 是 AI/ML 模型庫,可協助您探索、測試、自訂及部署 Google 和 Google 合作夥伴的模型和資產。
Model Garden 的優點
使用 AI 模型時,Model Garden 提供下列優點:
- 所有可用模型都會歸類在單一位置
- Model Garden 為不同類型的模型提供一致的部署模式
- Model Garden 內建與 Vertex AI 其他部分的整合功能,例如模型微調、評估和服務
- 提供生成式 AI 模型服務可能很困難,但 Vertex AI 會為您處理模型部署和服務
探索模型
如要查看可用的 Vertex AI 及開放原始碼模型清單,包括基礎模型、可調整的模型,以及適用特定工作的模型,請前往Google Cloud 控制台的 Model Garden 頁面。
Model Garden 中的模型類別如下:
類別 | 說明 |
---|---|
基礎模型 | 預先訓練的大型多工模型,可透過 Vertex AI Studio、Vertex AI API 和 Vertex AI SDK for Python,針對特定工作進一步調整或自訂。 |
可微調的模型 | 可使用自訂筆記本或 pipeline 微調的模型。 |
特定工作的解決方案 | 這些預先建構的模型大多立即可用,您能運用自己資料來自訂其中許多模型。 |
如要在篩選器窗格中篩選模型,請指定下列項目:
- 工作:按一下要模型執行的工作。
- 模型集合:按一下即可選擇由 Google、合作夥伴或您管理的模型。
- 供應商:按一下模型供應商。
- 特徵:點選模型中所需的特徵。
如要進一步瞭解各模型,請按一下模型資訊卡。
如需 Model Garden 中可用的模型清單,請參閱「Model Garden 中可用的模型」。
模型安全性掃描
Google 會對提供的服務和調整容器進行徹底測試和基準化。主動式安全漏洞掃描也適用於容器構件。
精選合作夥伴提供的第三方模型會經過模型檢查點掃描,確保真實性。HuggingFace Hub 的第三方模型會直接由 HuggingFace 和第三方掃描器掃描,檢查是否含有惡意軟體、pickle 檔案、Keras Lambda 層和密碼。Hugging Face 會標記掃描後判定為不安全的模型,並禁止在 Model Garden 中部署這類模型。Model Garden 會標示出可疑模型或可能執行遠端程式碼的模型,但您仍可部署這些模型。建議您在 Model Garden 中部署任何可疑模型前,先進行全面審查。
定價
使用 Model Garden 中的開放原始碼模型時,您需要支付下列 Vertex AI 服務的費用:
- 模型微調:系統會根據您使用的運算資源,以與自訂訓練相同的費率計費。請參閱自訂訓練定價。
- 模型部署作業:將模型部署至端點時,系統會收取所用運算資源的相關費用。請參閱預測定價。
- Colab Enterprise:請參閱 Colab Enterprise 定價。
控管特定模型的存取權
您可以在機構、資料夾或專案層級設定 Model Garden 機構政策,控管 Model Garden 中特定模型的存取權。舉例來說,您可以允許存取您審查過的特定模型,並拒絕存取所有其他模型。
進一步瞭解 Model Garden
如要進一步瞭解部署選項,以及您可以在 Model Garden 中對模型進行的自訂作業,請參閱下列各節中的資源,包括教學課程、參考資料、筆記本和 YouTube 影片的連結。
部署及提供服務
進一步瞭解如何自訂部署作業和進階放送功能。
- 使用 Python SDK、CLI、REST API 或控制台部署及提供開放原始碼模型
- 在 Model Garden 中部署及微調 Gemma 3 的 YouTube 影片
- 部署 Gemma 並進行預測
- 透過 Hex-LLM 容器和 Cloud TPU 提供開放原始碼模型
- 使用 Hex-LLM 部署 Llama 模型教學課程筆記本
- 透過 Hex-LLM 或 vLLM 使用前置字串快取和推測解碼功能教學課程筆記本
- 使用 vLLM 和 Cloud GPU 提供純文字和多模態語言模型
- Text-only models tutorial notebook (僅限文字模型教學課程筆記本)
- 多模態模型教學課程筆記本
- 使用 xDiT GPU 提供容器來生成圖像和影片
- Medium 中的 PyTorch 推論教學課程:透過 Hugging Face DLC 提供具備多個 LoRA 適應器的 Gemma 2
- LinkedIn 中的 PyTorch 推論教學課程:透過 Hugging Face DLC 使用自訂控制代碼來提供 PaliGemma,以便執行圖像說明文字生成工作
- 教學課程筆記本:部署及提供使用 Spot VM 或 Compute Engine 預留項目的模型
- 部署及提供 Hugging Face 模型
容器規範
Model Garden 提供下列符合 FedRAMP 高等風險規範的容器,用於模型服務。
調整
進一步瞭解如何調整模型,針對特定用途量身打造回應。
評估
進一步瞭解如何使用 Vertex AI 評估模型回應