L'utilizzo di un'immagine container personalizzata offre la massima flessibilità per l'addestramento su Vertex AI. Per scoprire in che modo l'utilizzo di un'immagine container personalizzata differisce dall'utilizzo di un'applicazione di addestramento Python con un container predefinito, leggi Requisiti del codice di addestramento.
La guida illustra i seguenti passaggi:
- Creazione di un container personalizzato:
- Scrivere un Dockerfile che configuri il container per funzionare con Vertex AI e includa le dipendenze necessarie per l'applicazione di addestramento.
- Creazione ed esecuzione del container Docker in locale.
- Eseguire il push dell'immagine container in Artifact Registry.
Prima di iniziare
Per configurare un repository API Artifact Registry e configurare Docker nel tuo ambiente di sviluppo, segui la guida rapida di Artifact Registry per Docker. In particolare, assicurati di completare i seguenti passaggi della guida rapida:
- Prima di iniziare
- Scegliere una shell
- Crea un repository Docker
- Configura l'autenticazione
Crea un'immagine container personalizzata
Ti consigliamo due possibili workflow per creare un'immagine container personalizzata:
Scrivi il codice di allenamento. Poi, utilizza il comando
local-rungcloud CLId per creare e testare un'immagine container personalizzata basata sul tuo codice di addestramento senza scrivere tu stesso un Dockerfile.Questo flusso di lavoro può essere più semplice se non hai familiarità con Docker. Se segui questo flusso di lavoro, puoi saltare il resto di questa sezione.
Scrivi il codice di allenamento. Poi scrivi un Dockerfile e crea un'immagine container basata su di esso. Infine, testa il container localmente.
Questo flusso di lavoro offre maggiore flessibilità, perché puoi personalizzare l'immagine container quanto vuoi.
Il resto di questa sezione illustra un esempio del secondo flusso di lavoro.
Codice di addestramento
Puoi scrivere codice di addestramento utilizzando qualsiasi dipendenza in qualsiasi linguaggio di programmazione. Assicurati che il codice soddisfi i requisiti del codice di addestramento. Se prevedi di utilizzare l'ottimizzazione degli iperparametri, le GPU o l'addestramento distribuito, assicurati di leggere le sezioni corrispondenti di questo documento, che descrivono considerazioni specifiche per l'utilizzo delle funzionalità con i container personalizzati.
Crea un Dockerfile
Crea un Dockerfile per specificare tutte le istruzioni necessarie per creare l'immagine container.
Questa sezione illustra la creazione di un esempio generico di Dockerfile da utilizzare per l'addestramento personalizzato. Per scoprire di più sulla creazione di un'immagine container, leggi la Guida rapida della documentazione di Docker.
Per l'utilizzo con Vertex AI, il Dockerfile deve includere comandi che coprano le seguenti attività:
- Scegliere un'immagine di base
- Installare dipendenze aggiuntive
- Copia il codice di addestramento nell'immagine
- Configura il punto di ingresso per Vertex AI per richiamare il codice di addestramento
Il Dockerfile può includere una logica aggiuntiva, a seconda delle tue esigenze. Per ulteriori informazioni su ogni istruzione specifica, consulta i riferimenti di Dockerfile.
| Comando Dockerfile | Descrizione | Esempio/i |
|---|---|---|
FROM image:tag | Specifica un'immagine di base e il relativo tag. | Esempio di immagini di base con tag:
|
WORKDIR /path/to/directory | Specifica la directory dell'immagine in cui vengono eseguite le istruzioni successive. | /root |
| Installa pacchetti aggiuntivi utilizzando pip.Nota: se l'immagine di base non ha | Pacchetti di esempio:
|
COPY src/training-app.py dest/training-app.py | Copia il codice dell'applicazione di addestramento nell'immagine. A seconda della struttura della tua applicazione di addestramento, è probabile che includa più file. | Esempi di nomi di file nella tua richiesta di addestramento:
|
| Configura il punto di ingresso per richiamare l'esecuzione del codice di addestramento. Quando avvii l'addestramento personalizzato, puoi ignorare questo punto di ingresso specificando il campo command nel tuo ContainerSpec. Puoi anche specificare il campo args in ContainerSpec per fornire argomenti aggiuntivi al punto di ingresso (ed eseguire l'override dell'istruzione CMD dell'immagine container se presente). | ["python", "task.py"] |
La logica nel Dockerfile può variare in base alle tue esigenze, ma in generale è simile a questa:
# Specifies base image and tag FROM image:tag WORKDIR /root # Installs additional packages RUN pip install pkg1 pkg2 pkg3 # Downloads training data RUN curl https://example-url/path-to-data/data-filename --output /root/data-filename # Copies the trainer code to the docker image. COPY your-path-to/model.py /root/model.py COPY your-path-to/task.py /root/task.py # Sets up the entry point to invoke the trainer. ENTRYPOINT ["python", "task.py"]
(Facoltativo) Modifica il Dockerfile per le VM TPU
Se vuoi eseguire l'addestramento su Vertex AI utilizzando una VM TPU, devi modificare il Dockerfile per installare versioni create appositamente delle librerie tensorflow e libtpu. Scopri di più su come modificare il container per l'utilizzo con una VM TPU.
Crea l'immagine container
Crea l'URI dell'immagine corretto utilizzando le variabili di ambiente, quindi crea l'immagine Docker:
export PROJECT_ID=$(gcloud config list project --format "value(core.project)") export REPO_NAME=REPOSITORY_NAME export IMAGE_NAME=IMAGE_NAME export IMAGE_TAG=IMAGE_TAG export IMAGE_URI=us-central1-docker.pkg.dev/${PROJECT_ID}/${REPO_NAME}/${IMAGE_NAME}:${IMAGE_TAG} docker build -f Dockerfile -t ${IMAGE_URI} ./ In questi comandi, sostituisci quanto segue:
- REPOSITORY_NAME: il nome del repository Artifact Registry creato nella sezione Prima di iniziare.
- IMAGE_NAME: un nome a tua scelta per l'immagine container.
- IMAGE_TAG: un tag a tua scelta per questa versione dell'immagine container.
Scopri di più sui requisiti di Artifact Registry per la denominazione dell'immagine container.
(Facoltativo) Esegui il container localmente
Verifica l'immagine container eseguendola come container in locale. Probabilmente vuoi eseguire il codice di addestramento su un set di dati più piccolo o per un numero inferiore di iterazioni rispetto a quelle che prevedi di eseguire su Vertex AI. Ad esempio, se lo script di punto di ingresso nell'immagine container accetta un flag --epochs per controllare il numero di epoche per cui viene eseguito, puoi eseguire il seguente comando:
docker run ${IMAGE_URI} --epochs 1 Esegui il push del container in Artifact Registry
Se l'esecuzione locale funziona, puoi eseguire il push del container in Artifact Registry.
Innanzitutto, esegui gcloud auth configure-docker us-central1-docker.pkg.dev se non l'hai ancora fatto nel tuo ambiente di sviluppo. Quindi esegui questo comando:
docker push ${IMAGE_URI} Autorizzazioni Artifact Registry
Se utilizzi un'immagine Artifact Registry dello stesso progetto Google Cloud in cui utilizzi Vertex AI, non è necessario configurare ulteriori autorizzazioni. Puoi creare immediatamente un job di addestramento personalizzato che utilizza l'immagine container.
Tuttavia, se hai eseguito il push dell'immagine container in Artifact Registry in un progetto Google Cloud diverso da quello in cui prevedi di utilizzare Vertex AI, devi concedere all'agente di servizio Vertex AI per il tuo progetto Vertex AI l'autorizzazione a estrarre l'immagine dall'altro progetto. Scopri di più sull'agente di servizio Vertex AI e su come concedergli le autorizzazioni.
Artifact Registry
Per scoprire come concedere all'agente di servizio Vertex AI l'accesso al repository Artifact Registry, leggi la documentazione di Artifact Registry relativa alla concessione di autorizzazioni specifiche per il repository.
Passaggi successivi
- Scopri di più sui concetti coinvolti nell'utilizzo dei container.
- Scopri di più sui requisiti aggiuntivi del codice di addestramento per l'addestramento personalizzato.
- Scopri come creare un job di addestramento personalizzato o una pipeline di addestramento che utilizza il tuo container personalizzato.