Ejecutar varias tareas de BigQuery en paralelo

BigQuery aloja varios conjuntos de datos públicos que están disponibles para que el público en general los consulte. En este tutorial, crearás un flujo de trabajo que ejecuta varias tareas de consulta de BigQuery en paralelo, lo que demuestra una mejora del rendimiento en comparación con la ejecución de las tareas de forma secuencial, una después de otra.

Objetivos

En este tutorial, aprenderás a hacer lo siguiente:

  1. Ejecuta una consulta en un conjunto de datos público de Wikipedia para determinar los títulos más vistos en un mes concreto.
  2. Despliega y ejecuta un flujo de trabajo que ejecute varias tareas de consulta de BigQuery de forma secuencial, una después de otra.
  3. Despliega y ejecuta un flujo de trabajo que ejecute las tareas de BigQuery mediante la iteración paralela y donde los bucles for normales se ejecuten en paralelo.

Puedes ejecutar los siguientes comandos en la Google Cloud consola o mediante la CLI de Google Cloud en tu terminal o en Cloud Shell.

Costes

En este documento, se utilizan los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costes basada en el uso previsto, utiliza la calculadora de precios.

Los usuarios nuevos Google Cloud pueden disfrutar de una prueba gratuita.

Antes de empezar

Es posible que las restricciones de seguridad definidas por tu organización te impidan completar los siguientes pasos. Para obtener información sobre cómo solucionar problemas, consulta el artículo Desarrollar aplicaciones en un entorno limitado Google Cloud .

Consola

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Workflows API.

    Enable the API

  5. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    6. Click Continue.

    7. Click Done to finish creating the service account.

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  7. Verify that billing is enabled for your Google Cloud project.

  8. Enable the Workflows API.

    Enable the API

  9. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    6. Click Continue.

    7. Click Done to finish creating the service account.

gcloud

  1. Sign in to your Google Account.

    If you don't already have one, sign up for a new account.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Workflows API.

    Enable the API

  5. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the following roles to the service account: roles/bigquery.jobUser, roles/logging.logWriter.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    6. Click Continue.

    7. Click Done to finish creating the service account.

  6. Install the Google Cloud CLI.

  7. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  8. Para inicializar gcloud CLI, ejecuta el siguiente comando: 

    gcloud init

  9. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  10. Verify that billing is enabled for your Google Cloud project.

  11. Enable the Workflows API.

    Enable the API

  12. Create a service account:

    1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
    2. Select your project.

    3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

    4. Click Create and continue.

    5. Grant the following roles to the service account: roles/bigquery.jobUser, roles/logging.logWriter.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

    6. Click Continue.

    7. Click Done to finish creating the service account.

  13. Install the Google Cloud CLI.

  14. Si utilizas un proveedor de identidades (IdP) externo, primero debes iniciar sesión en la CLI de gcloud con tu identidad federada.

  15. Para inicializar gcloud CLI, ejecuta el siguiente comando: 

    gcloud init

Ejecutar una tarea de consulta de BigQuery

En BigQuery, puedes ejecutar una tarea de consulta interactiva (bajo demanda). Para obtener más información, consulta Ejecutar tareas de consulta interactivas y por lotes.

Consola

  1. En la Google Cloud consola, ve a la página BigQuery.

    Ir a BigQuery

  2. Introduce la siguiente consulta de SQL de BigQuery en el área de texto Editor de consultas:

    SELECT TITLE, SUM(views) FROM `bigquery-samples.wikipedia_pageviews.201207h` GROUP BY TITLE ORDER BY SUM(views) DESC LIMIT 100

  3. Haz clic en Ejecutar.

bq

En el terminal, introduce el siguiente comando bq query para ejecutar una consulta interactiva con la sintaxis de SQL estándar:

bq query \ --use_legacy_sql=false \ 'SELECT   TITLE, SUM(views) FROM   `bigquery-samples.wikipedia_pageviews.201207h` GROUP BY   TITLE ORDER BY   SUM(views) DESC LIMIT 100'

Ejecuta una consulta que devuelve los 100 títulos de Wikipedia con más vistas en un mes concreto y escribe el resultado en una tabla temporal.

Anota cuánto tiempo tarda en ejecutarse la consulta.

Desplegar un flujo de trabajo que ejecute varias consultas de forma secuencial

Una definición de flujo de trabajo se compone de una serie de pasos descritos mediante la sintaxis de Workflows. Después de crear un flujo de trabajo, debes implementarlo para que se pueda ejecutar. El paso de implementación también valida que el archivo de origen se pueda ejecutar.

El siguiente flujo de trabajo define una lista de cinco tablas en las que se va a ejecutar una consulta mediante el conector de BigQuery de Workflows. Las consultas se ejecutan de forma secuencial, una tras otra, y los títulos más vistos de cada tabla se guardan en un mapa de resultados.

Consola

  1. En la Google Cloud consola, ve a la página Flujos de trabajo:

    Ve a Workflows

  2. Haz clic en Crear.

  3. Escribe un nombre para el nuevo flujo de trabajo, como workflow-serial-bqjobs.

  4. Elige una región adecuada, como us-central1.

  5. Selecciona la cuenta de servicio que has creado anteriormente.

    Ya deberías haber asignado los roles de gestión de identidades y accesos BigQuery > Usuario de tareas de BigQuery y Logging > Escritor de registros a la cuenta de servicio.

  6. Haz clic en Siguiente.

  7. En el editor del flujo de trabajo, introduce la siguiente definición para tu flujo de trabajo:

    main:     steps:     - init:         assign:             - results : {} # result from each iteration keyed by table name             - tables:                 - 201201h                 - 201202h                 - 201203h                 - 201204h                 - 201205h     - runQueries:         for:             value: table             in: ${tables}             steps:             - logTable:                 call: sys.log                 args:                     text: ${"Running query for table " + table}             - runQuery:                 call: googleapis.bigquery.v2.jobs.query                 args:                     projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}                     body:                         useLegacySql: false                         useQueryCache: false                         timeoutMs: 30000                         # Find top 100 titles with most views on Wikipedia                         query: ${                             "SELECT TITLE, SUM(views)                             FROM `bigquery-samples.wikipedia_pageviews." + table + "`                             WHERE LENGTH(TITLE) > 10                             GROUP BY TITLE                             ORDER BY SUM(VIEWS) DESC                             LIMIT 100"                             }                 result: queryResult             - returnResult:                 assign:                     # Return the top title from each table                     - results[table]: {}                     - results[table].title: ${queryResult.rows[0].f[0].v}                     - results[table].views: ${queryResult.rows[0].f[1].v}     - returnResults:         return: ${results}

  8. Haz clic en Desplegar.

gcloud

  1. Abre un terminal y crea un archivo de código fuente para tu flujo de trabajo:

    touch workflow-serial-bqjobs.yaml

  2. Copia el siguiente flujo de trabajo en tu archivo de código fuente:

    main:     steps:     - init:         assign:             - results : {} # result from each iteration keyed by table name             - tables:                 - 201201h                 - 201202h                 - 201203h                 - 201204h                 - 201205h     - runQueries:         for:             value: table             in: ${tables}             steps:             - logTable:                 call: sys.log                 args:                     text: ${"Running query for table " + table}             - runQuery:                 call: googleapis.bigquery.v2.jobs.query                 args:                     projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}                     body:                         useLegacySql: false                         useQueryCache: false                         timeoutMs: 30000                         # Find top 100 titles with most views on Wikipedia                         query: ${                             "SELECT TITLE, SUM(views)                             FROM `bigquery-samples.wikipedia_pageviews." + table + "`                             WHERE LENGTH(TITLE) > 10                             GROUP BY TITLE                             ORDER BY SUM(VIEWS) DESC                             LIMIT 100"                             }                 result: queryResult             - returnResult:                 assign:                     # Return the top title from each table                     - results[table]: {}                     - results[table].title: ${queryResult.rows[0].f[0].v}                     - results[table].views: ${queryResult.rows[0].f[1].v}     - returnResults:         return: ${results}

  3. Para desplegar el flujo de trabajo, introduce el siguiente comando:

    gcloud workflows deploy workflow-serial-bqjobs \    --source=workflow-serial-bqjobs.yaml \    --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com

    Sustituye MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com por el correo de la cuenta de servicio que has creado anteriormente.

    Ya deberías haber concedido los roles de gestión de identidades y accesos roles/bigquery.jobUser y roles/logging.logWriter a la cuenta de servicio.

Ejecutar el flujo de trabajo y realizar varias consultas de forma secuencial

Al ejecutar un flujo de trabajo, se ejecuta la definición del flujo de trabajo actual asociada al flujo de trabajo.

Consola

  1. En la Google Cloud consola, ve a la página Flujos de trabajo:

    Ve a Workflows

  2. En la página Workflows (Flujos de trabajo), selecciona el flujo de trabajo workflow-serial-bqjobs para ir a su página de detalles.

  3. En la página Detalles del flujo de trabajo, haz clic en Ejecutar.

  4. Vuelve a hacer clic en Ejecutar.

  5. Consulta los resultados del flujo de trabajo en el panel Información.

gcloud

  1. Abre la terminal.

  2. Ejecuta el flujo de trabajo:

     gcloud workflows run workflow-serial-bqjob

La ejecución del flujo de trabajo debería durar aproximadamente un minuto o cinco veces el tiempo de ejecución anterior. El resultado incluirá cada tabla y tendrá un aspecto similar al siguiente:

{   "201201h": {     "title": "Special:Search",     "views": "14591339"   },   "201202h": {     "title": "Special:Search",     "views": "132765420"   },   "201203h": {     "title": "Special:Search",     "views": "123316818"   },   "201204h": {     "title": "Special:Search",     "views": "116830614"   },   "201205h": {     "title": "Special:Search",     "views": "131357063"   } }

Desplegar y ejecutar un flujo de trabajo que ejecute varias consultas en paralelo

En lugar de ejecutar cinco consultas de forma secuencial, puedes ejecutarlas en paralelo haciendo algunos cambios:

 - runQueries:     parallel:         shared: [results]         for:             value: table             in: ${tables}
  • Un parallel permite que cada iteración del bucle for se ejecute en paralelo.

  • La variable results se declara como shared, lo que permite que una rama pueda escribir en ella y que se le pueda añadir el resultado de cada rama.

Consola

  1. En la Google Cloud consola, ve a la página Flujos de trabajo:

    Ve a Workflows

  2. Haz clic en Crear.

  3. Escribe un nombre para el nuevo flujo de trabajo, como workflow-parallel-bqjobs.

  4. Elige una región adecuada, como us-central1.

  5. Selecciona la cuenta de servicio que has creado anteriormente.

  6. Haz clic en Siguiente.

  7. En el editor del flujo de trabajo, introduce la siguiente definición para tu flujo de trabajo:

    main:     steps:     - init:         assign:             - results : {} # result from each iteration keyed by table name             - tables:                 - 201201h                 - 201202h                 - 201203h                 - 201204h                 - 201205h     - runQueries:         parallel:             shared: [results]             for:                 value: table                 in: ${tables}                 steps:                 - logTable:                     call: sys.log                     args:                         text: ${"Running query for table " + table}                 - runQuery:                     call: googleapis.bigquery.v2.jobs.query                     args:                         projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}                         body:                             useLegacySql: false                             useQueryCache: false                             timeoutMs: 30000                             # Find top 100 titles with most views on Wikipedia                             query: ${                                 "SELECT TITLE, SUM(views)                                 FROM `bigquery-samples.wikipedia_pageviews." + table + "`                                 WHERE LENGTH(TITLE) > 10                                 GROUP BY TITLE                                 ORDER BY SUM(VIEWS) DESC                                 LIMIT 100"                                 }                     result: queryResult                 - returnResult:                     assign:                         # Return the top title from each table                         - results[table]: {}                         - results[table].title: ${queryResult.rows[0].f[0].v}                         - results[table].views: ${queryResult.rows[0].f[1].v}     - returnResults:         return: ${results}

  8. Haz clic en Desplegar.

  9. En la página Detalles del flujo de trabajo, haz clic en Ejecutar.

  10. Vuelve a hacer clic en Ejecutar.

  11. Consulta los resultados del flujo de trabajo en el panel Información.

gcloud

  1. Abre un terminal y crea un archivo de código fuente para tu flujo de trabajo:

    touch workflow-parallel-bqjobs.yaml

  2. Copia el siguiente flujo de trabajo en tu archivo de código fuente:

    main:     steps:     - init:         assign:             - results : {} # result from each iteration keyed by table name             - tables:                 - 201201h                 - 201202h                 - 201203h                 - 201204h                 - 201205h     - runQueries:         parallel:             shared: [results]             for:                 value: table                 in: ${tables}                 steps:                 - logTable:                     call: sys.log                     args:                         text: ${"Running query for table " + table}                 - runQuery:                     call: googleapis.bigquery.v2.jobs.query                     args:                         projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}                         body:                             useLegacySql: false                             useQueryCache: false                             timeoutMs: 30000                             # Find top 100 titles with most views on Wikipedia                             query: ${                                 "SELECT TITLE, SUM(views)                                 FROM `bigquery-samples.wikipedia_pageviews." + table + "`                                 WHERE LENGTH(TITLE) > 10                                 GROUP BY TITLE                                 ORDER BY SUM(VIEWS) DESC                                 LIMIT 100"                                 }                     result: queryResult                 - returnResult:                     assign:                         # Return the top title from each table                         - results[table]: {}                         - results[table].title: ${queryResult.rows[0].f[0].v}                         - results[table].views: ${queryResult.rows[0].f[1].v}     - returnResults:         return: ${results}

  3. Para desplegar el flujo de trabajo, introduce el siguiente comando:

    gcloud workflows deploy workflow-parallell-bqjobs \    --source=workflow-parallel-bqjobs.yaml \    --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com

    Sustituye MY_SERVICE_ACCOUNT@MY_PROJECT.iam.gserviceaccount.com por el correo de la cuenta de servicio que has creado anteriormente.

  4. Ejecuta el flujo de trabajo:

     gcloud workflows run workflow-parallel-bqjobs

El resultado será similar al de la salida anterior, pero la ejecución del flujo de trabajo debería tardar unos 20 segundos o menos.

Limpieza

Si has creado un proyecto para este tutorial, elimínalo. Si has usado un proyecto y quieres conservarlo sin los cambios que se han añadido en este tutorial, elimina los recursos creados para el tutorial.

Eliminar el proyecto

La forma más fácil de evitar que te cobren es eliminar el proyecto que has creado para el tutorial.

Para ello, sigue las instrucciones que aparecen a continuación:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminar recursos del tutorial

Elimina los flujos de trabajo creados en este tutorial:

gcloud workflows delete WORKFLOW_NAME

Siguientes pasos