menu
arrow_back

Cómo procesar datos con Google Cloud Dataflow

—/100

Checkpoints

arrow_forward

Create a BigQuery Dataset

Copy the airport geolocation file to your Cloud Storage bucket

Process the Data using Cloud Dataflow (submit Dataflow job)

Run Query

Cómo procesar datos con Google Cloud Dataflow

1 hora 15 minutos 7 créditos

GSP198

Labs de autoaprendizaje de Google Cloud

Descripción general

En este lab, simulará un conjunto de datos del mundo real en tiempo real a partir de un conjunto de datos históricos. Este conjunto de datos simulado se procesará a partir de un conjunto de archivos de texto con Python y Google Cloud Dataflow y los datos simulados en tiempo real resultantes se almacenarán en Google BigQuery. Luego, usará Google BigQuery para analizar algunas de las características del conjunto de datos en tiempo real.

Cloud Dataflow es un servicio completamente administrado que permite transformar y enriquecer datos en los modos de transmisión (tiempo real) y por lotes (histórico) mediante las API de Java y Python con el SDK de Apache Beam. Cloud Dataflow ofrece una arquitectura sin servidores que puede usarse para fragmentar y procesar en paralelo conjuntos de datos por lotes de gran tamaño o transmisiones de datos en vivo de gran volumen.

Google BigQuery es un servicio web RESTful que habilita el análisis interactivo de enormes conjuntos de datos y trabaja de manera conjunta con Google Storage.

El conjunto de datos que se usa brinda información histórica sobre vuelos nacionales de Estados Unidos que se obtuvo del sitio web de la Oficina de Estadísticas del Transporte de EE.UU. Este conjunto de datos puede usarse para demostrar una amplia variedad de conceptos y técnicas sobre la ciencia de datos, y se utilizará en todos los demás labs de la Quest Data Science on Google Cloud Platform.

Únase a Qwiklabs para leer este lab completo… y mucho más.

  • Obtenga acceso temporal a Google Cloud Console.
  • Más de 200 labs para principiantes y niveles avanzados.
  • El contenido se presenta de a poco para que pueda aprender a su propio ritmo.
Únase para comenzar este lab