—/100
Checkpoints
Create Cloud Composer environment.
Sprawdź postępy
/ 25
Create two Cloud Storage buckets.
Sprawdź postępy
/ 25
Create a dataset.
Sprawdź postępy
/ 25
Uploading the DAG and dependencies to Cloud Storage
Sprawdź postępy
/ 25
Cloud Composer: Copying BigQuery Tables Across Different Locations
1 godz.
Punkty: 7
GSP283
Overview
In this advanced lab, you will learn how to create and run an Apache Airflow workflow in Cloud Composer that completes the following tasks:
- Reads from a config file the list of tables to copy
- Exports the list of tables from a BigQuery dataset located in US to Cloud Storage
- Copies the exported tables from US to EU Cloud Storage buckets
- Imports the list of tables into the target BigQuery Dataset in EU
Dołącz do Qwiklabs, aby zapoznać się z resztą tego modułu i innymi materiałami.
- Uzyskaj tymczasowy dostęp do Google Cloud Console.
- Ponad 200 modułów z poziomów od początkującego do zaawansowanego.
- Podzielono na części, więc można uczyć się we własnym tempie.
GSP283OverviewSetupCreate Cloud Composer environmentCreate Cloud Storage bucketsBigQuery destination datasetAirflow and core concepts, a brief introductionDefining the workflowViewing environment informationSetting DAGs Cloud Storage bucketSetting Airflow variablesUploading the DAG and dependencies to Cloud StorageUsing the Airflow UIValidate the resultsCongratulations!Next steps