GSP411

Visão geral

O BigQuery é um banco de dados de análise NoOps, totalmente gerenciado e de baixo custo desenvolvido pelo Google. Com ele, você pode consultar muitos terabytes de dados sem ter que gerenciar uma infraestrutura ou precisar de um administrador de banco de dados. O BigQuery usa SQL e está disponível no modelo de pagamento por uso. Assim, você pode se concentrar na análise dos dados para encontrar insights relevantes.

Você usará um conjunto de dados de comércio eletrônico com milhões de registros do Google Analytics referentes à Google Merchandise Store e carregados no BigQuery. Com uma cópia desse conjunto de dados, você vai explorar os campos e as linhas disponíveis para extrair insights.

Neste laboratório, você fará a ingestão de vários tipos de conjuntos de dados em tabelas no BigQuery.

Configuração e requisitos

Antes de clicar no botão Start Lab

Leia estas instruções. Os laboratórios são cronometrados e não podem ser pausados. O timer é iniciado quando você clica em Começar o laboratório e mostra por quanto tempo os recursos do Google Cloud vão ficar disponíveis.

Este laboratório prático permite que você realize as atividades em um ambiente real de nuvem, não em uma simulação ou demonstração. Você vai receber novas credenciais temporárias para fazer login e acessar o Google Cloud durante o laboratório.

Confira os requisitos para concluir o laboratório:

• Acesso a um navegador de Internet padrão (recomendamos o Chrome).

Observação: para executar este laboratório, use o modo de navegação anônima ou uma janela anônima do navegador. Isso evita conflitos entre sua conta pessoal e a conta de estudante, o que poderia causar cobranças extras na sua conta pessoal.

• Tempo para concluir o laboratório---não se esqueça: depois de começar, não será possível pausar o laboratório.

Observação: não use seu projeto ou conta do Google Cloud neste laboratório para evitar cobranças extras na sua conta.

Como iniciar seu laboratório e fazer login no console do Google Cloud

1. Clique no botão Começar o laboratório. Se for preciso pagar, você verá um pop-up para selecionar a forma de pagamento. No painel Detalhes do laboratório à esquerda, você verá o seguinte:

   • O botão Abrir Console do Cloud
   • Tempo restante
   • As credenciais temporárias que você vai usar neste laboratório
   • Outras informações se forem necessárias

2. Clique em Abrir Console do Google. O laboratório ativa recursos e depois abre outra guia com a página Fazer login.

   Dica: coloque as guias em janelas separadas lado a lado.

   Observação: se aparecer a caixa de diálogo Escolher uma conta, clique em Usar outra conta.

3. Caso seja preciso, copie o Nome de usuário no painel Detalhes do laboratório e cole esse nome na caixa de diálogo Fazer login. Clique em Avançar.

4. Copie a Senha no painel Detalhes do laboratório e a cole na caixa de diálogo Olá. Clique em Avançar.

   Importante: você precisa usar as credenciais do painel à esquerda. Não use suas credenciais do Google Cloud Ensina. Observação: se você usar sua própria conta do Google Cloud neste laboratório, é possível que receba cobranças adicionais.

5. Acesse as próximas páginas:

   • Aceite os Termos e Condições.
   • Não adicione opções de recuperação nem autenticação de dois fatores (porque essa é uma conta temporária).
   • Não se inscreva em testes gratuitos.

Depois de alguns instantes, o console do GCP vai ser aberto nesta guia.

Observação: para ver uma lista dos produtos e serviços do Google Cloud, clique no Menu de navegação no canto superior esquerdo.

Abrir o console do BigQuery

1. No Console do Google Cloud, selecione o menu de navegação > BigQuery:

Você verá a caixa de mensagem Olá! Este é o BigQuery no Console do Cloud. Ela tem um link para o guia de início rápido e as notas de versão.

2. Clique em OK.

O console do BigQuery vai abrir.

Tarefa 1: crie um conjunto de dados para armazenar tabelas

1. Para criar um conjunto de dados, clique no ícone Exibir ações ao lado do ID do projeto e selecione Criar conjunto de dados.

2. Defina o ID do conjunto de dados como e-commerce. Não altere os valores dos outros campos.

3. Clique em CRIAR CONJUNTO DE DADOS.

O conjunto de dados de e-commerce aparece abaixo do nome do projeto.

Clique em Verificar meu progresso para conferir o objetivo. Crie um conjunto de dados para armazenar tabelas

Tarefa 2: faça a ingestão de um novo conjunto de dados de um CSV

Situação: sua equipe de marketing entrou em contato com você para saber quais produtos devem entrar em promoção, considerando os níveis de estoque. A equipe também quer avaliar o desempenho dos produtos de acordo com as avaliações dos clientes.

Seu conjunto de dados transacional de e-commerce não indica os níveis de estoque nem inclui dados de avaliação de produtos, mas as equipes de operações e marketing enviaram novos conjuntos de dados para você analisar.

Para começar:

1. Faça o download do conjunto de dados a seguir no seu computador: Conjunto de dados de nível de estoque de produtos. (Abra e faça o download do arquivo em uma janela normal)

2. Para criar a tabela, clique no ícone Exibir ações próximo ao conjunto de dados de e-commerce e clique em Abrir.

3. Clique em Criar tabela.

4. Especifique as seguintes opções para a tabela:

Fonte:

• Criar tabela de: Upload
• Selecionar arquivo: selecione o arquivo que você salvou antes
• Formato do arquivo: CSV

Destino:

• Nome da tabela: products

Não altere as outras configurações.

Esquema:

• Selecione a opção de esquema Detectar automaticamente

Dica: não está encontrando a caixa de seleção? Confirme que o formato de arquivo é CSV, e não Avro.

• Configurações de "Partição" e "Cluster": não altere os valores padrão.

Opções avançadas:

• Não altere as configurações padrão.

5. Clique em Criar tabela.

A tabela products agora vai aparecer abaixo do conjunto de dados de e-commerce.

6. Selecione a tabela "products" e confira os detalhes.

Clique em Verificar meu progresso para conferir o objetivo. Faça a ingestão de um novo conjunto de dados usando um CSV

7. Selecione Visualizar e confirme se todas as colunas foram carregadas (exemplificadas abaixo):

SKU	name	orderedQuantity	stockLevel	restockingLeadTime
GGOEGDHQ014899	20 oz Stainless Steel Insulated Tumbler	499	652	2
GGOEGOAB022499	Satin Black Ballpoint Pen	403	477	2
GGOEYHPB072210	Twill Cap	1429	1997	2
GGOEGEVB071799	Pocket Bluetooth Speaker	214	246	2

Você carregou um arquivo CSV em uma nova tabela do BigQuery.

Analisar os dados recém-carregados usando SQL

Para praticar, faça uma consulta básica na nova tabela de produtos em busca de insights.

• No EDITOR do BigQuery, crie uma consulta para listar os cinco produtos com mais unidades em estoque (stockLevel):

#standardSQL SELECT * FROM ecommerce.products ORDER BY stockLevel DESC LIMIT 5

Tarefa 3: faça a ingestão de dados do Cloud Storage

1. Crie uma tabela clicando no ícone Exibir ações próximo ao conjunto de dados de e-commerce e clique em Criar tabela.

2. Especifique as seguintes opções para a tabela:

Fonte:

• Criar tabela de: Google Cloud Storage
• Selecionar arquivo do bucket do GCS: data-insights-course/exports/products.csv
• Formato do arquivo: CSV

Destino:

• Nome da tabela: products

Não altere as outras configurações.

Esquema:

• Selecione a opção de esquema Detectar automaticamente.

Opções avançadas:

• Não altere as configurações padrão.

3. Clique em Criar tabela.

Funcionou? Não

4. Clique em ACESSAR JOB quando a mensagem de erro aparecer e depois clique no botão Carregar o job novamente.

5. No formulário "Criar tabela", clique em Opções avançadas. No menu suspenso Preferência de gravação, selecione Substituir tabela.

6. Em seguida, clique em Criar tabela.

Confirme se a tabela foi executada corretamente.

Clique em Verificar meu progresso para conferir o objetivo. Faça a ingestão de dados do Cloud Storage

Tarefa 4: faça a ingestão de um novo conjunto de dados usando um arquivo das Planilhas Google

1. Clique em +CRIAR NOVA CONSULTA ().

2. Execute a próxima consulta para conferir quais produtos precisam de reposição mais urgente com base na rotatividade do estoque, e saber em quanto tempo a reposição pode ser feita:

#standardSQL SELECT *, SAFE_DIVIDE(orderedQuantity,stockLevel) AS ratio FROM ecommerce.products WHERE # include products that have been ordered and # are 80% through their inventory orderedQuantity > 0 AND SAFE_DIVIDE(orderedQuantity,stockLevel) >= .8 ORDER BY restockingLeadTime DESC Observação: se você especificar um caminho de nome de projeto relativo como ecommerce.products em vez de project_id.ecommerce.products, o BigQuery vai analisar o projeto atual.

Tarefa 5: salve os dados no app Planilhas Google

Situação: você quer oferecer à sua equipe de gerenciamento da cadeia de suprimentos uma forma de registrar se os pedidos de reposição foram feitos aos fornecedores e incluir anotações sobre os itens. Você escolhe usar uma Planilha Google para fazer uma pesquisa rápida.

Agora você vai criar a tabela:

1. Nos resultados da consulta, selecione SALVAR RESULTADOS e escolha Planilhas Google no menu suspenso.

2. Uma janela pop-up vai aparecer com um link para abrir a planilha. Clique em Abrir.

3. Adicione um campo com o título Comments na coluna G da planilha, digite new shipment on the way na linha do primeiro produto e pressione Enter.

No app Planilhas Google, selecione Compartilhar e clique em Copiar link em "Gerar link".

4. Volte para a guia do BigQuery.

5. Clique no ícone Exibir ações próximo ao conjunto de dados de e-commerce e depois clique em Criar tabela.

6. Especifique as seguintes opções para a tabela:

Fonte:

• Criar tabela de: Drive
• Selecionar URI do Drive: coloque-o-url-da-planilha-aqui
• Formato do arquivo: Planilha Google

Destino:

• Tipo de tabela: não altere a opção padrão ("Tabela externa")
• Nome da tabela: products_comments

Esquema:

• Selecione a opção de esquema Detectar automaticamente.

Opções avançadas:

• Em Linhas de cabeçalho a serem ignoradas, digite 1.
• Não altere as outras opções.

7. Clique em Criar tabela.

Observação: não há job de carregamento para criar uma tabela vinculada externamente, já que os dados não são ingeridos.

Clique em Verificar meu progresso para conferir o objetivo. Faça a ingestão de um novo conjunto de dados a partir de um arquivo das Planilhas Google

Consulte dados de uma planilha externa

1. Clique em +CRIAR NOVA CONSULTA.

Adicione a consulta abaixo e clique em EXECUTAR:

#standardSQL SELECT * FROM ecommerce.products_comments WHERE comments IS NOT NULL

Aguarde a execução da consulta. Você perceberá que o novo campo comments agora é retornado.

SKU	name	orderedQuantity	stockLevel	restockingLeadTime	ratio	comments
GGOENEBB078899	Cam Indoor Security Camera - USA	2139	2615	42	0.8179732314	new shipment on the way

2. Volte para a guia da Planilha Google.

3. Digite mais comentários no campo "Comments".

4. Volte para o BigQuery e clique em EXECUTAR para executar a consulta novamente.

Confirme se os novos dados aparecem corretamente nos resultados.

Você criou uma conexão entre uma tabela externa das Planilhas Google e o BigQuery.

Tarefa 6: confira as considerações sobre o desempenho de tabelas externas e a qualidade dos dados

Vincular tabelas externas ao BigQuery (por exemplo, das Planilhas Google ou diretamente do Cloud Storage) é um método com várias limitações. Duas das mais importantes são as seguintes:

• Não é possível garantir a consistência dos dados se os valores forem alterados na origem durante a consulta.
• As fontes de dados armazenadas fora do BigQuery perdem os benefícios de desempenho que esse serviço oferece como gerenciador do armazenamento de dados, entre eles: a otimização automática do caminho de execução de consultas e a desativação de determinadas funções de caracteres curinga.

Parabéns!

Você criou um novo conjunto de dados e fez a ingestão de novas fontes de dados externas no BigQuery usando arquivos CSV, o Cloud Storage e o Google Drive.

Termine a Quest

Este laboratório autoguiado faz parte da Quest BigQuery for Marketing Analysts. Uma Quest é uma série de laboratórios relacionados que formam um programa de aprendizado. Ao concluir uma Quest, você ganha um selo como reconhecimento da sua conquista. É possível publicar os selos e incluir um link para eles no seu currículo on-line ou nas redes sociais. Inscreva-se nesta Quest e receba o crédito de conclusão na mesma hora. Consulte o catálogo do Google Cloud Ensina para conferir todas as Quests disponíveis

Comece o próximo laboratório

Continue sua quest com o laboratório Como criar um painel de BI com o Google Looker Studio e o BigQuery ou confira uma opção diferente no Google Cloud Ensina: Como criar tabelas particionadas por data no BigQuery.

Próximas etapas / Saiba mais

Você já tem uma conta do Google Analytics e quer consultar seus próprios conjuntos de dados no BigQuery? Siga este guia de exportação.

Treinamento e certificação do Google Cloud

Esses treinamentos ajudam você a aproveitar as tecnologias do Google Cloud ao máximo. Nossas aulas incluem habilidades técnicas e práticas recomendadas para ajudar você a alcançar rapidamente o nível esperado e continuar sua jornada de aprendizado. Oferecemos treinamentos que vão do nível básico ao avançado, com opções de aulas virtuais, sob demanda e por meio de transmissões ao vivo para que você possa encaixá-las na correria do seu dia a dia. As certificações validam sua experiência e comprovam suas habilidades com as tecnologias do Google Cloud.

Manual atualizado em 6 de outubro de 2023

Laboratório testado em 11 de outubro de 2023

Copyright 2024 Google LLC. Todos os direitos reservados. Google e o logotipo do Google são marcas registradas da Google LLC. Todos os outros nomes de produtos e empresas podem ser marcas registradas das respectivas empresas a que estão associados.