Carregar e consultar dados com a ferramenta bq

Fazer o download do arquivo de dados públicos de origem

1. Fazer o download do arquivo ZIP com nomes de bebês.
2. Extraia o arquivo ZIP. Ele contém um arquivo chamado NationalReadMe.pdf que descreve o esquema do conjunto de dados. Saiba mais sobre o conjunto de dados com nomes de bebês.
3. Abra o arquivo yob2010.txt. Trata-se de um arquivo de valores separados por vírgulas (CSV) com três colunas: nome, gênero atribuído ao nascer e número de crianças com esse nome. O arquivo não tem linha de cabeçalho.
4. Mova o arquivo para o diretório de trabalho.
   • Se você estiver trabalhando no Cloud Shell, clique em more_vert Mais >Fazer upload, clique emEscolher arquivos, escolha o arquivo yob2010.txt e clique em Fazer upload.
   • Se você estiver trabalhando em um shell local, copie ou mova o arquivo yob2010.txt para o diretório em que está executando a ferramenta bq.

crie um conjunto de dados

1. Crie um conjunto de dados chamado babynames:

   bq mk babynames
   

   O resultado será assim:

   Dataset 'myproject:babynames' successfully created.
   

   O nome do conjunto de dados pode ter até 1.024 caracteres e ser composto de A-Z, a-z, 0-9 e sublinhado. O nome não pode começar com um número ou sublinhado e não pode ter espaços.

2. Verifique se o conjunto de dados babynames agora aparece no seu projeto:

   bq ls
   

   O resultado será assim:

     datasetId
   -------------
     babynames
   

Carregar dados em uma tabela

1. No conjunto de dados babynames, carregue o arquivo de origem yob2010.txt em uma nova tabela chamada names2010:

   bq load babynames.names2010 yob2010.txt name:string,assigned_sex_at_birth:string,count:integer
   

   O resultado será assim:

   Upload complete.
   Waiting on bqjob_r3c045d7cbe5ca6d2_0000018292f0815f_1 ... (1s) Current status: DONE
   

   Por padrão, quando você carrega dados no BigQuery, espera-se que eles estejam no formato UTF-8. Se você tiver dados na codificação ISO-8859-1 (ou Latin-1) e tiver problemas com eles, instrua o BigQuery a tratar seus dados como Latin-1 usando bq load -E=ISO-8859-1. Para ver mais informações, consulte Codificação.

2. Confirme se a tabela names2010 agora aparece no conjunto de dados babynames:

   bq ls babynames
   

   A resposta será semelhante a esta: Algumas colunas são omitidas para simplificar a saída.

     tableId     Type
   ----------- ---------
    names2010    TABLE
   

3. Confirme se o esquema da nova tabela names2010 é name: string, assigned_sex_at_birth: string e count: integer:

   bq show babynames.names2010
   

   A resposta será semelhante a esta: Algumas colunas são omitidas para simplificar a saída.

     Last modified        Schema                      Total Rows   Total Bytes
   ----------------- ------------------------------- ------------ ------------
   14 Mar 17:16:45   |- name: string                    34089       654791
                     |- assigned_sex_at_birth: string
                     |- count: integer
   

Consultar os dados da tabela

1. Determine os nomes mais comuns de meninas nos dados:

   bq query --use_legacy_sql=false \
       'SELECT
         name,
         count
       FROM
         `babynames.names2010`
       WHERE
         assigned_sex_at_birth = "F"
       ORDER BY
         count DESC
       LIMIT 5;'
   

   O resultado será assim:

   +----------+-------+
   |   name   | count |
   +----------+-------+
   | Isabella | 22925 |
   | Sophia   | 20648 |
   | Emma     | 17354 |
   | Olivia   | 17030 |
   | Ava      | 15436 |
   +----------+-------+
   

2. Determine os nomes de meninos menos comuns nos dados:

   bq query --use_legacy_sql=false \
       'SELECT
         name,
         count
       FROM
         `babynames.names2010`
       WHERE
         assigned_sex_at_birth = "M"
       ORDER BY
         count ASC
       LIMIT 5;'
   

   O resultado será assim:

   +----------+-------+
   |   name   | count |
   +----------+-------+
   | Aamarion |     5 |
   | Aarian   |     5 |
   | Aaqib    |     5 |
   | Aaidan   |     5 |
   | Aadhavan |     5 |
   +----------+-------+
   

   A contagem mínima é 5, porque os nomes com menos de 5 ocorrências não são exibidos nos dados de origem.