Utiliser le connecteur Spanner avec Spark

Console

1. Dans la console Google Cloud, ouvrez la page Dataproc Créer un cluster.
2. Dans l'onglet "Gérer la sécurité", cliquez sur "Active le champ d'application Cloud Platform pour ce cluster" dans la section "Accès au projet".
3. Renseignez ou confirmez les autres champs de création de cluster, puis cliquez sur "Créer".

Google Cloud CLI

gcloud dataproc clusters create CLUSTER_NAME --scopes https://www.googleapis.com/auth/cloud-platform
    

API

        "serviceAccountScopes": ["https://www.googleapis.com/auth/cloud-platform"],
    

Scala

1. Examinez le code et remplacez les espaces réservés [projectId], [instanceId], [databaseId] et [table] par l'ID du projet, l'ID de l'instance, l'ID de la base de données et la table que vous avez créés précédemment. L'option enableDataBoost active la fonctionnalité Data Boost de Spanner, qui a un impact quasi nul sur l'instance Spanner principale.

   object singers {
     def main(): Unit = {
       /*
        * Remove comment if you are not running in spark-shell.
        *
       import org.apache.spark.sql.SparkSession
       val spark = SparkSession.builder()
         .appName("spark-spanner-demo")
         .getOrCreate()
       */
   
       // Load data in from Spanner. See
       // https://github.com/GoogleCloudDataproc/spark-spanner-connector/blob/main/README.md#properties
       // for option information.
       val singersDF =
         (spark.read.format("cloud-spanner")
           .option("projectId", "[projectId]")
           .option("instanceId", "[instanceId]")
           .option("databaseId", "[databaseId]")
           .option("enableDataBoost", true)
           .option("table", "[table]")
           .load()
           .cache())
   
       singersDF.createOrReplaceTempView("Singers")
   
       // Load the Singers table.
       val result = spark.sql("SELECT * FROM Singers")
       result.show()
       result.printSchema()
     }
   }

2. Exécuter le code sur votre cluster
1. Se connecter au nœud maître du cluster Dataproc via SSH
   1. Accédez à la page Clusters Dataproc dans la console Google Cloud, puis cliquez sur le nom de votre cluster.

      

   2. Sur la page >Détails du cluster, sélectionnez l'onglet "Instances de VM". Cliquez ensuite sur SSH à droite du nom du nœud maître du cluster.

      

      
      Une fenêtre de navigateur s'ouvre dans votre répertoire d'accueil sur le nœud maître.

          Connected, host fingerprint: ssh-rsa 2048 ...
          ...
          user@clusterName-m:~$
          

2. Créez le fichier singers.scala avec l'éditeur de texte vi, vim ou nano préinstallé, puis collez le code Scala à partir de la liste de codes Scala.

   nano singers.scala
     

3. Lancez le REPL spark-shell.

   $ spark-shell --jars=gs://spark-lib/spanner/spark-3.1-spanner-CONNECTOR_VERSION.jar
   

4. Exécutez "singers.scala" avec la commande :load singers.scala pour créer la table Spanner Singers. La liste de sortie affiche des exemples du résultat de la commande "Singers".

   > :load singers.scala
   Loading singers.scala...
   defined object singers
   > singers.main()
   ...
   +--------+---------+--------+---------+-----------+
   |SingerId|FirstName|LastName|BirthDate|LastUpdated|
   +--------+---------+--------+---------+-----------+
   |       1|     Marc|Richards|     null|       null|
   |       2| Catalina|   Smith|     null|       null|
   |       3|    Alice| Trentor|     null|       null|
   +--------+---------+--------+---------+-----------+
   
   root
    |-- SingerId: long (nullable = false)
    |-- FirstName: string (nullable = true)
    |-- LastName: string (nullable = true)
    |-- BirthDate: date (nullable = true)
    |-- LastUpdated: timestamp (nullable = true)
    

PySpark

1. Examinez le code et remplacez les espaces réservés [projectId], [instanceId], [databaseId] et [table] par l'ID du projet, l'ID de l'instance, l'ID de la base de données et la table que vous avez créés précédemment. L'option enableDataBoost active la fonctionnalité Data Boost de Spanner, qui a un impact quasi nul sur l'instance Spanner principale.

   #!/usr/bin/env python
   
   """Spanner PySpark read example."""
   
   from pyspark.sql import SparkSession
   
   spark = SparkSession \
     .builder \
     .master('yarn') \
     .appName('spark-spanner-demo') \
     .getOrCreate()
   
   # Load data from Spanner.
   singers = spark.read.format('cloud-spanner') \
     .option("projectId", "[projectId]") \
     .option("instanceId", "[instanceId]") \
     .option("databaseId", "[databaseId]") \
     .option("enableDataBoost", "true") \
     .option("table", "[table]") \
     .load()
   singers.createOrReplaceTempView('Singers')
   
   # Read from Singers
   result = spark.sql('SELECT * FROM Singers')
   result.show()
   result.printSchema()

2. Exécutez le code sur votre cluster
   1. Se connecter au nœud maître du cluster Dataproc via SSH
      1. Accédez à la page Clusters Dataproc dans la console Google Cloud, puis cliquez sur le nom de votre cluster.

         

      2. Sur la page Détails du cluster, sélectionnez l'onglet "Instances de VM". Cliquez ensuite sur SSH à droite du nom du nœud maître du cluster.

         

         
         Une fenêtre de navigateur s'ouvre dans votre répertoire d'accueil sur le nœud principal.

             Connected, host fingerprint: ssh-rsa 2048 ...
             ...
             user@clusterName-m:~$
             

   2. Créez le fichier singers.py avec l'éditeur de texte vi, vim ou nano préinstallé, puis collez le code PySpark à partir de la liste de code PySpark.

      nano singers.py
      

   3. Exécutez singers.py avec spark-submit pour créer la table Spanner Singers.

      spark-submit --jars gs://spark-lib/spanner/spark-3.1-spanner-CONNECTOR_VERSION.jar singers.py
      

      Le résultat est le suivant:

      ...
      +--------+---------+--------+---------+-----------+
      |SingerId|FirstName|LastName|BirthDate|LastUpdated|
      +--------+---------+--------+---------+-----------+
      |       1|     Marc|Richards|     null|       null|
      |       2| Catalina|   Smith|     null|       null|
      |       3|    Alice| Trentor|     null|       null|
      +--------+---------+--------+---------+-----------+
      
      root
       |-- SingerId: long (nullable = false)
       |-- FirstName: string (nullable = true)
       |-- LastName: string (nullable = true)
       |-- BirthDate: date (nullable = true)
       |-- LastUpdated: timestamp (nullable = true)
      only showing top 20 rows