Propiedades del clúster

Apache Hadoop YARN, HDFS, Spark y propiedades relacionadas

Los componentes de código abierto instalados en los clústeres de Dataproc contienen muchos archivos de configuración. Por ejemplo, Apache Spark y Apache Hadoop tienen varios archivos de configuración XML y de texto sin formato. Puedes usar la marca ‑‑properties del comando gcloud dataproc clusters create para modificar muchos archivos de configuración comunes cuando creas un clúster.

Formato

La marca gcloud dataproc clusters create --properties acepta el siguiente formato de string:

file_prefix1:property1=value1,file_prefix2:property2=value2,...

• file_prefix se mapea a un archivo de configuración predefinido, como se muestra en la siguiente tabla, y property se mapea a una propiedad dentro del archivo.

• El delimitador predeterminado que se usa para separar varias propiedades del clúster es la coma. (,). Sin embargo, si se incluye una coma en un valor de propiedad, debes cambiar la delimitador especificando un "^delimiter^" al inicio del lista de propiedades (consulta escapa de temas de gcloud para obtener más información).

  • Ejemplo con un delimitador “#”:

    --properties ^#^file_prefix1:property1=part1,part2#file_prefix2:property2=value2
    

Ejemplos

--properties 'spark:spark.master=spark://example.com'

--properties 'spark:spark.master=spark://example.com,hdfs:dfs.hosts=/foo/bar/baz'

"properties": {
  "spark:spark.executor.memory": "10g"
}

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=spark:spark.executor.memory=10g \
    --log-http \
    other args ...

...
== body start ==
{"clusterName": "my-cluster", "config": {"gceClusterConfig": ...
"masterConfig": {... "softwareConfig": {"properties": {"spark:spark.executor.memory": "10g"}},

...
== body end ==
...

Comparación entre propiedades del trabajo y del clúster

Las Apache Hadoop YARN, HDFS, Spark y otras propiedades con prefijos de archivo se aplican a nivel de clúster cuando creas uno. Estas propiedades no se pueden aplicar a un clúster después de su creación. Sin embargo, muchas de estas propiedades también se pueden aplicar a trabajos específicos. Cuando se aplica una propiedad a un trabajo, no se usa el prefijo de archivo.

En el siguiente ejemplo, se configura la memoria del ejecutor de Spark en 4g para un trabajo de Spark (Se omite el prefijo spark:).

gcloud dataproc jobs submit spark \
    --region=REGION \
    --properties=spark.executor.memory=4g \
    other args ...

Las propiedades de trabajo se pueden enviar en un archivo con la marca gcloud dataproc jobs submit job-type --properties-file (consulta, por ejemplo, la descripción de --properties-file para el envío de un trabajo de Hadoop).

gcloud dataproc jobs submit JOB_TYPE \
    --region=REGION \
    --properties-file=PROPERTIES_FILE \
    other args ...

PROPERTIES_FILE es un conjunto de pares key=value delimitados por líneas. La propiedad que se debe configurar es key y el valor en el que se debe configurar es value. Consulta la java.util.Properties para obtener una descripción detallada del formato de archivo de propiedades.

El siguiente es un ejemplo de un archivo de propiedades que se puede pasar a la marca --properties-file cuando se envía un trabajo de Dataproc.

 dataproc:conda.env.config.uri=gs://some-bucket/environment.yaml
 spark:spark.history.fs.logDirectory=gs://some-bucket
 spark:spark.eventLog.dir=gs://some-bucket
 capacity-scheduler:yarn.scheduler.capacity.root.adhoc.capacity=5

Tabla de propiedades con prefijo de archivo

Notas

• Algunas propiedades están reservadas y no se pueden anular porque afectan la funcionalidad del clúster de Dataproc. Si intentas cambiar una propiedad reservada, recibirás un mensaje de error cuando crees tu clúster.
• Puedes especificar varios cambios si los separas con una coma.
• La marca --properties no puede modificar los archivos de configuración que no se muestran anteriormente.
• Los cambios en las propiedades se aplicarán antes de que comiencen los daemons en tu clúster.
• Si existe la propiedad especificada, se actualizará. Si no existe la propiedad especificada, se agregará al archivo de configuración.

Propiedades del servicio de Dataproc

Las propiedades que se mencionan en esta sección son específicas de Dataproc. Estas propiedades se pueden usar para configurar aún más la funcionalidad de tu clúster de Dataproc.

Formato

La marca gcloud dataproc clusters create --properties acepta el siguiente formato de string:

property_prefix1:property1=value1,property_prefix2:property2=value2,...

• El delimitador predeterminado que se usa para separar varias propiedades del clúster es la coma (,). Sin embargo, si se incluye una coma en un valor de propiedad, debes cambiar el delimitador mediante la especificación de un signo "^delimiter^" al comienzo de la lista de propiedades (consultaescape de tema de gcloud para obtener más información).

  • Ejemplo con un delimitador “#”:

    --properties ^#^property_prefix1:property1=part1,part2#property_prefix2:property2=value2
    

Ejemplo:

Crea un clúster y configura el modo de flexibilidad mejorada en la combinación aleatoria de trabajadores principales de Spark.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties=dataproc:efm.spark.shuffle=primary-worker \
    other args ...

Tabla de propiedades del servicio de Dataproc

¹Archivo de almacén de claves: El archivo de almacén de claves contiene el certificado SSL. Debe estar en formato Java KeyStore (JKS). Cuando se copia en VM, se le cambia el nombre a keystore.jks. El certificado SSL debe ser un certificado comodín que se aplica a cada nodo en el clúster.

²Archivo de almacén de confianza: El archivo de almacén de confianza debe estar en formato Java Keystore (JKS). Cuando se copia en VM, se le cambia el nombre a truststore.jks.