使用範本提交 Spark 工作
本頁面說明如何使用 Google APIs Explorer 範本,在現有的 Dataproc 叢集中執行簡單的 Spark 工作。
如要瞭解將工作提交至 Dataproc 叢集的其他方式,請參閱:
事前準備
您必須先建立一或多個虛擬機器 (VM) 叢集,才能執行 Dataproc 工作。您可以使用 APIs Explorer、Google Cloud 主控台、gcloud CLI gcloud 指令列工具,或使用 Cloud 用戶端程式庫的快速入門建立叢集。提交工作
如要提交計算 pi 粗略值的範例 Apache Spark 工作,請填寫並執行 Google APIs Explorer 試用這個 API 範本。
要求參數:
要求主體:
- job.placement.clusterName:工作執行的叢集名稱 (確認或取代「example-cluster」)。
- job.sparkJob.args:"1000",工作任務數量。
- job.sparkJob.jarFileUris:"file:///usr/lib/spark/examples/jars/spark-examples.jar"。這是 Dataproc 叢集主要節點中的本機檔案路徑,其中安裝了含有 Spark Scala 工作程式碼的 jar 檔案。
- job.sparkJob.mainClass:"org.apache.spark.examples.SparkPi"。這是工作 pi 計算 Scala 應用程式的主要方法。
按一下「執行」。首次執行 API 範本時,系統可能會要求您選擇並登入 Google 帳戶,然後授權 Google API Explorer 存取您的帳戶。如果要求成功,JSON 回應會顯示工作提交要求處於待處理狀態。
如要查看工作輸出結果,請在 Google Cloud 控制台中開啟「Dataproc Jobs」頁面,然後按一下頂端 (最新) 的工作 ID。按一下「LINE WRAP」將其設為「ON」,即可將超過右邊界線的文字移到下一行。
... Pi is roughly 3.141804711418047 ...
清除所用資源
如要避免系統向您的 Google Cloud 帳戶收取您在本頁所用資源的費用,請按照下列步驟操作。
- 如果您不需要叢集來探索其他快速入門課程或執行其他工作,請使用 API Explorer、Google Cloud 主控台、gcloud CLI gcloud 指令列工具或 Cloud 用戶端程式庫來刪除叢集。
後續步驟
- 瞭解如何使用範本更新 Dataproc 叢集。