Membuat topik dengan SMT

Konsol

1. Di konsol Google Cloud , buka halaman Topics Pub/Sub.

   Buka Topik

2. Klik Create topic.

   Halaman Create topic akan terbuka.

3. Di kolom Topic ID, masukkan ID untuk topik Anda. Untuk mengetahui informasi selengkapnya tentang penamaan topik, lihat panduan penamaan.

4. Di bagian Transformasi, klik Tambahkan transformasi.

5. Masukkan nama fungsi. Misalnya: redactSSN.

6. Jika Anda tidak ingin segera menggunakan SMT dengan topik, klik opsi Nonaktifkan transformasi. SMT ini akan tetap disimpan, tetapi tidak akan dieksekusi saat pesan mengalir melalui topik Anda.

7. Masukkan transformasi baru. Contoh:

   function redactSSN(message, metadata) {
     const data = JSON.parse(message.data);
     delete data['ssn'];
     message.data = JSON.stringify(data);
     return message;
   }

8. Pub/Sub menyediakan fungsi validasi yang memungkinkan Anda memvalidasi SMT. Klik Validasi untuk memvalidasi transformasi.

9. Jika Anda ingin menambahkan transformasi lain, klik Tambahkan transformasi.

10. Untuk mengatur semua SMT dalam urutan tertentu, Anda dapat menggunakan panah atas dan bawah. Untuk menghapus SMT, klik tombol hapus.

11. Pub/Sub menyediakan fungsi pengujian yang memungkinkan Anda memeriksa hasil menjalankan SMT pada contoh pesan. Untuk menguji SMT, klik Uji transformasi.

12. Di jendela Test transform, pilih fungsi yang ingin Anda uji.

13. Di jendela Input message, masukkan contoh pesan.

14. Jika Anda ingin menambahkan atribut pesan, klik Tambahkan atribut, lalu masukkan satu atau beberapa pasangan nilai kunci.

15. Klik Uji. Hasil penerapan SMT pada pesan akan ditampilkan.

16. Tutup jendela untuk berhenti menguji SMT pada contoh pesan.

17. Klik Create untuk membuat topik.

gcloud

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Pub/Sub menyediakan fungsi validasi yang memungkinkan Anda memvalidasi SMT. Jalankan perintah gcloud pubsub message-transforms validate:

   gcloud pubsub message-transforms validate --message-transform-file=TRANSFORM_FILE

   Ganti kode berikut:

   • TRANSFORM_FILE: Jalur ke file YAML atau JSON yang berisi satu SMT.

     Berikut adalah contoh file transformasi YAML:

     javascriptUdf:
         code: >
             function redactSSN(message, metadata) {
               const data = JSON.parse(message.data);
               delete data['ssn'];
               message.data = JSON.stringify(data);
               return message;
             }
         functionName: redactSSN

3. Pub/Sub menyediakan fungsi pengujian yang memungkinkan Anda memeriksa hasil menjalankan satu atau beberapa SMT pada contoh pesan. Jalankan perintah gcloud pubsub message-transforms test:

   gcloud pubsub message-transforms test --message-transforms-file=TRANSFORMS_FILE --message=MESSAGE --attributes=ATTRIBUTES

   Ganti kode berikut:

   • TRANSFORMS_FILE: Jalur ke file YAML atau JSON yang berisi satu atau beberapa SMT.

     Berikut adalah contoh file transformasi YAML:

     - javascriptUdf:
         code: >
             function redactSSN(message, metadata) {
               const data = JSON.parse(message.data);
               delete data['ssn'];
               message.data = JSON.stringify(data);
               return message;
             }
         functionName: redactSSN

   • MESSAGE: Isi pesan yang akan digunakan untuk menguji SMT.

   • ATTRIBUTES: Atribut pesan yang akan digunakan untuk menguji SMT.

4. Untuk membuat topik, jalankan perintah gcloud pubsub topics create:

   gcloud pubsub topics create TOPIC_ID \
    --message-transforms-file=TRANSFORMS_FILE

   Ganti kode berikut:

   • TOPIC_ID: ID atau nama topik yang ingin Anda buat. Untuk mengetahui panduan cara memberi nama topik, lihat Nama resource. Nama topik tidak dapat diubah.

   • TRANSFORMS_FILE: Jalur ke file YAML atau JSON yang berisi satu atau beberapa SMT.

     Berikut adalah contoh file transformasi YAML:

     - javascriptUdf:
         code: >
             function redactSSN(message, metadata) {
               const data = JSON.parse(message.data);
               delete data['ssn'];
               message.data = JSON.stringify(data);
               return message;
             }
         functionName: redactSSN

Java

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Java di Panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

import com.google.api.gax.rpc.AlreadyExistsException;
import com.google.cloud.pubsub.v1.TopicAdminClient;
import com.google.pubsub.v1.JavaScriptUDF;
import com.google.pubsub.v1.MessageTransform;
import com.google.pubsub.v1.Topic;
import com.google.pubsub.v1.TopicName;
import java.io.IOException;

public class CreateTopicWithSmtExample {

  public static void main(String... args) throws Exception {
    // TODO(developer): Replace these variables before running the sample.
    String projectId = "your-project-id";
    String topicId = "your-topic-id";

    createTopicWithSmtExample(projectId, topicId);
  }

  public static void createTopicWithSmtExample(String projectId, String topicId)
      throws IOException {
    TopicName topicName = TopicName.of(projectId, topicId);

    // UDF that removes the 'ssn' field, if present
    String code =
        "function redactSSN(message, metadata) {"
            + "  const data = JSON.parse(message.data);"
            + "  delete data['ssn'];"
            + "  message.data = JSON.stringify(data);"
            + "  return message;"
            + "}";
    String functionName = "redactSSN";

    JavaScriptUDF udf =
        JavaScriptUDF.newBuilder().setCode(code).setFunctionName(functionName).build();
    MessageTransform transform = MessageTransform.newBuilder().setJavascriptUdf(udf).build();
    try (TopicAdminClient topicAdminClient = TopicAdminClient.create()) {

      Topic topic =
          topicAdminClient.createTopic(
              Topic.newBuilder()
                  .setName(topicName.toString())
                  // Add the UDF message transform
                  .addMessageTransforms(transform)
                  .build());

      System.out.println("Created topic with SMT: " + topic.getName());
    } catch (AlreadyExistsException e) {
      System.out.println(topicName + "already exists.");
    }
  }
}

Python

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Python di Panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

from google.cloud import pubsub_v1
from google.pubsub_v1.types import JavaScriptUDF, MessageTransform, Topic

# TODO(developer)
# project_id = "your-project-id"
# topic_id = "your-topic-id"

code = """function redactSSN(message, metadata) {
            const data = JSON.parse(message.data);
            delete data['ssn'];
            message.data = JSON.stringify(data);
            return message;
            }"""
udf = JavaScriptUDF(code=code, function_name="redactSSN")
transforms = [MessageTransform(javascript_udf=udf)]

publisher = pubsub_v1.PublisherClient()
topic_path = publisher.topic_path(project_id, topic_id)

request = Topic(name=topic_path, message_transforms=transforms)

topic = publisher.create_topic(request=request)

print(f"Created topic: {topic.name} with SMT")

Go

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan Go di Panduan memulai Pub/Sub menggunakan library klien. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Go Pub/Sub.

Untuk melakukan autentikasi ke Pub/Sub, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.

// Copyright 2025 Google LLC
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
//     https://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.

package topics

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/pubsub"
)

// createTopicWithSMT creates a topic with a single message transform function applied.
func createTopicWithSMT(w io.Writer, projectID, topicID string) error {
	// projectID := "my-project-id"
	// topicID := "my-topic"
	ctx := context.Background()
	client, err := pubsub.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("pubsub.NewClient: %w", err)
	}
	defer client.Close()

	code := `function redactSSN(message, metadata) {
			const data = JSON.parse(message.data);
			delete data['ssn'];
			message.data = JSON.stringify(data);
			return message;
		}`
	transform := pubsub.MessageTransform{
		Transform: pubsub.JavaScriptUDF{
			FunctionName: "redactSSN",
			Code:         code,
		},
	}
	cfg := &pubsub.TopicConfig{
		MessageTransforms: []pubsub.MessageTransform{transform},
	}
	t, err := client.CreateTopicWithConfig(ctx, topicID, cfg)
	if err != nil {
		return fmt.Errorf("CreateTopic: %w", err)
	}

	fmt.Fprintf(w, "Created topic with message transform: %v\n", t)
	return nil
}