本頁面提供與 Dataflow 相關的公開文章、影片和 Podcast 的連結。
公告
如要查看公告和最新消息,請參閱下列資源:
- Dataflow 新聞: Google Cloud 網誌
- Dataflow 更新: Dataflow 版本資訊
- Apache Beam 更新: Apache Beam SDK 版本資訊
Dataflow 生態系統
- 資料分析的骨幹:Dataflow
- Dataflow Under the Hood:起源故事:第 1 部分、第 2 部分、第 3 部分
- 請參閱 Apache Beam 開放原始碼文件,進一步瞭解如何開發整合式模型、定義管道,以及在 Dataflow 或 Apache Beam 支援的其中一個分散式後端中執行管道。
客戶經驗談
公開文章
- Dataflow 故事集 - Medium 出版品
- Dataflow 在 2021 年串流分析報告中獲評為領導品牌 - Forrester Wave
- 建構可即時提供直播觀眾意見回饋的工具 - ITV
- 監控 Dataflow 管道 - Medium 發布內容
- 執行模型,適用於高度可擴充的低延遲資料處理作業 - Medium 發布內容
- Accelerating Machine Learning Model Inference on Dataflow with GPUs - Nvidia
- 對大型資料集執行運算 - Pandora
- 為 2020 年 Wrapped 推出有史以來最大的 Dataflow 工作 - Spotify
- 使用 Dataflow 即時處理數十億個事件 - Twitter
- 智慧住宅資料管道中的 Dataflow - Nest
- 將 JSON 訊息串流至 BigQuery JSON 型別資料欄 - 中等
個案研究
- AXA Switzerland:運用 Google Cloud 數據分析解決方案提升內部程序效率,並開發服務
- Bayer Crop:透過 BigQuery 和 Dataflow 上的地理空間分析,改善土壤健康和作物管理
- Dow Jones:建構知識圖譜,記錄 30 多年來新聞內容中的重大事件
- HSBC:採用雲端服務,透過快速洞察和分析功能降低風險暴露
- Nintendo:使用 Dataflow 和 Pub/Sub 在 BigQuery 中收集及分析遊戲使用記錄
- Quantiphi:建構無伺服器即時信用卡詐欺偵測解決方案
- SoFi 體育場:打造個人專屬的球迷服務應用程式,為每位使用者量身打造賽事體驗
- Spotify:使用 Dataflow 進行串流處理實驗
- Subaru Corporation:運用 Google Cloud AI 和機器學習技術加快開發速度
- Telus:運用資料科學加速現代化
- Tokopedia:在 Google Cloud
- Tyson Foods:開發內容擷取即服務,重新構思自家資料平台
- Vodafone:使用 Google Cloud 安全地分享手機資料
影片
技術指導
簡介影片
文章
- 打造資料工程導向的機構
- 從任何 Dataflow 管道建立範本
- Elastic Cloud 適用的 Dataflow 範本
- Dataflow Pipeline:大規模部署及管理資料管道
- 適用於 BigQuery 的 Dataflow 自動資料分割功能可提升 3 倍效能
- 使用 Dataflow 範本將資料匯出至 Elastic Stack Google Cloud
- 使用 UDF 擴充 Dataflow 範本
- Dataflow 中的一次性處理作業:第 1 部分、第 2 部分、第 3 部分
- 使用 Dataflow GPU 加快資料處理能力
- 使用 Dataflow 和 Pub/Sub 處理串流管道中的重複資料
- 透過 Google 代碼管理工具資料的點擊流處理作業,瞭解 Apache Beam 模式
- 使用 Apache Beam 和 Dataflow 執行器的機器學習模式
- 使用 BigQuery Storage Write API 將資料串流至 BigQuery
- 使用 Dataflow Prime 簡化及自動化資料處理作業
- Dataflow 為客戶實現投資報酬率的三種方式
- 使用即時異常偵測參考模式防範詐欺
- 搭配 Dataflow 使用 TFX 推論,執行大規模機器學習推論模式
- 為何應使用 Flex 範本部署 Dataflow
- 撰寫 Dataflow 管道時,請考量可擴充性
- 常見 Dataflow 使用案例模式指南:第 1 部分、第 2 部分
資料與分析影片
疑難排解與監控
Podcast
- Google Cloud Podcast 第 81 集 - Dataflow with Frances Perry
- Software Engineering Daily Podcast - Dataflow with Eric Anderson
- Software Engineering Radio Podcast Episode 272: Apache Beam