![]()
作者 | Renato Losio
譯者 | 馬可薇
這一預覽功能使多個工具能夠直接操作同一數據集,而不必依賴數據復制或專有格式。谷歌還引入了對元數據、表維護以及同步任務的托管支持,而這些工作在傳統 Iceberg 部署中往往需要人工處理。
谷歌高級產品經理 Yuriy Zhovtobryukh 與高級產品市場經理 Angela Soares 解釋了這一更新的重要性:
如果你現在正在構建 Lakehouse,那你大概已經用上了 Apache Iceberg。對于需要支持多個計算引擎(例如 Spark 與 BigQuery)訪問同一份數據、處理不同工作負載的數據平臺團隊來說,Iceberg 已經獲得了廣泛普及。
在最近舉行的 Next ’26 大會上,谷歌進一步將 Iceberg 的互操作能力擴展到跨云 Lakehouse 場景,支持在 AWS、Azure、Databricks 以及 Snowflake 之間查詢 Iceberg Catalog,并擴展到 AI 工作流。根據谷歌的說法,其整體目標是讓企業能夠以開放格式存儲數據,同時使用不同的數據處理與分析工具操作同一數據集。
谷歌認為,許多使用 Apache Iceberg 的團隊,相比完全托管的數據平臺,依然面臨更高的成本與運維復雜度,尤其是在流式數據處理、復制管道以及多工具治理方面。
為了解決這些問題,谷歌正在將 BigQuery 的底層基礎設施擴展到對 Iceberg 表的原生支持,包括托管元數據、自動表維護、事務處理以及變更數據復制(CDC)。Zhovtobryukh 與 Soares 補充道:
此前,在構建 Lakehouse 時,客戶通常需要根據主要 ETL 引擎,在 Google 托管的 Iceberg REST Catalog 表與 BigQuery 托管表之間做出選擇。這意味著,如果客戶依賴 Apache Spark 對 Iceberg REST Catalog 表執行 ETL,就無法通過 BigQuery 寫入這些表,也無法使用 BigQuery 的存儲管理能力。
此次預覽還引入了集中式表訪問控制,使權限能夠在不同查詢引擎之間保持一致管理。隨著最新功能發布,谷歌云現在已經支持跨 AWS 與 Azure 查詢 Iceberg 數據,并能夠與 Databricks、Snowflake 等外部平臺互操作,同時還支持非結構化數據與 AI 工作流的整合。
BigQuery ObjectRefs 現已正式可用,允許團隊將結構化 Iceberg 數據與存儲在 Cloud Storage 中的非結構化文件結合起來,用于多模態分析與 AI 工作流。此外,目前仍處于預覽階段的治理層 Knowledge Catalog(原 Dataplex),還可統一管理跨系統的元數據、數據血緣以及訪問控制。
業內實踐者認為,這種集成有望消除企業采用 Iceberg 時的“隱性成本”。David Colbert 評論稱:
團隊往往會被 Iceberg 或 Delta 的能力所吸引,但很快就會在 compaction、元數據管理以及編排方面遭遇阻力。Catalog 才是真正關鍵的部分。開放格式解決的是存儲可移植性問題,而控制平面的選擇則決定了長期的可選性。
在回顧 Next ’26 上的相關發布時,Precious Pendo 寫道:
谷歌正在押注:企業 AI 的價值最終將歸屬于那些掌握數據推理層的人,而不僅僅是掌握存儲層的人。AWS 和 Azure 向你收取的是計算與存儲費用,而谷歌想向你出售的是上下文與智能能力。
谷歌云并不是唯一聚焦 Iceberg 工作負載的云廠商。AWS 的 EMR、Glue、Athena 與 Redshift 等 分析服務,也都已提供對 Iceberg 的原生支持。
在討論 Apache Iceberg 如何改變現代數據湖 時,Red Oak Strategic 云工程師 Shashank Muthuraj 寫道:
Apache Iceberg 在不到七年的時間里,就從 Netflix 的一個工程項目發展成為開放式數據 Lakehouse 架構的事實標準。它的技術優勢——ACID 事務、隱藏分區、時間旅行以及引擎無關性——確實非常吸引人,但真正值得關注的是整個行業前所未有的一致性支持。
目前,BigQuery 對托管 Iceberg 表的核心支持已經正式可用;而在 Iceberg Summit 2026 上公布的更廣泛開放互操作能力與 REST Catalog 功能,則仍處于預覽階段。
Google Cloud Introduces Cross-Engine Iceberg Support in BigQuery - InfoQ(https://www.infoq.com/news/2026/05/google-cross-engine-iceberg/)
聲明:本文由 InfoQ 翻譯,未經許可禁止轉載。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.