網易首頁 > 網易號 > 正文 申請入駐

當AI Agent遇上消息“煙囪”:要么融合,要么掉隊!

0
分享至


想象這樣一個場景:
你的IoT設備用MQTT說話,你的微服務用Kafka聽令,你的任務調度依賴RabbitMQ。它們各司其職,仿佛一個三權分立的數字王國。

但問題是,一旦數據需要跨越這些系統流動,噩夢就開始了:
設備上報的數據要進入分析管道,業務告警要觸達千萬設備,AI Agent 還要同時感知和決策,以至于這些“語言不通”的系統之間,只能靠一層層脆弱的橋接程序來勉強溝通。

于是,工程團隊的時間不再花在業務創新上,而是在為這些“翻譯官”的故障、延遲和運維問題疲于奔命。

可以斷言,這不僅是技術架構的煙囪化,更是企業效率與成本的黑洞。
那么,當大模型和AI Agent正在涌入這個復雜體系時,一個問題變得愈發迫切:

下一代消息基礎設施,究竟應該是什么樣子?

而這,正是 EMQ 映云科技即將給出的答案。(文末有驚喜哦)


消息系統煙囪化

當我們回顧大多數企業的消息基礎設施演進歷程,大概率會看到一個熟悉的模式:

  • 需要接入 IoT 設備,增加了 MQTT Broker——因為 MQTT 是 IoT 領域的事實標準,輕量、省電、支持海量長連接。

  • 需要構建事件流與日志管道,增加了 Kafka——因為 Kafka 的分區模型和持久化能力是大規模流處理的最佳選擇。

  • 需要做業務異步與任務分發,增加了 RabbitMQ——因為 AMQP 協議的靈活路由和消息確認機制天然適合工作隊列場景。

這些選擇在做出的時候都是合理的。不同場景、不同時期、不同團隊,基于各自的需求做出了各自最優的技術選型。

問題在于:隨著業務規模增長和系統復雜度上升,這些「各自最優」的選擇疊加在一起,逐漸演變成了一座座技術煙囪——各團隊自建、各自運維、各自監控、各自一套權限體系

煙囪化帶來的四重痛點

當消息系統煙囪化成為既成事實,一系列深層問題開始浮現。

數據孤島,跨系統互通困難

不同消息系統之間難以互通,跨系統的數據打通往往依賴復雜的配置和脆弱的同步管道。

最典型的場景:IoT 設備通過 MQTT 上報遙測數據,數據分析團隊需要用 Kafka 消費這些數據做分析處理。中間怎么辦?寫一個橋接程序,從 MQTT Broker 訂閱消息,轉發到 Kafka Topic。反過來,如果 Kafka 側產生了告警需要推送到設備端,又得再建一條反向鏈路。

每一條橋接鏈路都是一個需要開發、測試、部署、監控、維護的程序。它們不創造業務價值,卻往往是很多問題之源,消耗著工程團隊大量的時間和精力。

成本飆升

多套消息系統意味著多套集群、多套存儲、多倍跨可用區流量。

每套系統都需要獨立做高可用部署,都需要獨立的容量預留。尤其是 Kafka 這樣基于分區副本的系統,在多可用區部署場景下,跨 AZ 的數據復制流量本身就是一筆可觀的開支。再加上為應對流量尖峰預留的冗余容量,實際的資源利用率往往遠低于理想水平。

三套系統的成本,絕不只是一套系統的三倍——因為每增加一套系統,還會帶來額外的網絡互聯、數據同步和運維人力成本。

交付速度變慢

當一個新業務需要使用消息能力時,它面臨的不僅僅是「調一個 API」這么簡單。

它需要先完成技術選型(用哪套消息系統?),然后打通網絡、申請權限、配置監控告警,最后才能開始寫業務代碼。如果涉及跨系統數據消費,還要加上橋接程序的開發與聯調時間。

「發送和接收消息」這件本應簡單的事情,被基礎設施的復雜度嚴重拖慢。

可靠性風險增大

系統越多,故障域越多。鏈路越長,排障越難。

橋接程序和同步任務本身就是脆弱的環節——它們通常不像核心消息系統那樣有經過詳盡測試的高可用保證,卻承載著關鍵的數據流轉。一旦橋接程序出現延遲或故障,上下游系統都會受到影響,而排查問題時要在多套系統之間來回切換,定位根因的成本極高。

行業趨勢:從「專用系統」到「融合平臺」

消息系統正在經歷的變化,并不是孤例。回顧其它基礎設施領域的演進,我們會發現一個共同的規律:從專用到融合統一,是基礎設施成熟化的必然方向

  • 數據庫領域從早期的 OLTP 和 OLAP 嚴格分離,到 HTAP(混合事務與分析處理)數據庫的興起,一套系統同時承載事務處理和分析查詢已經成為可能。

  • 可觀測性領域從日志系統(ELK)、指標系統(Prometheus)、鏈路追蹤(Jaeger)各自獨立,到統一可觀測性平臺將三者整合,一套平臺覆蓋所有可觀測性需求正在成為主流。

  • AI 領域早期的文本、圖像、語音模型各自獨立發展,而如今前沿的基礎模型已經走向多模態融合,一個模型同時具備文本、圖像、視頻、音頻的理解與生成能力。

消息系統也在經歷同樣的演進:從 MQTT、Kafka、RabbitMQ 等多種專用系統共存,走向一個融合平臺統一承載多種消息范式。

融合消息平臺應該長什么樣?

如果我們從第一性原理出發,重新設計一個面向當下和未來的消息平臺,它應該具備哪些關鍵特質?

它不僅要解決已有的 IoT、微服務、事件流等需求,還要能夠自然地接納 AI Agent 這類新型參與者。AI Agent 需要實時訂閱設備和業務數據來感知環境、做出決策,也需要將指令和結果投遞到設備和下游系統。如果為此再引入一套新的消息系統,只會讓煙囪化問題雪上加霜。這進一步要求消息平臺具備統一的多模型、多協議能力。

多模消息引擎:一套系統,多種范式

統一平臺的核心前提是在一個系統內同時支持多種消息范式,例如:

  • Pub/Sub:多訂閱者廣播,實時分發,適合實時通知、事件廣播等場景。

  • Stream:事件流與日志管道,支持持久化存儲與回放消費,適合數據管道、審計日志、事件溯源。

  • Queue:競爭消費,支持 ACK、重試與死信隊列,適合任務分發、削峰填谷。

更重要的是,平臺的消息引擎應該是可擴展的——隨著業務場景的演進和 AI 等新需求的出現,能夠靈活引入新的消息范式,而不是固定在幾種模型上。

要實現這種多模型與可擴展性,協議與消息模型必須解耦。用戶可以用自己熟悉的協議接入(無論是 MQTT、Kafka 還是 AMQP),平臺內部按業務語義選擇最合適的消息模型。同一套治理能力——權限、配額、監控、審計——覆蓋所有模式。

原生跨模型/協議互通

在當前的多系統架構下,要讓 MQTT 的數據流入 Kafka,或者讓 Kafka 的事件推送到 MQTT 設備,往往需要部署專門的橋接程序或同步管道,配置復雜、鏈路脆弱。

統一消息平臺應該從根本上消除這種割裂:不同協議接入的消息,天然就能互通。MQTT 設備發布的數據,Kafka Consumer 可以直接消費;Kafka 寫入的告警,MQTT 訂閱者可以實時接收;AI Agent 可以直接訂閱設備數據流進行實時分析,并將決策結果推送到業務系統——無需橋接程序,無需同步任務,無需額外配置。

云原生彈性架構

傳統消息系統大多采用有狀態分區架構,擴容或節點故障恢復時往往需要經歷漫長的分區再平衡(Rebalance),運維復雜度高,故障恢復不可預測。

面向云原生時代的統一消息平臺,計算層與存儲層應該徹底分離、獨立擴縮容。計算節點應該是無狀態的,可以隨時增減和替換,做到秒級彈性伸縮和快速自愈,不再受限于分區遷移和數據再平衡。

基于對象存儲的低成本持久化

傳統消息系統通常依賴本地磁盤或塊存儲做消息持久化,容量需要提前規劃,單價較高,長期保留和歷史回放的成本壓力尤為突出。

隨著對象存儲技術的成熟和成本的持續下降,消息持久化應該轉向對象存儲。對象存儲容量按需擴展、單價遠低于塊存儲,天然適合消息數據的長期保留與歷史回放,能夠大幅降低存儲成本。

原生多租戶

企業級消息平臺通常需要服務多個團隊和業務線。多租戶能力應該是平臺的內建特性,而非事后附加——每個租戶擁有獨立的資源空間、訪問控制和配額管理。平臺團隊統一治理,業務團隊按需自助使用,既保證安全隔離,又降低使用門檻。

隨著 AI Agent 大規模涌現,未來消息系統的使用者將不僅僅是當前的人和應用,還有大量自主運行的 Agent,這讓多租戶隔離與治理能力變得尤為重要。

融合之后,能帶來什么?

當消息基礎設施從多套技術煙囪整合為一個統一平臺,企業將在四個維度獲得顯著收益。

  • 更低的 TCO:降本來自三個方面的協同——彈性架構減少容量預留(架構降本);低成本存儲降低持久化開支(存儲降本);一套平臺替代多套集群,統一治理(運維降本)。

  • 更簡單的架構:一套平臺覆蓋 Pub/Sub、Queue、Stream 等多種消息需求。團隊用熟悉的協議接入,跨協議互通無需膠水代碼和橋接程序。新業務對接消息能力的路徑從「選型 - 打通 - 運維」縮短為「接入即用」。

  • 更強的彈性與可靠性:云原生架構帶來秒級擴縮容能力,節點故障快速自愈,故障恢復路徑更短、更可預測。

  • 打破數據孤島IoT 數據可以直接進入事件流處理管道,不再需要中間的搬運環節。業務事件可以被分析系統、告警系統、審計系統直接訂閱消費。跨系統集成從「搬運數據」變為「直接訂閱」。

消息基礎設施的下一個十年

隨著 IoT、微服務、實時數據處理等場景的爆發,以及 AI Agent 作為新一類消息參與者的快速崛起,企業對消息系統的依賴越來越深,場景越來越多樣。而在這個過程中,我們也積累了大量的技術債——多套系統并存、數據孤島林立、運維成本居高不下。

好消息是,云原生架構的成熟、存儲技術的演進、以及行業對平臺化治理的共識,讓統一消息平臺從愿景變為現實。消息基礎設施正在迎來一次范式躍遷:從「多套工具各司其職」走向「一個平臺統一承載」。

這不僅僅是技術架構的演進,更是企業數據流通與智能化能力的質變——讓團隊把時間用在業務創新上,而不是「打通消息系統」上;讓 AI Agent 能夠直接接入統一的數據流,實時感知、自主決策、即時行動。

3 月 20 日,見證一次關鍵發布

如果說過去十年,消息系統解決的是「連接萬物」的問題;那么下一個十年,真正的挑戰是:如何在一個融合的平臺上,讓萬物、應用與 AI 協同流動。

我們在前文討論的多模消息引擎、原生跨協議互通、云原生彈性架構、對象存儲持久化以及多租戶治理,并不是停留在概念層面的架構設想,而是一套已經完整落地、面向未來十年的消息平臺能力。

3 月 20 日,在杭州舉辦的 EMQ Tech Day 上,我們將首次對外完整展示這一全新消息平臺的設計理念、核心架構與關鍵能力。如果你正在面臨多套消息系統并存的復雜架構,如果你正在為跨協議數據流轉和橋接鏈路所困擾,或者你正在思考如何讓 AI 能力更自然地融入實時數據體系,這場活動值得你到場參與。

融合消息平臺的時代,正在開啟。

歡迎報名,掃描下面二維碼,與我們一起,見證消息基礎設施的下一次躍遷。

完整嘉賓陣容與最新議程:

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
廣場舞噪音亂入!深圳一演唱會現場遭觀眾吐槽,官方回應

廣場舞噪音亂入!深圳一演唱會現場遭觀眾吐槽,官方回應

南方都市報
2026-04-25 15:33:03
特朗普吹大了,中國說到做到,一塊H200芯片都不買,美國開始急了

特朗普吹大了,中國說到做到,一塊H200芯片都不買,美國開始急了

普陀動物世界
2026-04-25 17:13:08
老外震驚!中國饅頭橫掃歐美!不是文化輸出,是中國供應鏈贏麻了

老外震驚!中國饅頭橫掃歐美!不是文化輸出,是中國供應鏈贏麻了

魔都姐姐雜談
2026-04-24 11:56:08
上海人終于體會到了引進印度人的“快樂”!

上海人終于體會到了引進印度人的“快樂”!

步論天下事
2026-04-25 09:34:47
成都一小區凌晨失火5死2傷,居民稱多層樓外墻被熏黑,社區已安置起火樓棟居民

成都一小區凌晨失火5死2傷,居民稱多層樓外墻被熏黑,社區已安置起火樓棟居民

極目新聞
2026-04-25 13:22:54
女子撿到手機解不開密碼丟草叢,導致徹底無法找回!失主是高三體育生,稱訓練被耽誤、體考被迫改期,法院:賠6000元

女子撿到手機解不開密碼丟草叢,導致徹底無法找回!失主是高三體育生,稱訓練被耽誤、體考被迫改期,法院:賠6000元

大風新聞
2026-04-25 16:47:10
四川省第一大鎮,沒有爭議

四川省第一大鎮,沒有爭議

石辰搞笑日常
2026-04-24 13:27:13
泡泡瑪特:4月30日發售兩款Labubu冰箱,售價5999元,每款全球限量發售999臺

泡泡瑪特:4月30日發售兩款Labubu冰箱,售價5999元,每款全球限量發售999臺

魯中晨報
2026-04-24 20:08:07
男子曬五世同堂合照,本想羨煞旁人,可網友都在同情站著的那個人

男子曬五世同堂合照,本想羨煞旁人,可網友都在同情站著的那個人

譚談社會
2026-04-25 01:57:58
快訊!特朗普提出組建五國集團!

快訊!特朗普提出組建五國集團!

達文西看世界
2026-04-25 11:34:00
虎狼之詞啊!一公共女廁提示走紅網絡,“屙尿時對準坑位”引熱議

虎狼之詞啊!一公共女廁提示走紅網絡,“屙尿時對準坑位”引熱議

火山詩話
2026-04-25 06:12:02
張軍失聯前的荒誕細節:老婆去要人

張軍失聯前的荒誕細節:老婆去要人

魯八兩
2026-04-25 14:43:09
為什么你的電量焦慮出國就消失?

為什么你的電量焦慮出國就消失?

晚風也遺憾
2026-04-24 09:04:51
快訊!賴辦“資政”謝長廷表態了!

快訊!賴辦“資政”謝長廷表態了!

達文西看世界
2026-04-25 14:46:29
烏度卡談最后崩盤:我不知道他們是太年輕,還是懼怕關鍵時刻

烏度卡談最后崩盤:我不知道他們是太年輕,還是懼怕關鍵時刻

懂球帝
2026-04-25 12:18:07
張軍被帶走傳聞多日,多種跡象表明情況嚴重,任職高校撤掉其信息

張軍被帶走傳聞多日,多種跡象表明情況嚴重,任職高校撤掉其信息

米修體育
2026-04-25 09:38:35
破中國球員8年季后賽數據荒!楊瀚森37秒1籃板 兩場季后賽仍0分

破中國球員8年季后賽數據荒!楊瀚森37秒1籃板 兩場季后賽仍0分

醉臥浮生
2026-04-25 13:30:20
48小時內,美日都打算派高層訪華,特朗普說:我不生中國氣

48小時內,美日都打算派高層訪華,特朗普說:我不生中國氣

一口娛樂
2026-04-25 17:37:52
千島湖又面臨兩大困難:鰱鳙放養60多年,“保水魚”保住了什么?

千島湖又面臨兩大困難:鰱鳙放養60多年,“保水魚”保住了什么?

花小貓的美食日常
2026-04-25 00:18:49
急得滿頭大汗的印度,終于買到了尿素,但是和他們想的大不一樣!

急得滿頭大汗的印度,終于買到了尿素,但是和他們想的大不一樣!

達文西看世界
2026-04-25 11:40:56
2026-04-25 18:20:49
首席信息官 incentive-icons
首席信息官
以數字化和商業創新為視角
516文章數 130關注度
往期回顧 全部

科技要聞

DeepSeek V4發布!黃仁勛預言的"災難"降臨

頭條要聞

伊朗最高領袖一條腿截肢面部嚴重燒傷 通信方式披露

頭條要聞

伊朗最高領袖一條腿截肢面部嚴重燒傷 通信方式披露

體育要聞

火箭0-3觸發百分百出局定律:本季加時賽9戰8敗

娛樂要聞

鄧超最大的幸運,就是遇見孫儷

財經要聞

90%訂單消失,中東旺季沒了

汽車要聞

2026款樂道L90亮相北京車展 樂道L80正式官宣

態度原創

旅游
親子
家居
公開課
軍事航空

旅游要聞

繁花未盡 音浪已起——新鄉何以常來常“新”?

親子要聞

孩子上幼兒園第一天又哭又鬧?幾個原因,家長提前了解

家居要聞

自然肌理 溫潤美學

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

美防長:戰事不會“沒完沒了”

無障礙瀏覽 進入關懷版