網易首頁 > 網易號 > 正文 申請入駐

為了讓你過上甩手不洗碗的日子,他和團隊正在教機器人彈鋼琴、敲架子鼓

0
分享至

如果你在宋偉面前吐槽,人類期待機器人可以掃地、洗碗、疊衣服,可它們偏偏在寫詩、畫畫、跳舞,他會笑著讓你再等等,心煩的話可以聽一聽由他組建的機器人樂隊的表演。

彈鋼琴、敲架子鼓、演奏揚琴……一個月前,這支名為“和璇”的樂隊在杭州西站完成了一場大秀,已經收到來自四面八方,包括人類樂隊的邀請。它們會的曲目也越來越多,從《歌唱祖國》到《滄海一聲笑》《青花瓷》《孤勇者》……

宋偉為那場表演打了“優秀”:“機器人的完成度很高,就是選曲、編排等有些難為我們這一幫工科直男了。”

這位浙江大學研究員,和云深處創始人朱秋國是本科同班同學,算是國內最早一批在人形機器人領域的拓荒者,而且選擇了一個頗為浪漫的切入口:彈鋼琴。

當然彈琴不僅是為了彈琴,而是讓機器人有個能不斷升級的復雜場景。就像宋偉本人,除了浙大老師的身份,還兼任浙江大學機器人研究院研究員、杭州海創人形機器人產業創新中心副主任、浙江省機器人產業發展協會秘書長……

出現在數貿會的宋偉和他的鋼琴機器人 攝影 韓丹

出道數月的和璇樂隊

一臺開了側蓋的電腦主機靜置在地,墻角放著一張單人折疊床;帶魚 屏 顯示器上,是一份未完成的PPT,求職簡歷和博士、碩士畢業論文整齊地摞在一旁;玻璃窗上貼著兩個透明掛鉤,外套和雙肩背包往那一掛,人便可轉身扎進代碼與算法的世界。

走進宋偉的辦公室,一眼就能看出他多個身份。

這里是位于浙江大學校友企業總部經濟園的浙大機器人研究院,也是杭州海創人形機器人產業創新中心所在地。后者是去年8月,浙大與余杭區政府合作共建的重大科創平臺,由浙大原黨委副書記、機器人研究院院長朱世強擔任主任。

他也是宋偉求學以及職業生涯非常重要的導師。

約到這次采訪并不太容易。宋偉太忙了:技術研發、團隊管理、訪客接待、宣傳推廣……

這個團隊眼下最亮眼的成果之一是“和璇樂隊”,從鋼琴、揚琴、架子鼓,到訓練中的吹管、無弦吉他等,“技能樹”正在不斷點亮。

攝影 韓丹

和人一樣,鋼琴機器 人 左右“手”各有五根“手指”,可精準敲擊黑白鍵,且能較快 速 切換,“腳”還會隨著節奏輕踩踏板。

攝影 韓丹

再加上揚琴機器人和架子鼓機器人,和璇樂隊已“出道”數月,在各大科技展館、社區和商場完成了幾十場演出。它們不會搶拍,也不會彈錯音符,儼然是訓練有素的“樂手”。

機器人與人類彈奏仍有本質區別。現階段,機器人靠的是靈巧手與機械臂的精密配合。人類為它預設程序、導入樂譜,再通過曲譜解析算法、運動控制算法,將每一個音符轉化為精準的指法動作。

換句話說,機器人們還做不到實時響應、即興發揮,每一次登臺,背后是機器人在數字空間的仿真模擬與動作迭代。

彈鋼琴是為了更好地洗碗?

讓機器 人彈 琴這件事,人類已經認真研發了好久。2017年,一臺名為Arpeggio的鋼琴機器人面世。它擁有夸張的88根“手指”,可以精準控制256種踏板和1000 多種 琴鍵。只要提前編程設置好,無論是哪一首名曲,難度有多高,都可以信手拈來。

但如果把“手指”縮減到跟人一樣的數量,機器人還能那么從容嗎?這是擺在宋偉他們面前的一道難題。

對于為什么要做彈琴機器人,宋偉團隊有著清晰的認知。首先,相比讓機器人倒杯水,音樂演奏是一個復雜的場景,而且考驗的是“雙手”能力。其次,像倒水這件事,只是讓機器人關注東西在哪里,更多考驗的是視覺捕捉能力。

“但彈琴是有節拍概念的,你既要在這一時刻找對位置,又要注意下一步怎么彈。這就是前瞻性。它在時序上就比倒水更復雜。”宋偉表示, 另外 彈琴考驗的不僅是手,還有手臂的協同,需要機器人在演奏時身體各部位和人一樣保持和諧。

和人類學琴有考級一樣,隨著演奏曲目難度的增加,對機器人的考驗也越來越大。目前,宋偉和團隊以演奏技巧、可演奏曲目的復雜程度,來 為 機器人演奏水平進行評級。這些指標都可轉化為對手指跨度、移動速度等手臂能力的量化目標。

“隨著演奏等級的提升,手和臂的智能化也在進步,技術方案由此實現持續迭代。”而當這些技術打磨成熟后,再讓機器人做一些掃地、洗碗、疊衣服之類相對簡單的事就屬于“降維打擊”。

因此,在真正進入家庭前,機器人需要一個高精度、高復雜度的“訓練場”。彈鋼琴恰好提供了這一切。

當然,文化娛樂也是宋偉眼中當前技術最能支撐、也最容易落地的場景,“組建機器人樂隊,通過演出和機器人售賣,就能反哺研發投入,形成商業閉環。

來自浙大的技術基因

“從技術的視角來看,僅去年到今年,人形機器人在運動控制方面的突破,可能已經超越過去20年的總和。”談及近幾年技術的飛躍,宋偉的語氣中流露出些許感慨。

他與機器人的故事,開始于22年前。

2003年,宋偉從山東考入浙江大學。“男生嘛,都差不多,從小愛看機甲動畫片,對機器人有發自內心的熱愛。”他笑著回憶,“所以就報考了機械電子工程專業。”他的同班同學中,就有后來創辦云深處科技的朱秋國。宋偉辦公室的小圓桌上,剛好還放著朱秋國最近贈送的《智能四足機器人Lite3 實訓案例集》簽名本。

此后,兩人都選擇留校深造。宋偉進入流體動力與機電系統國家重點實驗室攻讀博士,朱秋國則進入控制科學與工程學院師從 褚健 和熊蓉教授。

彼時,機器人研究的火種已開始在浙大校園里播撒,如今開枝散葉、星火燎原。除了宋偉、朱秋國,還有熊蓉教授和寧波市政府共建的浙江人形機器人創新中心、王宏濤教授的鏡識科技、王酉副教授的邏騰科技……這些帶著浙 大師 生基因的創新力量,正在機器人領域的不同賽道探索前行。

早些年,宋偉的研究聚焦于特種作業機器人,例如無人自主爬壁機器人和深水軟體作業機器人,“看似領域不同,但底層技術其實是相通的。”直到2017年,新型研發機構之江實驗室成立,讓他有機會成為國內人形機器人拓荒者里的一員。

攝影 韓丹

浙江的機器人產業鏈非常完整

2018年,之江實驗室智能機器人研究中心機器人中心掛牌運行。在制定研究方向時,當時的核心團隊達成高度共識:要做“有顯示度、代表未來,并能牽引產業”的研究。這一理念,最終指向了人形機器人。

與如今海創創新中心以產業化為核心不同,當時他們選擇以人形機器人這一終極形態,反向牽引關鍵技術攻堅,“人形機器人幾乎融合了所有形態機器人的共性核心技術”。

2021年左右,宋偉帶領團隊開始嘗試將大模型技術用于機器人的自主決策,但“當時還非常不好用”。

他還曾與群核科技創始人陳航多次交流,一方擁有豐富的家用場景數據資源,一方具備機器人全鏈條技術,本想著合作構建家庭場景的機器人虛擬訓練平臺,卻因種種原因未能如愿推進。4年后,就在今年8月,群核科技發布空間大模型,做成了兩人當初設想的事,也算是“念念不忘,必有回響”。

也是在那個時期,宋偉開始深入思考:機器人的“手”和“臂”,該如何融入現實生活的場景?“其實倒水這樣的任務,我們在2020年就已完成。”后來團隊里一位95后姑娘鐘靈提出一個想法——她從小練琴,大家一拍即合:就是彈鋼琴了。

隨著去年杭州海創人形機器人創新中心正式成立,宋偉組建起和璇機器人樂隊。

宋偉(右二)和團隊部分成員 攝影 韓丹

實際上,無論是2018年還是2024年,幫助宋偉他們將研究落地的,是浙江高度發達的機器人產業鏈。

“硬件方面,能夠實現規模化量產和精密制造,傳動、電機等核心部件一應俱全;軟件算法方面,也有來自互聯網大廠培養的大量優秀工程師。”從2018年至今,宋偉團隊的每個硬件需求都能受到產業鏈上企業的“關注”,“大家一起攻克難題,尋找比較好的解決方案,推動行業的發展。”

要做有市場買單的機器人產品

除了音樂演奏機器人,海創創新中心的第二個方向,是家庭陪伴機器人。

在宋 偉 辦公室外,十幾個年輕人正在埋頭工作:外觀設計、結構工程、運動控制、軟硬件開發……他們都是“胖達”項目組成員。這個項目負責人謝安桓研究員,也是宋偉的同班同學。

這是一款毛茸茸、憨態可掬的熊貓機器人。它依托多模態感知和交互系統,結合情感計算引擎和大模型的理解與決策能力,能實現自主識別、自主決策,甚至自主“成長”等智能 體 能力,目標是真正成為家庭的一員。

目前,這款機器人主要面向兒童,但相關技術正同步延伸至養老場景。9月,由海創創新中心牽頭的“智能情感陪護機器人”,成功入圍 工信部 與民政部的“智能養老服務機器人 結隊 攻關與場景試點項目”。

而團隊的第三個方向,是將機器人技術深度融合進傳統工業,與產業龍頭企業合作,在細分場景中推進人工替代。“例如與諾力股份共建‘具身智能機器人聯合實驗室’,研發化工采樣機器人,實現化工廠危化場景的無人自主采樣。”

但無論是哪個方向,宋偉一直堅持產品要有市場來買單,“早年做研發可以不那么考慮成本,現在需要充分考慮市場的接受程度。”

“一臺電機,進口的和國產的價格相差很多,能不能用性能稍遜的國產電機再搭配改良的算法,實現對進口電機的大部分替代?”宋偉說自己經常會給團隊出類似難題,為的就是讓機器人首先在價格上沒那么“高不可攀”,有了落地才能不斷積累數據,快速迭代。

錯過這個風口要再等20年

在音樂演奏機器人研發的道路上,宋偉為團隊勾勒出更富挑戰性的新目標:持續增強表現力與智能水平。新開發的機械臂演奏能力更強、也更靈活,“外觀還會繼續打磨,加入肢體動作。接下來還會引入AI技術,先實現人機交互,再讓AI生成曲譜,曲庫與動作已經打通。一旦AI能夠寫歌,真正的交互性體驗就會實現。”

“目前算法其實是跑在硬件前面。仿真系統里可以實現的演奏動作,但現實是有時硬件的性能與可靠性還不夠。”團隊只能在算法上找補,同時自主研發高性能關節。

攝影 韓丹

眼下,機器人樂隊學會一首新曲需要多久?

答案是一天左右。為什么不是半小時、十分鐘?“還是硬件問題,性能沒跟上。”

回想起8月在杭州西站辦的那場“機器人夢想之夜”音樂會,宋偉語氣中透著自豪。長達兩小時的演出,有機器人樂隊獨奏,也有人機協作環節,很大程度上依賴于高精度的程序控制,他認為團隊完成得“非常出色”。“當機器人與竹笛演奏者合作《青城山下白素貞》,那種默契與氛圍呈現的最終效果,還是挺打動人的。”

在宋偉的設想中,機器人樂隊更可以成為人類音樂人的創作伙伴。當然,“硬件需要更穩定,算法也要更智能”。人類一個眼神,機器人就明白要彈什么;曲風驟變,它也能即刻跟上,這是他心中理想的協作狀態。

生活中的宋偉喜歡晨跑,常常在六七點出發。最近一次跑完,他發了條朋友圈:照片里是一人一狗散步的背影,配文寫道:“似乎看到了自己未來的老年生活。”

不過顯然,當下的他根本無暇考慮退休。就像他和團隊成員說的:“如果抓不住這次人形機器人的技術風口,也許就要再等20年。一旦抓住,一切都會迎來飛躍。”

文 | 童蔚 梁應杰


VIEW MORE

@時隔8年,又一位未來“預言家”來杭州開講 >>

@獨家對話螞蟻靈波科技CEO陶齋 >>

@他們做出了全球跑得最快的機器狗 >>

@ 杭州這個創業社區,專門孵化“一人公司”>>

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
場外收入頗豐,太陽報:帕爾默的個人公司總資產突破730萬鎊

場外收入頗豐,太陽報:帕爾默的個人公司總資產突破730萬鎊

懂球帝
2026-04-24 00:13:04
史上首次!特朗普請求伊朗:放過這8位女性,美4位前總統表態

史上首次!特朗普請求伊朗:放過這8位女性,美4位前總統表態

墨印齋
2026-04-23 16:24:19
駐日武官王慶簡:為日本潛伏20年出賣軍事機密,卻因一動作暴露身份

駐日武官王慶簡:為日本潛伏20年出賣軍事機密,卻因一動作暴露身份

睡前講故事
2026-02-03 20:55:43
“新型啃老”席卷全國:孩子不工作也不伸手要錢,3000塊能活1年

“新型啃老”席卷全國:孩子不工作也不伸手要錢,3000塊能活1年

米果說識
2026-04-22 14:47:52
四個省級政府領導班子調整,夏鳳儉晉升副部

四個省級政府領導班子調整,夏鳳儉晉升副部

上觀新聞
2026-04-23 16:09:06
投胎是門技術活!美國富婆希爾頓奢侈育兒,給兩幼子全身穿滿古馳

投胎是門技術活!美國富婆希爾頓奢侈育兒,給兩幼子全身穿滿古馳

世界王室那些事
2026-04-22 17:05:55
導彈直逼上海?中方忍無可忍,打出禁空令,覆蓋范圍超臺灣兩倍

導彈直逼上海?中方忍無可忍,打出禁空令,覆蓋范圍超臺灣兩倍

小楊侃事
2026-04-23 14:17:02
拜合拉木談安東尼奧:沒有他選我進國青,可能我還在內蒙踢

拜合拉木談安東尼奧:沒有他選我進國青,可能我還在內蒙踢

懂球帝
2026-04-23 23:24:51
教育部新規落地!9月上學全變了,家長趁早看

教育部新規落地!9月上學全變了,家長趁早看

笑熬漿糊111
2026-04-23 00:05:18
15歲少女凌晨過量飲藥,搶救無效身亡!事發深圳一酒吧,4人獲刑

15歲少女凌晨過量飲藥,搶救無效身亡!事發深圳一酒吧,4人獲刑

奇思妙想草葉君
2026-04-24 02:36:20
實拍體驗全新7系,這是寶馬史上最大規模的一次中期改款!

實拍體驗全新7系,這是寶馬史上最大規模的一次中期改款!

Sky車志
2026-04-23 10:08:05
斯諾克世錦賽現罕見失誤,羅伯遜算錯分認輸被罰250英鎊

斯諾克世錦賽現罕見失誤,羅伯遜算錯分認輸被罰250英鎊

懂球帝
2026-04-23 12:07:03
宇樹科技展示輪足人形機器人,可完成滑冰、前空翻等高難度動作

宇樹科技展示輪足人形機器人,可完成滑冰、前空翻等高難度動作

IT之家
2026-04-23 22:25:48
“公務員300萬立案,民企3萬立案”?這是誤導

“公務員300萬立案,民企3萬立案”?這是誤導

澎湃新聞
2026-04-23 12:36:26
美國終于明白,當年“誤炸”我國駐南斯拉夫使館,中國為何不反擊

美國終于明白,當年“誤炸”我國駐南斯拉夫使館,中國為何不反擊

阿校談史
2026-04-22 13:40:28
信任崩塌!馬斯克親口承認:400萬輛特斯拉無法實現無人駕駛!

信任崩塌!馬斯克親口承認:400萬輛特斯拉無法實現無人駕駛!

燦若銀爛
2026-04-23 19:23:14
繼德國之后,英國也開始貼出“中文標語”?中國游客:不能夠接受

繼德國之后,英國也開始貼出“中文標語”?中國游客:不能夠接受

潮鹿逐夢
2026-04-02 12:31:48
斯佳輝被9連鞭出局,暴露個人心態問題,趙心童的含金量還在上升

斯佳輝被9連鞭出局,暴露個人心態問題,趙心童的含金量還在上升

球場沒跑道
2026-04-23 22:48:19
信仰不是法外之地,全國開始雷霆出擊整頓寺廟

信仰不是法外之地,全國開始雷霆出擊整頓寺廟

世界圈
2026-04-17 08:50:05
醫生發現:老人若長時間不吃甜食,用不了多長時間身體有5大改善

醫生發現:老人若長時間不吃甜食,用不了多長時間身體有5大改善

芹姐說生活
2026-04-23 15:04:44
2026-04-24 03:11:00
九千光年 incentive-icons
九千光年
90后00后看世界探未來
1870文章數 5563關注度
往期回顧 全部

科技要聞

馬斯克喊出"史上最大產品",但量產難預測

頭條要聞

以色列:只要美國同意 將刺殺伊朗最高領袖

頭條要聞

以色列:只要美國同意 將刺殺伊朗最高領袖

體育要聞

給文班剃頭的馬刺DJ,成為NBA最佳第六人

娛樂要聞

王大陸因涉黑討債被判 女友也一同獲刑

財經要聞

普華永道賠償10億 恒大股東見到"回頭錢"

汽車要聞

預售30.29萬起 嵐圖泰山X8配896線激光雷達

態度原創

數碼
游戲
本地
藝術
公開課

數碼要聞

799元!小米推出米家無線吸塵器4C:170AW大吸力、75分鐘長續航

任天堂NS2銷量4倍碾壓PS5!差距懸殊 索尼難挽頹勢

本地新聞

SAGA GIRLS 2026女團選秀

藝術要聞

吉達塔蓋到第100層,“它是沙特唯一能按期完成的大項目”

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版