![]()
整理 | 鄭麗媛
出品 | CSDN(ID:CSDNnews)
在 Windows PC 陣營里,觸摸屏早已不是新鮮事,但蘋果卻始終堅持“不做”。哪怕 iPad、iPhone 早已把觸控體驗做到極致,MacBook 依舊停留在“鍵盤 + 觸控板”的交互范式。
2010 年,喬布斯曾在 MacBook Pro 發布會上指出,在筆記本電腦上裝觸摸屏“不符合人體工學”,“絕對行不通”;2012 年,剛繼任蘋果 CEO 的庫克也嘲笑過微軟 Surface 就像是“把烤面包機和冰箱合二為一”。
然而,一位名叫 Anish Athalye 的開發者和他的幾位伙伴,卻做了一件很“離譜”的事:
他們沒有改系統、也沒有改硬件結構,只用了 1美元(約合人民幣6.9元)成本 +1個小鏡子,就把 MacBook 變成了一臺“觸摸屏電腦”——甚至,他們只花了 16個小時就做出了可用原型。
Anish Athalye把這個項目命名為:Project Sistine(西斯廷計劃)。這個名字并不是隨便起的,“Sistine”來源于著名的西斯廷教堂壁畫——米開朗基羅那幅經典的《創世紀》中,上帝與亞當手指幾乎相觸的畫面。
![]()
這個項目的核心,也正是圍繞“手指是否觸碰”的判斷而展開。
![]()
一個初中生的觀察,埋下了這個項目的種子
這個項目的靈感并不是憑空產生的。
早在團隊成員 Kevin 讀初中的時候,他就注意到一個很日常卻容易被忽略的現象:當你從一個傾斜角度看屏幕時,表面會呈現出類似鏡面的反光效果;當手指靠近屏幕時,你可以同時看到手指本身以及它在屏幕上的“反射”。
![]()
于是一個關鍵問題出現了:如果我們能判斷“手指是否碰到了自己的反射”,是不是就能知道它有沒有觸摸屏幕?
當年,Kevin 就基于這個思路,做過一個叫 ShinyTouch 的項目——通過外接攝像頭,實現一個幾乎無需配置的觸控系統。而這一次,Anish Athalye 團隊想做得更極致:
把整個方案“壓縮”進 MacBook 本身,不依賴任何外部設備。
![]()
1 美元硬件:一個鏡子解決一切
基本上,他們的設計方案可以用一句話概括:讓 MacBook 的自帶攝像頭“看到”屏幕。
但問題在于,筆記本攝像頭默認是朝向用戶的,而不是朝向屏幕。于是,他們用了一個極其簡單但巧妙的方法:在攝像頭前加一塊小鏡子,把攝像頭視角“折射”到屏幕上。這樣一來,攝像頭就可以“俯視”屏幕,同時捕捉手指和反射,而不需要任何額外攝像頭。
整個硬件結構簡單到離譜:小鏡子、硬紙板、門鉸鏈和熱熔膠,成本幾乎可以忽略不計。
經過幾輪調整,他們做出了一個可以在幾分鐘內組裝完成的小裝置:一個“掛”在攝像頭上的微型反射結構——這就是整個系統的全部硬件基礎。
![]()
![]()
不靠 AI,只用經典 CV:識別“手指+反射”
相比硬件的簡單,這個項目真正的核心在于軟件。他們并沒有使用深度學習模型,而是完全基于傳統的計算機視覺(Computer Vision),構建了一條清晰的處理流程。
首先,系統會對攝像頭畫面進行處理。通過膚色過濾和二值化,提取出可能是手指的區域;然后在圖像中尋找輪廓,篩選出兩個重要信息:一個是手指本體,一個是它在屏幕上的反射。
接下來,系統會做一個非常關鍵的判斷:這兩個輪廓是否在水平方向上有重疊,并且“上小下大”——上面的是手指,下面是手指的反射。
一旦找到這兩個輪廓,就可以計算觸點位置:取“手指底部”和“反射頂部”之間連線的中點,作為觸摸點。理論上,根據兩個輪廓之間的垂直距離,可以區分兩種狀態:
●如果距離很小 → 手指已經接觸屏幕
●如果距離較大 → 手指只是懸停
處理后的效果如下:綠色:手指 + 反射輪廓;紅色:邊界框;紫色:觸摸點。
![]()
![]()
坐標映射:從攝像頭到屏幕
識別出觸點之后,還有最后一個關鍵問題:這個點,怎么對應到屏幕坐標?
畢竟攝像頭看到的是一個傾斜視角,與屏幕的坐標系是完全不同的。為了解決這個問題,他們引入了一個經典的計算機視覺方法——單應性變換(Homography)。簡單來說,就是一個投影變換矩陣,可以把攝像頭視角下的點映射到屏幕坐標系。
為了計算這個變換矩陣,Anish Athalye 他們設計了一個交互式校準流程:
(1)屏幕上會出現一個移動的綠色點,用戶需要用手指去點擊它;
(2)系統會記錄攝像頭檢測到的觸點位置,以及屏幕上的真實位置。
收集到足夠多的數據之后,使用 RANSAC 算法進行魯棒估計,就可以得到一個穩定的映射關系。這樣校準完成后——攝像頭中的任意觸點,都可以被準確映射到屏幕坐標。
上面這個視頻展示了校準過程:用戶需要跟隨屏幕上的綠點移動手指。畫面疊加了攝像頭實時視頻與調試信息,攝像頭坐標系下的觸摸點以紅色顯示。校準完成后,投影矩陣會用紅線可視化,軟件隨后切換到正式模式,估算出的觸摸點以藍點顯示。
除此之外,在當前原型中,Anish Athalye 團隊是直接把“觸摸 / 懸停”轉成鼠標事件的——也就是說,所有現有軟件均無需適配,立刻就能變成“觸控應用”。而 Anish Athalye 也補充道,如果進一步開發專門的觸控應用,還可以利用更多數據,比如懸停高度、手勢軌跡和多點交互等。
(項目原型成果展示)
![]()
一個玩具,還是一個方向?
從嚴格意義上說,目前 Project Sistine 只是一個概念驗證(PoC)。
根據 Anish Athalye 的說法,它仍然有不少限制:
● 攝像頭分辨率較低(僅 480p);
● 可視范圍有限,無法覆蓋整個屏幕;
● 對光線、膚色可能也有一定依賴。
但至少,它已經證明了一個可行性方案:僅用 1 美元硬件,就能把筆記本變成觸摸屏——作為原型來說,其表現已經相當不錯。要是能夠提升攝像頭分辨率或使用曲面鏡擴大視野,Project Sistine 完全有可能成為一套實用的低成本觸摸屏改造方案。
不過,如果想要 Mac 有更好的觸摸屏體驗,或許也可以等一等:據知名分析師郭明錤、彭博社等多方媒體爆料,今年蘋果很可能要打破自喬布斯時代延續 16 年的“筆記本無需觸控”理念了——有消息稱,蘋果將在2026年底推出首款配備觸摸屏的MacBook Pro機型。
最后,Project Sistine 已開源并采用 MIT 許可證發布,感興趣的開發者可前往查看:https://github.com/bijection/sistine。
參考鏈接:https://anishathalye.com/macbook-touchscreen/
【活動分享】"48 小時,與 50+ 位大廠技術決策者,共探 AI 落地真路徑。"由 CSDN&奇點智能研究院聯合舉辦的「全球機器學習技術大會」正式升級為「奇點智能技術大會」。2026 奇點智能技術大會將于 4 月 17-18 日在上海環球港凱悅酒店正式召開,大會聚焦大模型技術演進、智能體系統工程、OpenClaw 生態實踐及 AI 行業落地等十二大專題板塊,特邀來自BAT、京東、微軟、小紅書、美團等頭部企業的 50+ 位技術決策者分享實戰案例。旨在幫助技術管理者與一線 AI 落地人員規避選型風險、降低試錯成本、獲取可復用的工程方法論,真正實現 AI 技術的規模化落地與商業價值轉化。這不僅是一場技術的盛宴,更是決策者把握 2026 AI 拐點的戰略機會。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.