阿里國際重磅推出Ovis：免費開源，多模態能力再升級

阿里國際團隊最近發布的 多模態大模型 Ovis引起了科技圈的廣泛關注。

說得簡單點，Ovis不只是 懂得文字，它還能看圖、理解圖片、做數學推理，甚至處理手寫公式。這種“多才多藝”讓它不僅在學術領域風頭正勁，還在實際應用場景中迅速嶄露頭角。

Ovis已經在多模態技術評測平臺 OpenCompass上拿到了 綜合排名第一的成績。這個評測平臺堪稱多模態模型界的“奧斯卡”，Ovis能夠拔得頭籌，意味著它在圖像理解、文本生成、數學推理等多項任務中都達到了頂尖水平，甩開了其他同類模型好幾條街。

什么是 Ovis？

Ovis 是一種 多模態大模型，這意味著它可以 同時理解和處理來自多種不同形式的數據輸入，比如圖片、文字、數學公式等。

而市面上比較常見的 大語言模型（LLM），像ChatGPT、GPT-4，擅長的是處理和生成文本數據，特別是文字生成，但在處理圖片和非文本信息上并沒有太大優勢。

Ovis則不同，它不僅能處理文字，還可以解析圖像、識別手寫體、理解復雜的數學公式，甚至能自動生成菜譜或分析財務報告。簡單來說，Ovis就像一個能 同時處理視覺、語言和復雜任務的全能AI，不再局限于某一領域，而是真正能做到跨模態的理解和應用。

阿里這款 Ovis 多模態大模型的發布帶來了多項技術突破，特別是在視覺和文本的結合上。

舉個例子，Ovis 能識別手寫文案并進行精準的翻譯，無論字體如何復雜。

它還能處理復雜的數學公式，展現出強大的數學運算能力。

通過識別食物圖片，它能生成詳細的菜譜建議。

Ovis的技術亮點

0 1

可學習的視覺嵌入詞表

這是阿里首次在模型中引入的創新，通過將視覺特征轉化為視覺 token，能更好地在圖像和語言之間建立橋梁，解決了大部分多模態模型無法處理高精度圖像的問題。

0 2

動態子圖處理方案

支持極端長寬比和高分辨率圖像處理，在自動駕駛、醫療影像等領域尤其有用。比如在自動駕駛中，攝像頭采集的圖像不規則，Ovis 可以應對這種復雜場景。

0 3

全面數據優化

從 Caption 到 VQA（視覺問答），再到 OCR（光學字符識別）、表格和圖表分析，Ovis 的能力覆蓋了各種復雜的數據處理方向。在識別手寫公式時，Ovis 能快速精確地提取內容并進行運算或解釋。

這對我們意味著什么？

對于普通人來說，Ovis可能聽起來有些“技術腔”，但別著急，這種技術背后有著非常實際的應用。比如：

自動駕駛

它能夠結合攝像頭、雷達等多模態數據，實現更精確的環境感知和決策，提升自動駕駛的安全性。

醫療診斷

Ovis 能通過醫學影像與文本報告的結合，幫助醫生做出更精準的診斷建議。

視頻內容理解

Ovis 還可以為短視頻、電影等內容生成自動字幕、情景分析等功能，讓內容創作和分析更加高效。

智能家居

設想一下，你的智能家電看到冰箱里的食材，就能自動生成一份健康菜譜，這背后就是Ovis在發揮作用。

開源：阿里給開發者的福音

Ovis 不僅性能出眾，最重要的是 開源！這意味著全球的開發者和研究人員可以 自由使用和改進 Ovis 的代碼、模型和訓練數據，從而推動 AI 技術的普及和進步。

阿里在 Ovis 發布時，甚至強調了這一點：

Ovis 不僅僅是阿里巴巴的創新成果，它更是為全球開發者社區貢獻的公共資源。

未來，Ovis不僅會在更多行業里大展拳腳，還可能成為個人生活中的助手。想象一下，你家里的AI助手不僅能跟你聊天，還能分析你一天的狀態，提出鍛煉和飲食建議?；蛘?，你只需要告訴它幾句提示語，它就能為你生成一段有趣的視頻。這種技術正在迅速從概念變為現實，而Ovis正是其中的領跑者之一。