6 月 27 日-6 月 28 日,AICon 全球人工智能開發與應用大會北京站即將拉開帷幕。本次大會將匯聚 AI 前沿技術與落地實踐,邀請來自騰訊、阿里、百度、字節跳動等頭部大廠以及智譜、硅基流動、智象未來、聲智科技等 AI 企業的 50+資深專家,深度探討 AI Agent、多模態應用、推理性能優化以及 AI 在軟件研發、數據分析、業務運營等場景的具體落地實踐。
網易有道研發總監程橋受邀出席并發表題為《LLM技術在有道詞典筆上的應用實踐》的主題分享。本次分享將聚焦端側大模型,深入探討其落地過程中的挑戰與實踐。通過大模型摩爾定律及相關技術闡述原因,并對比端側 AI 與云側 AI 的優劣,介紹端側 AI 應用場景及有道教育智能硬件特點。端側大模型落地面臨算力、內存、功耗、成本、算法質量、多應用部署等挑戰,需平衡各項指標。以有道子曰大模型為例,分享云側、云端結合、端側 LLM 三種落地模式。在端側大模型算法方面,詳細介紹模型壓縮技術及 LLM 帶來的變化與新問題,通過實驗確定蒸餾、DPO、詞表裁剪、量化等方案,并對推理進行性能優化,端側大模型成功落地有道詞典筆 X7、X7 Pro,開啟詞典筆部署本地大模型新時代,未來還計劃擴展功能。
程橋是網易有道機器翻譯及大模型業務負責人,承擔多項技術攻堅項目,為有道翻譯,有道智云,詞典筆等產品提供人工智能技術支持,產品服務近億用戶;在 NLP 領域國際頂級學術會議上發表多篇論文,擔任 ACL、EMNLP 等頂級會議的審稿人,擁有多項發明專利的授權。他在本次會議的詳細演講內容如下:
演講提綱
有道智能硬件應用介紹
端側大模型面臨的挑戰
有道子曰大模型的落地模式
端側大模型的算法優化與推理性能提升
聽眾可以理解端側模型與硬件深度融合的關鍵路徑,助力本地智能化部署;了解端側大模型的技術挑戰與應對策略,掌握行業最新趨勢。
除此之外,本次大會還策劃了AI Agent 構建與多場景實踐、多模態實踐與應用、大模型助力研發的實戰經驗、AI 在業務運營中的深度落地、大模型時代的數據處理與分析、AI 變革下的工程師等 10 多個專題論壇,屆時將有來自不同行業、不同領域、不同企業的 50+資深專家在 AICon 北京站現場帶來前沿技術洞察和一線實踐經驗。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.