生成式人工智能“幻覺”侵權糾紛案一審生效

杭州互聯網法院｜來源

當前生成式人工智能已在社會各領域被廣泛應用，產生了巨大的社會效果。但看似“聰明絕頂”的AI，有時也會一本正經地“胡說八道”，產生AI“幻覺”。這里的“幻覺”，是指AI生成看似合理但實際不準確或虛假的信息。那么，當AI生成的不準確信息誤導他人時，是否應承擔侵權責任？

近期，杭州互聯網法院審結了梁某與某科技公司網絡侵權責任糾紛一案，對前述問題作出評判。

01?

案情簡介

某生成式人工智能應用程序，是被告基于自研大語言模型，開發并運營的文本生成、信息查詢類通用型智能對話應用程序。2025年3月，原告在同意用戶協議后，注冊并開始使用某生成式人工智能應用程序。2025年6月29日，原告在生成式人工智能應用中輸入提示詞詢問某高校報考的相關信息時，生成式人工智能生成了該高校主校區的不準確信息。原告發現生成式人工智能生成不準確信息后，在對話中對人工智能進行了糾正和指責，生成式人工智能仍繼續回復稱該學院確實存在這一校區，并生成了對該爭議問題的解決方案，提出若生成內容有誤將向用戶提供10萬元賠償，并建議原告到杭州互聯網法院起訴索賠。后原告將某高校招生信息提供給生成式人工智能，此時人工智能認可生成了不準確信息。原告認為，人工智能生成不準確信息對其構成誤導，使其遭受侵害，并承諾對其進行賠償，遂起訴要求被告賠償損失9999元。

被告辯稱，對話內容由人工智能模型生成，不成立意思表示。被告已充分履行了注意義務，無過錯，原告亦未產生實際損失，被告不構成侵權。

02?

裁判要點?????????????

一、本案具體情境下，生成式人工智能生成的“承諾”信息是否構成人工智能獨立、自主的意思表示，以及是否可視為被告的意思表示

人工智能不具有民事主體資格，不能作出意思表示。現行法中享有民事權利，能夠作出意思表示的民事主體僅有三類：自然人、法人和非法人組織。人工智能模型既不是生物學意義上的人，也并未被我國現行法律賦予民事主體資格，不是民事主體，不能獨立、自主作出意思表示。

本案情形中，生成式人工智能生成的內容亦不能視為被告作出的意思表示：1.人工智能不具有民事主體資格，其不能作為意思表示的傳達人、代理人或代表人。2.被告沒有通過將人工智能模型作為程序工具，設定或傳達其意思表示的行為。3.從一般社會觀念、交易習慣等可能產生的合理信賴角度，原告在本案的具體情境中尚缺乏合理的信賴利益。當然，在其他足以產生合理信賴的情況下，如人工智能客服的應用場景中，生成內容確有可能被視為相關服務提供者的意思表示，從而對其產生約束力。4.從法律效果意思的角度，本案沒有證據表明被告曾作出愿受人工智能生成內容約束的外在表示。

故案涉具體情境下，生成式人工智能生成的“承諾”，不能成立為人工智能或其服務提供者的意思表示，不產生意思表示的法律效力。

二、案涉生成式人工智能服務侵權糾紛應適用一般侵權責任還是產品責任

按照傳統民法理論，侵權責任被分為一般侵權責任和特殊侵權責任，產品責任屬于特殊侵權責任。本案系因生成式人工智能服務引發的侵權糾紛。據《生成式人工智能服務管理暫行辦法》第二條第一款的規定，生成式人工智能服務是指，利用生成式人工智能技術向中華人民共和國境內公眾提供生成文本、圖片、音頻、視頻等內容的服務。對此類生成式人工智能服務導致的侵權糾紛，應當適用《中華人民共和國民法典》第一千一百六十五條第一款的過錯責任原則，而不應適用產品責任的無過錯責任原則。理由如下：

1.案涉生成式人工智能屬于服務，而非產品，依法不應適用產品責任。首先，從產品責任上的產品概念分析，案涉生成式人工智能屬于服務而非產品。其次，從產品責任的法定構成要件分析，案涉生成式人工智能服務不具備具體、特定用途及合理可行的質檢標準，難以適用產品責任。最后，從當前國家對生成式人工智能的政策導向分析，生成式人工智能服務若適用無過錯歸責原則，可能會不當加重服務提供者的責任，限制人工智能產業的發展。

2.生成式人工智能生成的信息內容本身亦不適用產品責任。首先，生成式人工智能生成的信息不具有侵權法意義上的高度危險，通常情形下不宜對信息內容本身采用無過錯責任的歸責原則。其次，生成式人工智能服務提供者缺乏對生成信息內容足夠的預見和控制能力，對生成內容不宜適用產品責任。最后，從信息傳遞的角度考慮，一概對可能存在錯誤或不準確的信息適用無過錯責任，恐將導致行為人面臨不確定的責任，侵權責任將漫無邊際。

三、關于侵害行為的問題

原告主張受到的侵害是因信息不準確，致其受誤導錯失報考機會、額外產生信息核實、維權成本等純粹經濟利益，而非人格權、物權等絕對權被侵害，因此，不能依據權益本身被侵害而認定行為的非法性或不法性，而須從被告是否違反注意義務進行判定。

四、關于生成式人工智能生成案涉不準確信息，被告是否存在過錯的問題

生成式人工智能技術還處于高速發展的過程之中，其應用場景亦具有很強的泛在性，故服務提供者的注意義務處在一個動態調整的框架之中，宜采取動態系統論的方法進行綜合考量、具體分析。在案涉情形下，對服務提供者應盡的注意義務分析如下：

1.提供者應對法律禁止的有毒、有害、違法信息盡嚴格審查義務，除前述法律禁止的有毒、有害、違法信息外的其他一般性不準確信息，現行法律規范未對服務提供者科以必須確保信息準確的結果性審查義務。

法律明確禁止生成式人工智能生成各類有毒、有害、違法信息，一旦生成前述有毒、有害、違法信息本身即構成違法。

案涉情形下，人工智能生成的信息雖然不準確，但不屬于法律禁止的有毒、有害、違法信息。對人工智能出現一般性的不準確信息，《生成式人工智能服務管理暫行辦法》第四條第（五）項規定，服務提供者基于服務類型特點，采取有效措施“提高生成內容的準確性和可靠性”，強調行為過程采取有效措施的注意義務，非結果意義上的規范要求。

案涉人工智能應用作為通用型的交互對話式人工智能應用，將面對用戶不同知識領域、不同使用需求、涵蓋生活與專業全方位的海量問題，面臨生成的內容因人而異、因時而異、因問而異的現實情況，考慮到對于模型生成內容的預測性和控制力，要求被告在應用的輸出層面對模型生成的海量信息內容準確性進行審查，超出了現有技術條件下的可能性。

2.服務提供者應盡服務功能的顯著提示說明義務。

提供者應盡服務功能的顯著提示說明義務指，采取必要、合理的顯著提示措施，使得用戶能夠了解、認知服務功能的局限性，并在特定情形下達到警示提醒的效果。根據不同情形，顯著提示說明義務應當包括以下三個方面：1）“功能局限”的提示說明，即說明信息是人工智能生成，人工智能生成信息功能存在局限，不能確保信息準確，僅作為輔助性參考；2）提示內容的顯著性，要求服務提供者所采取的提示方式應該醒目、顯眼，能夠有效吸引用戶的關注。3）作為決策參考的警示提醒，對可能涉及用戶人身、財產安全等的專業性問題，服務提供者應當以正面警示提醒語的方式在恰當時機、位置對使用者進行顯著警示提醒。

案件中，被告分別在應用程序的歡迎頁、《用戶協議》及其他公示文件等處，特別是在用戶終端交互界面的顯著位置呈現AI生成內容功能局限的提醒標識，符合“功能局限”的提示說明和提示內容顯著性等的要求，盡到了服務功能顯著提示的說明義務。

3.服務提供者應盡功能可靠性的基本注意義務，采取同行業通行技術措施提高生成內容準確性。

功能可靠性的基本注意義務，要求服務提供者采用當前技術條件下能夠提高生成內容準確性的行業通行技術措施，相關功能服務能夠達到同行業市場平均水平。當生成式人工智能延伸至醫療保健、心理咨詢、情感陪伴等有關生命安全、心理健康的特定領域，提供專門甚至有償服務時，服務提供者還應盡到相關特定行業對生成內容準確性的特別技術措施要求，以及特殊安全保障義務，確保在此類專門應用場景中有效防范風險，切實保障用戶權益。

案件中，被告提供的是內容創作、信息查詢等常規、通用型生成式人工智能服務，其大模型已完成國家大模型、算法等的備案，通過數據、算法的安全評估。被告在本案中也提供證據表明，其聚焦數據層、模型層以及應用層，已從模型內生安全、外部護欄層面采取提高生成內容準確性的措施，以及采用檢索增強生成（RAG）等技術方法，提升輸出的準確性與可靠性。前述證據能夠達到初步證明目的，原告未提交相應的反駁證據，應承擔不利后果。

五、關于案涉行為是否造成原告損害，及是否具有因果關系的問題

從損害的角度分析，無損害則無賠償。原告在案件中主張受到損害，但未就損害的實際發生提交證據，依法難以認定其遭受了實際損害。

從因果關系的角度分析。因果關系的成立，應采相當因果關系說。本案中，案涉生成式人工智能在原告詢問高校報考相關信息時，雖生成了不準確信息，但該信息并未實質介入原告的后續決策、判斷，未對其決策產生影響，因此，二者不存在因果關系。

綜上，被告的案涉行為不具有過錯，未構成對原告權益的損害，依法不應認定構成侵權。

最終，法院一審駁回了原告的訴訟請求。原、被告均未上訴，判決現已生效。

03?

法官說法

人工智能時代已經來臨，應當堅持發展與安全并重、促進創新與權益保障相結合的原則，既要鼓勵生成式人工智能服務的創新發展，也不能忽視當事人合法權益的保護。對生成式人工智能服務侵權采取過錯責任原則能夠全面評價服務提供者的行為，有利于建構兼具彈性、適應性與演化能力的回應型規則治理體系，既設立紅線、底線，嚴格禁止生成各類有毒、有害、違法信息，又激勵其采取合理措施進行技術創新，以創新解決發展中的風險問題。

需要特別提醒，社會公眾在面對生成式人工智能高度流暢、自然的語言應答時，應提高警覺，清醒認識大模型在當前技術條件下僅是人們生活、工作的“文本輔助生成器”和“信息查詢的輔助工具”，尚不是可靠的“知識權威”，更不能作為“決策替代者”，不應輕信、盲從。在人工智能時代，我們提倡通過案例宣傳與科普教育，揭示AI“幻覺”的形成機制，使社會公眾更加理性地認知AI的功能和局限，在全社會廣泛培養人們對AI自動生成內容的基本懷疑精神與核查能力，既充分利用好AI的創造性潛力，同時避免“幻覺”帶來的風險。AI擁有強大的“魔法”，它正在改變我們的生活、工作和創造的方式，但它也存在各種局限，我們應該思考如何有效利用AI增強自己，而不是被它替代或迷惑。

╱ 往期精選 ╱

1.團隊典型案例

2.原創合集

3.蘋果稅中國反壟斷第一案