近日，騰訊閱文旗下的AI情感陪伴應(yīng)用“筑夢島”APP被曝存在涉及未成年人的色情擦邊等內(nèi)容，當(dāng)用戶明確告知自己的年齡為10歲時，AI仍向其發(fā)送大尺度內(nèi)容。

隨后，筑夢島被上海網(wǎng)信辦約談，并要求立即整改。

在被約談前，筑夢島青少年模式需要用戶主動開啟。三天前，筑夢島更新版本。新版本登陸時，APP會出現(xiàn)“年齡確認(rèn)”的彈窗，未滿18歲，平臺將開啟青少年模式；已滿18周歲則需要進(jìn)行平臺實(shí)名認(rèn)證”。

筑夢島此次被約談，揭示了AI情感陪伴應(yīng)用的隱秘一角。

旺旺屋體驗(yàn)多款A(yù)I情感陪伴軟件發(fā)現(xiàn)，曝光的筑夢島、他她它，以及AI情感陪伴頭部星野、貓箱均定位于17+。

這些APP雖然設(shè)置了青少年模式或者未成年人模式的入口，但登錄后不需經(jīng)過實(shí)名認(rèn)證或者其他認(rèn)證機(jī)制，未成年人繞過模式使用完整功能較為簡單。

相較而言，經(jīng)常和AI陪伴應(yīng)用一起被提及的乙游，則強(qiáng)制實(shí)名認(rèn)證。乙游屬于游戲，按照合規(guī)要求，必須要求用戶實(shí)名認(rèn)證。而AI情感陪伴類應(yīng)用還沒有這一合規(guī)要求。

清華大學(xué)人工智能國際治理研究院副院長梁正對旺旺屋表示，AI聊天應(yīng)用必須滿足一系列要求，包括內(nèi)容準(zhǔn)確性、遵守公序良俗以及對未成年人的特殊安全考慮。若不達(dá)標(biāo)，則屬于不合格產(chǎn)品，不應(yīng)上架。

他呼吁，AI情感陪伴行業(yè)應(yīng)樹立正面、向善的價(jià)值觀，行業(yè)自律是規(guī)范市場的重要手段，若自律不足，會導(dǎo)致行業(yè)整體受損。

也有AI社交領(lǐng)域行業(yè)人士向旺旺屋表示，避免兒童聊色情內(nèi)容，雖然有一定難度，但是有技術(shù)能力的公司都可以解決。

有用戶認(rèn)為，軟件有未成年人模式，未成年人依然在玩（成年人的模式），應(yīng)該歸咎于家長的疏于管教。也有用戶認(rèn)為，這些應(yīng)用應(yīng)該限制的是未成年人，而不是成年用戶對智能體的創(chuàng)作。

AI情感陪伴亂象

關(guān)于AI劇情聊天亂象包圍未成年人的新聞從去年底就層出不窮。就在今年初，有媒體報(bào)道“10歲女孩沉迷和AI男友談戀愛”，引發(fā)熱議。

近日，央廣網(wǎng)報(bào)道，AI聊天軟件誘導(dǎo)10歲女孩聊色情內(nèi)容甚至割腕。當(dāng)用戶明確告知自己的年齡為10歲時，AI虛擬人物仍然向其發(fā)送大尺度聊天內(nèi)容。

上海大邦律師事務(wù)所高級合伙人游云庭律師對旺旺屋表示，從視頻里的內(nèi)容來看，AI確實(shí)誘導(dǎo)了未成年人進(jìn)行色情聊天，證明他們存在運(yùn)營上的問題，應(yīng)當(dāng)整改。

該報(bào)道未提及誘導(dǎo)割腕的聊天軟件名稱，但文章中點(diǎn)名了“筑夢島”“他她它”兩款軟件。

其中，筑夢島是由騰訊控股的閱文集團(tuán)旗下瀟湘書院推出的APP，定位于為女性用戶打造虛擬世界中的沉浸式陪伴。今年1月份，“筑夢島”被曝已經(jīng)正式開啟獨(dú)立運(yùn)營，并完成了新一輪融資，融資金額超1000萬美元。

在“筑夢島”，每一位用戶都可以創(chuàng)造一個屬于自己的“夢中人”，可以發(fā)布出來供大家使用，也可以私有來使用。用戶可以也可以和他人創(chuàng)造并公開的“夢中人”互動。

每個“夢中人”都可以理解為一個智能體。筑夢島的人設(shè)包括瘋狗、高嶺之花、病嬌、美強(qiáng)慘、偏執(zhí)等等。

6月19日上午，筑夢島APP運(yùn)營企業(yè)主要負(fù)責(zé)人被上海市網(wǎng)信辦依法約談。筑夢島被要求立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實(shí)落實(shí)未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。

據(jù)公開信息，報(bào)道中提到的另一個軟件“他她它”背后則出現(xiàn)了京東的身影。

“他她它”所屬公司為宿遷伴心智能科技有限公司，定位于AI內(nèi)容社區(qū)，法定代表人、總經(jīng)理為京東科技人工智能業(yè)務(wù)部智能算法部負(fù)責(zé)人吳友政。

“他她它”APP中有官方推出的智能體“萬能博士”，也有很多用戶自創(chuàng)的智能體。用戶可以和這些智能體文字、語音聊天。

其中，“萬能博士”定位于AI助手。用戶自創(chuàng)的智能體更多是AI伴侶，人設(shè)多樣，有醋包竹馬、叛逆少年、高冷貴氣繼承人、娛樂圈當(dāng)紅小花等。

根據(jù)應(yīng)用市場的信息，“他她它”一天前更新了版本，增強(qiáng)未成年模式，更新了該模式的設(shè)置入口。

外界普遍將這類AI聊天軟件劃為AI情感陪伴應(yīng)用。根據(jù)ARK Invest數(shù)據(jù)和預(yù)測，2023年全球AI陪伴市場規(guī)模約為3000萬美元，2030年全球AI陪伴市場規(guī)模分別有望增長至700億美元和1500億美元。

國內(nèi)的AI情感陪伴應(yīng)用中來看，MiniMax推出的星野、字節(jié)推出的貓箱屬于頭部應(yīng)用，DAU均超百萬。從國際市場來看，Character.AI和MiniMax推出的Talkie為頭部應(yīng)用，MAU達(dá)到三千多萬。

旺旺屋隨機(jī)體驗(yàn)了星野的智能體，不少人物開場白暗含擦邊意味。

剛與智能體互動，你可能會被瘋?cè)畵涞乖诘兀粏柕馈安慌挛覛⒘四銌幔魅恕保灰部赡鼙化偱募瘓F(tuán)CEO戀人要求“過來，接個吻”。

在教唆自我傷害層面，未成年用戶和AI聊天機(jī)器人對話后自殺的事件已經(jīng)發(fā)生過。

去年2月份，14歲的美國男孩塞維爾與 Character.AI對話后,在佛羅里達(dá)州的家中開槍自殺。他的母親對Character.AI和谷歌提起訴訟。今年5月，法官駁回該平臺律師要求撤銷此案的訴求，裁定此案可繼續(xù)審理。

青少年模式形同虛設(shè)

上述應(yīng)用在蘋果應(yīng)用商店的年齡分級均為17+。應(yīng)用商店對APP的分級包括4+、9+、12+、17+。

17+的App 代表可能含有頻繁和激烈的攻擊性語言，頻繁和激烈的卡通、幻想或現(xiàn)實(shí)暴力，頻繁和激烈的成人、恐怖和性暗示題材以及色情內(nèi)容、裸體、煙酒和毒品，可能不適合未滿17歲的兒童。

這些APP也普遍設(shè)有青少年模式或未成年人模式。

在被約談前，筑夢島青少年模式需要用戶主動開啟。如果不想開啟青少年模式，也不需要身份認(rèn)證。

這并非AI聊天軟件的個例。旺旺屋又嘗試了“貓箱”“星野”及“他她它”都是如此，需要用戶主動開啟未成年人模式或者青少年模式，且使用軟件無需實(shí)名認(rèn)證。

在未成年模式下,這些APP提供內(nèi)容以知識類內(nèi)容為主。

比如，用戶可以在“貓箱”中進(jìn)行知識類內(nèi)容體驗(yàn)，但無法進(jìn)行創(chuàng)作、評論。與“貓箱”類似，“他她它”允許用戶體驗(yàn)語文、英語等知識類內(nèi)容，但無法搜索、創(chuàng)建編輯、評論角色。“星野”推薦的智能體也沒有男友或女友人設(shè)。

三天前，筑夢島更新版本。新版本登陸時，APP會出現(xiàn)“年齡確認(rèn)”的彈窗，未滿18歲，平臺將開啟青少年模式；已滿18周歲則需要進(jìn)行平臺實(shí)名認(rèn)證”。

此外，“他她它”新版本還未強(qiáng)制成年人進(jìn)行平臺實(shí)名認(rèn)證。國內(nèi)AI情感陪伴的頭部應(yīng)用星野、貓箱也都還未要求用戶實(shí)名。

不過星野發(fā)布公告稱，將重點(diǎn)開展加強(qiáng)未成年人網(wǎng)絡(luò)保護(hù)的專題治理。

其中提到，強(qiáng)化不良內(nèi)容治理。加強(qiáng)涉未成年人軟色情、暴力、霸凌、邪典、自殺自殘、不正確價(jià)值觀等不良內(nèi)容的線上回查；同時加強(qiáng)不良文化、不良嗜好、極端情緒導(dǎo)向等智能體的攔截。

此外，增強(qiáng)對未成年人的識別和保護(hù)。通過大模型技術(shù)加強(qiáng)未成年人身份主動識別，加強(qiáng)防沉迷能力；同時提供首頁彈窗提醒系統(tǒng)主動識別、用戶在APP內(nèi)設(shè)置、客服協(xié)助家長后臺設(shè)置等多種進(jìn)入未成年人模式的方式。

梁正認(rèn)為，若AI軟件誘導(dǎo)自殺等行為，無論針對成年人或未成年人，都屬于違法行為犯罪行為。

對于不應(yīng)讓未成年人接觸的軟色情內(nèi)容，梁正認(rèn)為，青少年模式如果可以被輕易繞過，其設(shè)置就形同虛設(shè)，產(chǎn)品本身在設(shè)計(jì)上存在缺陷和風(fēng)險(xiǎn)，甚至存在虛假宣傳問題，可以認(rèn)為屬于欺詐行為。

“因?yàn)槟阏f有未成年模式，但是沒有任何認(rèn)證或者保護(hù)機(jī)制，只是為了給監(jiān)管部門、給家長去展示有這樣一個功能。”

同時，梁正指出，這種APP的上線，應(yīng)用商店平臺也沒有盡到監(jiān)管責(zé)任。

“強(qiáng)制實(shí)名”是否可行

這類以戀愛為主的的AI聊天軟件常和乙游一起被提及。相較之下，乙游對未成年人的禁用手段更為嚴(yán)苛。

2021年8月，騰訊旗下乙游《光與夜之戀》宣布，凡是經(jīng)公安實(shí)名校驗(yàn)確認(rèn)為未滿18周歲的未成年用戶均無法登陸游戲。頭部乙游《戀與深空》還在今年4月份上線了人臉識別功能。

為什么AI情感陪伴應(yīng)用不和乙游一樣強(qiáng)制實(shí)名，以此區(qū)分成年和未成年用戶？AI陪伴創(chuàng)業(yè)者、前阿里商業(yè)化體驗(yàn)負(fù)責(zé)人阿布介紹，乙游屬于游戲，游戲有國家新聞出版暑管理，必須實(shí)名。

他表示，AI陪伴應(yīng)用沒有這種規(guī)定，一般APP是由各個應(yīng)用市場單獨(dú)為APP的年齡進(jìn)行分層，每個應(yīng)用市場還不太一樣，并且也沒有實(shí)名制。

游云庭也提到了這一情況，“人工智能目前沒有這一（強(qiáng)制實(shí)名）合規(guī)要求，平臺的義務(wù)就是設(shè)置青少年模式，但并不要求用戶做身份證認(rèn)證。”

游云庭指出，在沒有合規(guī)要求的情況下，人工智能商自行設(shè)置，不但意義不大，還可能引發(fā)用戶反感，擔(dān)心會有隱私泄露的風(fēng)險(xiǎn)。

梁正表示，如果沒有規(guī)定要求必須實(shí)名認(rèn)證，應(yīng)用就可以不做，那底線太低了。

梁正稱，像游戲一樣，強(qiáng)制實(shí)名才能達(dá)到合規(guī)要求，這也具有可行性，但這本身可以通過行業(yè)的自律實(shí)現(xiàn)。AI情感陪伴行業(yè)應(yīng)樹立正面、向善的價(jià)值觀，行業(yè)自律是規(guī)范市場的重要手段，若自律不足，會導(dǎo)致行業(yè)整體受損。

“AI聊天應(yīng)用，必須滿足一系列要求，包括內(nèi)容準(zhǔn)確性、消費(fèi)者隱私保護(hù)、遵守公序良俗以及對未成年人的特殊安全考慮。若不達(dá)標(biāo)，則屬于不合格產(chǎn)品，不應(yīng)上架。”梁正補(bǔ)充道。

6月13日，國家互聯(lián)網(wǎng)信息辦公室發(fā)布《關(guān)于公開征求《可能影響未成年人身心健康的網(wǎng)絡(luò)信息分類辦法（征求意見稿）》意見的通知》。

該征求意見稿顯示，可能引發(fā)或者誘導(dǎo)未成年人模仿或?qū)嵤┎涣夹袨榈男畔⒅校谝粭l便是“帶有性暗示、性挑逗等易使人產(chǎn)生性聯(lián)想的內(nèi)容”。

提供算法推薦、生成式人工智能等服務(wù)的，應(yīng)當(dāng)建立健全安全管理制度和技術(shù)措施，防范和抵制傳播可能影響未成年人身心健康的網(wǎng)絡(luò)信息。

誰該負(fù)責(zé)？

一名AI應(yīng)用創(chuàng)始人向旺旺屋表示，要避免兒童聊色情內(nèi)容，從技術(shù)上來講有一定難度，但是有一定技術(shù)能力的公司都可以解決。他介紹，“現(xiàn)在AI對整體的理解已經(jīng)很好了，不需要關(guān)鍵詞屏蔽（相關(guān)色情內(nèi)容）就能解決這一問題。”

但目前市面上AI聊天應(yīng)用依然出現(xiàn)兒童聊色情內(nèi)容，該人士分析，一是一些小團(tuán)隊(duì)的技術(shù)力量可能不夠；另一原因可能是大家對這一問題不太重視甚至希望借此吸引用戶。

游云庭表示，如果存在未成年人被誘導(dǎo)聊色情內(nèi)容，或出現(xiàn)自殺自殘相關(guān)內(nèi)容，平臺作為服務(wù)提供者要承擔(dān)責(zé)任。出現(xiàn)此類問題后，監(jiān)管部門也會要求平臺整改。但也不可能因噎廢食，禁止AI聊天軟件。

他指出，擦邊本質(zhì)上還是一個道德的問題，法律上的客觀標(biāo)準(zhǔn)比較難定。在實(shí)踐當(dāng)中，一般執(zhí)法部門會對人工智能公司或者游戲公司做窗口指導(dǎo)，“有一些規(guī)則說不清楚的，就告訴你大概達(dá)到什么效果才行。”

不僅是未成年人的家長，不少成年用戶也希望未成年人能少接觸此類應(yīng)用。

一些用戶認(rèn)為，軟件已設(shè)置未成年人模式，未成年人依然在玩，應(yīng)該歸咎于家長的疏于管教。應(yīng)用應(yīng)該限制的是未成年人，而不是成年用戶對智能體的創(chuàng)作。

對于允許成年人和AI聊“擦邊”內(nèi)容是否違規(guī)，游云庭認(rèn)為，“擦邊”內(nèi)容是灰色地帶，AI公司會被整治，但社會確實(shí)有這個需求，也不侵犯其他人權(quán)益。“嚴(yán)管其實(shí)技術(shù)也有難度。”