伴隨AI技術(shù)的發(fā)展，內(nèi)容生成、圖像處理以及自動(dòng)化互動(dòng)能力正在快速進(jìn)入社交場(chǎng)景。越來(lái)越多的人開始使用AI生成圖片、文字與視頻，AI也逐漸參與到聊天、互動(dòng)與情緒陪伴等場(chǎng)景之中。它讓表達(dá)變得更容易，讓很多創(chuàng)作行為的門檻被進(jìn)一步降低。

但與此同時(shí)，一些新的問(wèn)題開始出現(xiàn)，比如利用AI偽造身份、批量生成內(nèi)容、制造不真實(shí)互動(dòng)，或通過(guò)AI營(yíng)造高度逼真的“人設(shè)”與社交關(guān)系，這些變化，正在重新影響人們對(duì)于“真實(shí)社交”的判斷。

近期，圍繞AI在社交場(chǎng)景中的應(yīng)用，Soul對(duì)《社區(qū)公約》進(jìn)行了AI相關(guān)補(bǔ)充更新，新增了關(guān)于AI生成內(nèi)容、AI互動(dòng)行為以及AI虛擬角色等場(chǎng)景的使用規(guī)范，這些新增規(guī)范關(guān)注AI在社交場(chǎng)景中的真實(shí)邊界——AI可以成為表達(dá)工具，但不應(yīng)被用于偽造身份、制造虛假關(guān)系，或替代真實(shí)互動(dòng)本身。

《社區(qū)公約》AI相關(guān)補(bǔ)充更新

相比過(guò)去，AI時(shí)代的風(fēng)險(xiǎn)內(nèi)容正在變得更加復(fù)雜。很多違規(guī)行為不再只是簡(jiǎn)單的“敏感詞”或明顯的詐騙話術(shù)，而是開始呈現(xiàn)出更強(qiáng)的偽裝性與場(chǎng)景化特征。

一位參與相關(guān)治理能力建設(shè)的技術(shù)人員提到，現(xiàn)在很多高風(fēng)險(xiǎn)賬號(hào)已經(jīng)不再依賴明顯違規(guī)內(nèi)容，而是會(huì)盡量讓所有內(nèi)容“看起來(lái)正常”，相比過(guò)去大量發(fā)送模板化話術(shù)，現(xiàn)在一些異常賬號(hào)會(huì)嘗試模擬正常社交節(jié)奏，通過(guò)更自然的聊天方式建立信任關(guān)系。例如先進(jìn)行較長(zhǎng)時(shí)間的日常聊天，再逐步引導(dǎo)投資、轉(zhuǎn)站外或情感依賴等行為。“以前可能是很明顯的套路，現(xiàn)在更像是在‘養(yǎng)一個(gè)關(guān)系’。”

正因?yàn)轱L(fēng)險(xiǎn)行為開始變得更加“自然”，因此平臺(tái)治理能力也在向更深層的行為識(shí)別與關(guān)系判斷升級(jí)。近年來(lái)，Soul持續(xù)加強(qiáng)AI治理能力建設(shè)，將AI進(jìn)一步應(yīng)用于虛假人設(shè)識(shí)別、異常互動(dòng)判斷、風(fēng)險(xiǎn)內(nèi)容攔截等場(chǎng)景，持續(xù)提升對(duì)異常社交風(fēng)險(xiǎn)的識(shí)別效率。

如何分辨“真實(shí)”

在部分典型高風(fēng)險(xiǎn)案例中，一個(gè)賬號(hào)可能會(huì)通過(guò)豪車、高薪職業(yè)、高消費(fèi)生活方式等內(nèi)容，塑造“成功人士”“高凈值男性”或“精英職業(yè)”等人設(shè)，再配合高度模板化的話術(shù)與情緒引導(dǎo)，逐步建立信任關(guān)系。單獨(dú)看其中任何一個(gè)內(nèi)容，可能都并不足以構(gòu)成傳統(tǒng)意義上的違規(guī)。圖片本身沒(méi)有敏感信息，聊天內(nèi)容也可能只是普通社交表達(dá)。但當(dāng)這些信息被放在一起時(shí)，風(fēng)險(xiǎn)特征就會(huì)逐漸顯現(xiàn)——

“豪車男”賬號(hào)的問(wèn)題，不在某一句話或某一張圖單點(diǎn)，而是整套“人設(shè)邏輯”本身。也正因此，Soul開始更多采用跨模態(tài)聯(lián)動(dòng)的AI治理能力，將圖片、文本、視頻、聲紋以及用戶行為等不同維度的信息進(jìn)行綜合判斷。

目前Soul已經(jīng)逐步形成了一套覆蓋圖片、文本、視頻、聲紋以及用戶行為等維度的多模態(tài)AI治理體系，并將其應(yīng)用于虛假人設(shè)識(shí)別、異常互動(dòng)判斷、風(fēng)險(xiǎn)內(nèi)容攔截等多個(gè)場(chǎng)景。

例如在圖片場(chǎng)景中，平臺(tái)會(huì)結(jié)合AI生成痕跡識(shí)別、圖片原創(chuàng)性判斷等能力，對(duì)AI生成圖、盜圖、拼接圖等內(nèi)容進(jìn)行綜合分析；在文本與互動(dòng)場(chǎng)景中，則會(huì)通過(guò)大模型意圖識(shí)別能力，對(duì)異常導(dǎo)流、人設(shè)包裝以及欺詐傾向進(jìn)行識(shí)別，而不僅僅依賴關(guān)鍵詞本身。

同時(shí)，平臺(tái)也在持續(xù)加強(qiáng)對(duì)視頻、語(yǔ)音等復(fù)雜場(chǎng)景的風(fēng)險(xiǎn)識(shí)別能力。針對(duì)AI偽造聲紋以及跨賬號(hào)關(guān)聯(lián)等問(wèn)題，Soul逐步建立起基于聲紋特征以及行為鏈路的聯(lián)動(dòng)識(shí)別機(jī)制，以提升對(duì)高偽裝風(fēng)險(xiǎn)內(nèi)容的發(fā)現(xiàn)能力。

前置留住“真實(shí)”

目前Soul風(fēng)控AI已經(jīng)逐步實(shí)現(xiàn)毫秒級(jí)風(fēng)險(xiǎn)識(shí)別與對(duì)抗能力。相比傳統(tǒng)“內(nèi)容違規(guī)—人工處理”的單點(diǎn)治理方式，如今的AI治理更接近持續(xù)性的風(fēng)險(xiǎn)識(shí)別系統(tǒng)。它不僅關(guān)注單條內(nèi)容本身是否違規(guī)，也會(huì)結(jié)合賬號(hào)行為、互動(dòng)關(guān)系以及上下文場(chǎng)景，對(duì)異常社交行為進(jìn)行動(dòng)態(tài)分析。

AI能力的引入也顯著擴(kuò)大平臺(tái)風(fēng)險(xiǎn)治理的覆蓋范圍。過(guò)去，很多風(fēng)險(xiǎn)內(nèi)容的識(shí)別與審核高度依賴人工處理能力，平臺(tái)能夠覆蓋的高風(fēng)險(xiǎn)內(nèi)容規(guī)模相對(duì)有限。而在引入AI 與自動(dòng)化風(fēng)險(xiǎn)識(shí)別機(jī)制后，平臺(tái)對(duì)于疑似風(fēng)險(xiǎn)內(nèi)容的監(jiān)測(cè)與審核能力，提升至過(guò)去的數(shù)倍以上。

除了對(duì)異常內(nèi)容進(jìn)行即時(shí)發(fā)現(xiàn)與判斷之外，平臺(tái)也開始加強(qiáng)對(duì)黑產(chǎn)“反復(fù)作案”行為的持續(xù)治理。例如，一些被識(shí)別出的作弊圖片、風(fēng)險(xiǎn)視頻或高風(fēng)險(xiǎn)素材，在首次出現(xiàn)后，后續(xù)相同或高度相似內(nèi)容將迅速失效并停止分發(fā)，相關(guān)賬號(hào)也會(huì)被自動(dòng)回溯識(shí)別與處置。

相比過(guò)去“發(fā)現(xiàn)一次、處理一次”的治理模式，這種持續(xù)性的AI對(duì)抗能力，也正在不斷提升黑產(chǎn)與異常賬號(hào)的作弊成本，從而進(jìn)一步壓縮黑產(chǎn)反復(fù)作案空間。

隨著相關(guān)治理能力逐步上線，平臺(tái)對(duì)于異常社交風(fēng)險(xiǎn)的識(shí)別效率持續(xù)提升。目前，相關(guān)系統(tǒng)識(shí)別準(zhǔn)確率已達(dá)到95%，重點(diǎn)風(fēng)險(xiǎn)場(chǎng)景覆蓋能力相比過(guò)去提升數(shù)倍；平臺(tái)內(nèi)部分高風(fēng)險(xiǎn)行為開始呈現(xiàn)下降趨勢(shì)。根據(jù)數(shù)據(jù)，殺豬盤高危觸達(dá)量同比下降37.37%，相關(guān)深度風(fēng)險(xiǎn)互動(dòng)持續(xù)減少；與此同時(shí)，異常互動(dòng)相關(guān)用戶舉報(bào)量也進(jìn)一步下降。

大量高風(fēng)險(xiǎn)賬號(hào)已經(jīng)能夠在真正接觸用戶之前被提前識(shí)別與自動(dòng)化處置，超過(guò)66%的高風(fēng)險(xiǎn)賬號(hào)實(shí)現(xiàn)前置攔截，平臺(tái)日均攔截異常與涉詐行為已超過(guò)10萬(wàn)次，累計(jì)幫助用戶避免潛在損失超千萬(wàn)元級(jí)別，相比傳統(tǒng)“事后封禁”，如今的平臺(tái)治理也正在逐漸轉(zhuǎn)向更前置、更持續(xù)的風(fēng)險(xiǎn)識(shí)別與干預(yù)——

例如在上文“豪車男”假人設(shè)治理場(chǎng)景中，相關(guān)能力上線后，針對(duì)盜圖、合成圖以及高風(fēng)險(xiǎn)人設(shè)包裝等場(chǎng)景，平臺(tái)已經(jīng)能夠提供毫秒級(jí)輔助判斷能力，自動(dòng)處置效率與用戶感知量相比已達(dá)到10:1以上。

重新確認(rèn)“真實(shí)”

除了風(fēng)險(xiǎn)治理本身，AI進(jìn)入社交場(chǎng)景后，另一個(gè)被廣泛討論的問(wèn)題，是“AI陪伴”與真實(shí)社交之間的邊界。

目前，Soul在部分場(chǎng)景中已經(jīng)提供了明確標(biāo)識(shí)的AI虛擬角色等產(chǎn)品功能。這類功能更多被定位為情緒陪伴、表達(dá)支持與互動(dòng)體驗(yàn)的一部分，而不是以“真實(shí)用戶”身份參與社區(qū)社交關(guān)系。圍繞這一點(diǎn)，Soul此次也在《社區(qū)公約》中新增了相關(guān)說(shuō)明，進(jìn)一步明確AI虛擬角色的使用邊界，并提醒用戶注意區(qū)分AI角色與真實(shí)用戶。

與此同時(shí)，平臺(tái)也在逐步增加相應(yīng)的使用提醒機(jī)制。例如，在用戶與AI虛擬角色進(jìn)行長(zhǎng)時(shí)間連續(xù)互動(dòng)時(shí)，系統(tǒng)會(huì)適時(shí)進(jìn)行提醒，引導(dǎo)用戶合理安排使用時(shí)長(zhǎng)。相比將AI單純理解為“聊天工具”或“虛擬陪伴”，Soul更傾向于將其視為一種輔助表達(dá)與情緒支持能力，而非替代人與人之間真實(shí)關(guān)系本身。

除了技術(shù)治理之外，Soul也在持續(xù)嘗試將社區(qū)治理更多地向“用戶共治”延伸。相比完全依賴平臺(tái)單向?qū)徍耍缃簧鐓^(qū)中的很多風(fēng)險(xiǎn)內(nèi)容、異常互動(dòng)與新型套路，往往最早由真實(shí)用戶感知與反饋。

過(guò)去幾年，Soul逐步建立起包括用戶反饋、風(fēng)險(xiǎn)舉報(bào)、社區(qū)巡查以及護(hù)星員在內(nèi)的社區(qū)共治機(jī)制。一些用戶會(huì)主動(dòng)分享反詐經(jīng)驗(yàn)、識(shí)別異常互動(dòng)特征，或參與社區(qū)安全相關(guān)內(nèi)容的共建。這類來(lái)自真實(shí)社交場(chǎng)景的反饋，也會(huì)反向幫助平臺(tái)持續(xù)優(yōu)化風(fēng)險(xiǎn)識(shí)別能力與治理策略。

相比傳統(tǒng)意義上的“平臺(tái)管理”，AI時(shí)代的社區(qū)治理更像是一種持續(xù)演化的協(xié)同機(jī)制。一方面，平臺(tái)通過(guò)AI能力提升風(fēng)險(xiǎn)識(shí)別效率；另一方面，用戶對(duì)于真實(shí)感、互動(dòng)體驗(yàn)以及異常行為的感知，也正在成為社區(qū)治理的重要組成部分。

某種程度上，Soul此次對(duì)《社區(qū)公約》進(jìn)行AI相關(guān)補(bǔ)充更新，并不僅僅是一次常規(guī)規(guī)則調(diào)整，而更像是AI時(shí)代下，社交平臺(tái)對(duì)于“真實(shí)邊界”的一次重新確認(rèn)。

官方賬號(hào)@Soul風(fēng)紀(jì)球長(zhǎng) 違規(guī)案例公示

繼續(xù)守護(hù)“真實(shí)”

當(dāng)AI開始進(jìn)入內(nèi)容創(chuàng)作、情緒陪伴與社交互動(dòng)之后，“真實(shí)”本身正在變得越來(lái)越難被簡(jiǎn)單定義。相比過(guò)去單純依賴人工判斷或靜態(tài)規(guī)則，如今的平臺(tái)治理，也開始逐漸轉(zhuǎn)向一種持續(xù)演化的動(dòng)態(tài)治理能力——不僅需要識(shí)別風(fēng)險(xiǎn)內(nèi)容本身，也需要理解行為邏輯、互動(dòng)關(guān)系以及更復(fù)雜的社交場(chǎng)景。

對(duì)于Soul來(lái)說(shuō)，AI既是產(chǎn)品能力的一部分，也正在成為社區(qū)治理能力的一部分。它可以幫助用戶更方便地表達(dá)與交流，也可以被用于識(shí)別虛假人設(shè)、異常互動(dòng)與高風(fēng)險(xiǎn)行為。但無(wú)論技術(shù)如何變化，真實(shí)、善意、自然的互動(dòng)，仍然是社交關(guān)系成立的基礎(chǔ)。

而這或許也是AI時(shí)代下，所有社交平臺(tái)都需要面對(duì)的一個(gè)長(zhǎng)期問(wèn)題：當(dāng)“像一個(gè)人”越來(lái)越容易時(shí)，平臺(tái)該如何繼續(xù)守護(hù)人與人之間真實(shí)的連接。圍繞這個(gè)問(wèn)題，Soul正在嘗試給出自己的答案