首頁>

換臉擬聲等AI技術(shù)被濫用，平臺(tái)如何發(fā)力“精準(zhǔn)識(shí)別”？

2025-07-21 15:35:35 來源：法治網(wǎng)微信公眾號(hào) -標(biāo)準(zhǔn)+

近期，據(jù)中央網(wǎng)信辦通報(bào)，“清朗·整治AI技術(shù)濫用”專項(xiàng)行動(dòng)自2025年4月啟動(dòng)以來，中央網(wǎng)信辦聚焦AI換臉擬聲侵犯公眾權(quán)益、AI內(nèi)容標(biāo)識(shí)缺失誤導(dǎo)公眾等AI技術(shù)濫用亂象，深入推進(jìn)第一階段重點(diǎn)整治任務(wù)。通報(bào)披露，第一階段累計(jì)處置違規(guī)小程序、應(yīng)用程序、智能體等AI產(chǎn)品3500余款，清理違法違規(guī)信息96萬余條，處置賬號(hào)3700余個(gè)。

隨著AI換臉、擬聲等這些AI技術(shù)的出現(xiàn)，給治理帶來哪些挑戰(zhàn)？目前整治AI技術(shù)濫用的難點(diǎn)在哪里？對(duì)于平臺(tái)企業(yè)而言，如何才能切實(shí)提高審核識(shí)別能力？日前，法治網(wǎng)研究院邀請(qǐng)南開大學(xué)法學(xué)院副院長陳兵、中國人民大學(xué)信息文明與國家治理研究所所長黃尹旭、北京交通大學(xué)法學(xué)院數(shù)據(jù)法學(xué)研究中心主任付新華、《法治日?qǐng)?bào)》律師專家?guī)斐蓡T李瑞，圍繞相關(guān)話題展開一場(chǎng)深入對(duì)談。

01 法治網(wǎng)研究院：針對(duì)近來不斷被媒體曝出的換臉、擬聲等各種AI技術(shù)濫用亂象，您認(rèn)為，當(dāng)前整治AI技術(shù)濫用的難點(diǎn)在哪里？

黃尹旭：當(dāng)前，AI濫用手段的進(jìn)化速度可能超過檢測(cè)技術(shù)，深度偽造已從簡(jiǎn)單的面部替換升級(jí)到動(dòng)態(tài)表情、光影細(xì)節(jié)的模擬，有些經(jīng)過對(duì)抗性訓(xùn)練繞過現(xiàn)有檢測(cè)工具。檢測(cè)系統(tǒng)剛識(shí)別出像素異常特征，濫用者就可能添加噪聲、調(diào)整參數(shù)來規(guī)避。

濫用內(nèi)容的隱蔽性越來越強(qiáng)，可能只是在真實(shí)視頻中替換幾秒對(duì)話，或在新聞里夾雜小段AI生成文字，傳統(tǒng)批量掃描技術(shù)很難識(shí)別局部篡改。

還有，各平臺(tái)的監(jiān)測(cè)標(biāo)準(zhǔn)、處置流程不一，難以形成全鏈條攔截。

李瑞：我認(rèn)為主要難點(diǎn)有三個(gè)：一是技術(shù)迭代迅猛，隨著人工智能技術(shù)的飛速發(fā)展，深度偽造技術(shù)的質(zhì)量不斷提升，已經(jīng)日益逼近甚至超越真實(shí)水平，而傳統(tǒng)的識(shí)別模型在這種高速變化面前顯得力不從心，難以跟上技術(shù)發(fā)展的步伐。

二是責(zé)任主體呈現(xiàn)碎片化狀態(tài)，從最初的訓(xùn)練數(shù)據(jù)收集、模型托管服務(wù)、分發(fā)平臺(tái)運(yùn)營，到最終的終端用戶使用，整個(gè)鏈條極為冗長且復(fù)雜。這種多環(huán)節(jié)、多主體的分散格局，使得取證過程變得異常艱難，歸責(zé)問題也變得錯(cuò)綜復(fù)雜，難以厘清。

三是治理標(biāo)準(zhǔn)存在明顯缺位，現(xiàn)行的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》僅作為部門規(guī)章，其罰則相對(duì)偏軟，缺乏足夠的威懾力，更為關(guān)鍵的是，對(duì)于境外開源模型的監(jiān)管，我們目前還缺乏有效的管轄手段。這一漏洞亟需通過配套的刑法修正案以及建立跨境協(xié)同機(jī)制來加以彌補(bǔ)和完善，以確保治理體系的全面性和有效性。

02 法治網(wǎng)研究院：針對(duì)AI技術(shù)濫用亂象，平臺(tái)企業(yè)應(yīng)如何提升審核識(shí)別能力，建立長效治理機(jī)制？

陳兵：平臺(tái)需提升技術(shù)能力，加強(qiáng)內(nèi)容審核，完善內(nèi)容標(biāo)識(shí)，特別是做好內(nèi)部合規(guī)治理，樹牢主體責(zé)任意識(shí)，強(qiáng)化主體責(zé)任擔(dān)當(dāng)。一是提升多模態(tài)AI檢測(cè)能力，筑牢技術(shù)基礎(chǔ)，結(jié)合聲紋、語義、畫面匹配度識(shí)別AI內(nèi)容，使其能快速、準(zhǔn)確地識(shí)別涉嫌違法違規(guī)、侵犯權(quán)益的AI生成內(nèi)容。

二是建立“AI+人工”分層審核機(jī)制，AI 負(fù)責(zé)對(duì)大量?jī)?nèi)容進(jìn)行快速檢測(cè)和初步判斷，篩選疑似 AI濫用的高風(fēng)險(xiǎn)內(nèi)容或賬戶，推送人工復(fù)審。

三是推進(jìn)內(nèi)容標(biāo)識(shí)制度，一方面強(qiáng)制要求用戶對(duì)AI生成內(nèi)容進(jìn)行顯性標(biāo)識(shí)，另一方面采用隱式標(biāo)識(shí)追蹤AI內(nèi)容的生成源頭和傳播路徑，為打擊濫用行為提供線索。

四是加強(qiáng)內(nèi)部合規(guī)管理和法治學(xué)習(xí)力度，轉(zhuǎn)變觀念，強(qiáng)化主體意識(shí)與主體責(zé)任，在規(guī)范中發(fā)展，在發(fā)展中規(guī)范，走長遠(yuǎn)可持續(xù)健康發(fā)展之道。

黃尹旭：對(duì)于平臺(tái)企業(yè)而言，需要依據(jù)《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》等，從源頭嵌入標(biāo)識(shí)機(jī)制，附帶不可篡改的數(shù)字水印或區(qū)塊鏈標(biāo)識(shí)，并實(shí)現(xiàn)經(jīng)過剪輯、壓縮也能被識(shí)別，明確內(nèi)容屬性。

平臺(tái)企業(yè)還需要升級(jí)多模態(tài)檢測(cè)技術(shù)，針對(duì)文本、圖像、音頻等不同形態(tài)，開發(fā)融合特征的檢測(cè)模型；建立分層監(jiān)測(cè)機(jī)制，對(duì)金融、政務(wù)等高風(fēng)險(xiǎn)場(chǎng)景實(shí)施深度檢測(cè)，必要時(shí)人工復(fù)核；結(jié)合技術(shù)防御與機(jī)制約束，在鼓勵(lì)A(yù)I創(chuàng)新的同時(shí)，有效遏制技術(shù)濫用。

李瑞：在技術(shù)監(jiān)測(cè)層面，應(yīng)該依據(jù)《生成式人工智能服務(wù)管理暫行辦法》等法規(guī)，構(gòu)建全流程監(jiān)測(cè)機(jī)制。具體措施包括：嚴(yán)格合規(guī)篩查數(shù)據(jù)輸入，確保訓(xùn)練數(shù)據(jù)的合法性，防范侵權(quán)風(fēng)險(xiǎn)；在模型運(yùn)行時(shí)嵌入算法審計(jì)模塊，實(shí)時(shí)監(jiān)測(cè)虛假生成、歧視性輸出等潛在風(fēng)險(xiǎn)；在輸出端部署內(nèi)容溯源技術(shù)，保障AI生成內(nèi)容的可追溯性，便于管理審核。

當(dāng)然，平臺(tái)企業(yè)構(gòu)建長效治理機(jī)制同樣至關(guān)重要，主要涵蓋以下方面：建立跨部門合規(guī)團(tuán)隊(duì)，明確各部門職責(zé)及協(xié)同機(jī)制，確保高效配合；拓寬并暢通用戶投訴渠道，建立侵權(quán)快速響應(yīng)與處理機(jī)制，保障用戶權(quán)益；定期開展合規(guī)評(píng)估，跟蹤監(jiān)管政策動(dòng)態(tài)，靈活調(diào)整技術(shù)標(biāo)準(zhǔn)。此外，通過行業(yè)協(xié)同合作，制定并實(shí)施AI倫理準(zhǔn)則，將法律義務(wù)有效轉(zhuǎn)化為技術(shù)治理的成效。

03 法治網(wǎng)研究院：除了平臺(tái)企業(yè)要積極履行主體責(zé)任外，對(duì)于如何精準(zhǔn)治理AI技術(shù)濫用，您還有哪些建議？

付新華：除了督促平臺(tái)企業(yè)履行主體責(zé)任外，整治AI技術(shù)濫用還需從源頭治理與技術(shù)反制等層面協(xié)同發(fā)力。一是推動(dòng)關(guān)鍵環(huán)節(jié)監(jiān)管前移，加強(qiáng)對(duì)AIGC模型訓(xùn)練數(shù)據(jù)來源、技術(shù)提供者資質(zhì)和模型輸出能力的審查，遏制風(fēng)險(xiǎn)于初始環(huán)節(jié)。

二是強(qiáng)化技術(shù)反制能力，推動(dòng)研發(fā)深度偽造等檢測(cè)工具，開放公共檢測(cè)接口，提升全社會(huì)識(shí)別與應(yīng)對(duì)能力。

三是健全快速響應(yīng)的舉報(bào)與處置機(jī)制，強(qiáng)化執(zhí)法協(xié)同，提升對(duì)侵權(quán)和虛假內(nèi)容的發(fā)現(xiàn)與懲處效率。

四是加強(qiáng)AI倫理教育與公眾科普，培育技術(shù)開發(fā)者的責(zé)任意識(shí)和用戶的防范意識(shí)，推動(dòng)形成政府引導(dǎo)、平臺(tái)盡責(zé)、社會(huì)參與的多元共治格局。

陳兵：精準(zhǔn)而深入整治AI技術(shù)濫用，需要除平臺(tái)外，政府、社會(huì)公眾等多元主體形成合力。特別是廣大自媒體從業(yè)者和入駐平臺(tái)的MCN機(jī)構(gòu)，需增強(qiáng)自身責(zé)任意識(shí)，自覺遵守法律法規(guī)和道德規(guī)范，堅(jiān)持真實(shí)、準(zhǔn)確、客觀的原則發(fā)布信息，不為了流量和關(guān)注而實(shí)施AI濫用行為。

我想提醒的是，用戶也需要提高識(shí)別能力。主動(dòng)了解AI技術(shù)的應(yīng)用特點(diǎn)，在轉(zhuǎn)發(fā)傳播AI生成內(nèi)容前核實(shí)內(nèi)容的來源和真實(shí)性，發(fā)現(xiàn)疑似AI濫用行為時(shí)，及時(shí)向平臺(tái)和監(jiān)管部門舉報(bào)，為凈化網(wǎng)絡(luò)環(huán)境貢獻(xiàn)自己的力量。

監(jiān)管部門除了進(jìn)一步完善AI生成內(nèi)容等法律法規(guī)以外，也要同步加強(qiáng)對(duì)網(wǎng)絡(luò)平臺(tái)、MCN機(jī)構(gòu)、自媒體等的常態(tài)化檢測(cè)機(jī)制，提高對(duì)AI濫用行為的監(jiān)測(cè)、識(shí)別和處置能力，以技術(shù)監(jiān)管技術(shù)。

同時(shí)，積極做好全民數(shù)字素養(yǎng)的培養(yǎng)和提升工作，編制典型案例，做好普法宣傳，以案釋法，以案促規(guī)，做好長期全面系統(tǒng)的工作。

專家簡(jiǎn)介