警惕引流新套路 AI生成視頻“以假亂真”暗藏誤導風險

近年來，生成式人工智能技術被廣泛應用，在為人們提供便利的同時，也讓造謠者有了可乘之機。近期就有多起AI生成謠言在網絡廣泛傳播，誤導公眾認知，破壞網絡環境。

今年11月28日網友上傳的一段視頻，一名模特在展出的車輛旁邊，衣著暴露，且做出不雅動作。而當天車企并沒有安排模特為車輛宣傳，車企選擇報警。

12月10日，廣州警方通報：“車展不雅視頻”事件：李某為炫耀個人技術用AI生成虛假視頻，被行拘10日。

珠峰裝電梯、長城貼瓷磚、黃河設玻璃護欄是近幾年出現的典型的網絡謠言。不過最近，網絡上珠峰裝電梯視頻依靠AI生成工具，制作得更加精良，再次席卷而來。

內容雖然荒唐，但是因為傳播廣泛，官方緊急辟謠，西藏相關部門稱，目前珠峰暫無安裝電梯計劃，網傳圖文視頻為AI生成的虛假信息。部分營銷號利用AI偽造西藏各類打卡景點的虛假圖文視頻，用虛假話術吸引流量，提醒網民切勿相信此類謠言。

明確所有AI生成內容都要“亮明身份”

以上這些利用AI生成的謠言視頻，效果都達到了“以假亂真”的程度，而且在發布傳播的過程中，都沒有標注AI生成標識，其結果就是，給網友錯覺認為這是真的。

事實上，今年9月1日起，《人工智能生成合成內容標識辦法》正式施行，明確所有AI生成的文字、圖片、視頻等內容都要“亮明身份”，標注AI生成的標識。通常人工智能生成的視頻或者圖片以及文字標識問題，涉及三個主體：AI生成工具，信息發布和發布信息的平臺，每一個環節都應標注。

如何“打上”AI生成標識？總臺記者演示

總臺記者也針對AI生成標識的標注進行了演示。

總臺央視記者 崔世杰：我給AI工具一個提示，讓他用雪山、湖泊和老虎制作一張圖片，AI給的圖片是這樣的。這張圖就是典型的人工智能生成的圖片，AI標識在哪里呢，在圖片的左上角寫有AI生成字樣，如果下載到手機中，標識會到右下角。

信息發布者如何在自己的發布的信息中打上AI制作的標識呢？以視頻號為例，打開已經發布的信息，在下邊找到這個箭頭標記，點開，找到視頻標注的選項點擊，這里有幾個選項、內容為AI制作、內容為虛構劇情，點AI制作。再看視頻下方會有一行字，作者提示，內容為AI技術制作。

一些人為了博眼球將AI生成標識二次加工給去掉，發到平臺上。這時候作為謠言散布的最后守門員，平臺就要去識別，并且打上標識。刷短視頻時一定看到過這樣的文字，在視頻下方寫著內容可能使用了AI圖像編輯技術，請注意甄別。這行字就是平臺識別判斷后加上去的。

平臺如何檢測AI生成內容？為何有漏網之魚？

有了法律法規，技術上也會進行標注提示，為何網絡平臺還會出現此類謠言視頻？記者走訪了視頻平臺和AI生成研究團隊，來看看為何會有部分AI生成謠言成為漏網之魚，進而誤導網友。

相關數據顯示，短視頻平臺面對的是每天以億為單位的網民上傳的內容。

某平臺生態運營經理 陳詠月：目前，平臺對AI生成內容的審核采用的是機審和人審相結合的方式，也在不斷強化識別能力。具體來說，平臺通過收集樣本，利用AI能力，訓練了多個對AIGC內容識別的模型，來識別一條視頻內容是否是AI制作的。

那么具體AI識別工具在識別是否為AI生成的作品時，會留意哪些方面呢。

中國計算機學會計算機安全專委會執行委員 潘季明：首先是針對文本的統計特征分析技術，尋找AI寫作過于平穩、缺乏人味的“機器指紋”。其次是基于深度學習模型的檢測技術，通過對特定生成算法的缺陷進行識別，分析像素和頻域中存在的AI生成偽影，如紋理重復或特定圖案。第三是多模態融合檢測技術，利用大模型的通用理解能力來捕捉跨模態、高級語義上的不一致來實現。

不過平臺和專家也坦言，現在的AI工具的識別能力，還無法做到完全準確，其主要原因AI生成工具在不斷成熟，而AI識別工具始終處于追趕狀態。這讓AI謠言類信息未被檢測出來難以避免。

陳詠月：但是技術在不斷發展，模型識別的結果并不一定完全準確。

潘季明：現在主流的檢測技術主要面臨三大困難。一是存在理論瓶頸，隨著AI模型能力不斷增強，其輸出的統計特征越來越接近人類高質量作品，導致理論上僅靠統計指標已無法區分，也就是概率分布重疊。其次是文本只需簡單潤色或同義詞替換；圖像只需壓縮或截圖就能破壞水印或偽影，使檢測器失效。第三是泛化性不足，檢測器通常是針對舊模型訓練的，面對新的、未見過的AI生成模型，檢測效果會顯著下降，導致檢測始終處于“滯后”狀態。

AI提供者創作者及平臺應共同防范AI濫用

專家表示，防范AI濫用不僅是識別工具技術更新問題，同時也要加速建立“數字信任生態體系”。

陳詠月：AI濫用的治理是個系統性工程，網絡黑灰產為了利益也會進行技術升級，還會有更多的技術對抗。所以對AI濫用的治理仍然需要AI服務提供者、創作者、內容傳播平臺、廣大用戶共同努力。

潘季明：通過深化利用多模態融合分析、動態對抗訓練技術以及區塊鏈存證追溯等技術，結合內容標識法規、行業統一的檢測標準，以及可解釋的檢測結果等治理框架，共同實現從被動識別到主動驗證，從局部鑒別到全局可信的識別追蹤方案。