不久前，某公眾號運營者鐘某為蹭“海嘯預警”熱點，利用AI生成“30萬居民撤離上?！薄皵?shù)十萬上海市民正排隊登車”等聳人聽聞的言論。這條假消息被大量閱讀、轉發(fā)，引發(fā)恐慌情緒。其后，鐘某被警方拘留。

AI的廣泛應用，為虛假信息的批量生產和病毒式傳播提供了“溫床”，給社會治理帶來挑戰(zhàn)。

9月15日，《人工智能安全治理框架》2.0版正式發(fā)布。中央網信辦負責人表示，要強化規(guī)范引導，不斷完善人工智能安全監(jiān)管制度和標準規(guī)范體系，促進人工智能健康有序發(fā)展。

利用AI造謠日漸頻繁

今年3月，福建廈門公安機關發(fā)現(xiàn)，網上有信息稱：“2025年3月3日，廈門市某化工廠發(fā)生一起嚴重的閃爆事故，造成3人死亡、3人受傷……”公安機關調查發(fā)現(xiàn)，這是發(fā)布者許某通過網上AI助手軟件生成的虛假文章。公安機關對許某予以行政處罰。

人工智能時代，利用AI造謠日漸頻繁。公安部曾發(fā)布多起典型案例。如，湖南公安機關查處編造“民警離職潮”謠言案，江西公安機關查處MCN機構使用人工智能工具造謠案，重慶公安機關查處使用人工智能工具編造“爆炸事故”謠言案，廣東公安機關查處編造“廣州限制外賣配送”謠言案。相關人員均被繩之以法。

清華大學新聞與傳播學院新媒體研究中心2024年發(fā)布的《揭秘AI謠言：傳播路徑與治理策略全解析》研究報告指出，2023年以來，伴隨AIGC技術的高速發(fā)展，一些造謠者不當利用AI工具，使得AI謠言量高速增長。

報告指出，在各類AI謠言信息量占比中，經濟與企業(yè)類謠言和公共安全類謠言占比最多、增速最快，其中餐飲外賣、快遞配送等民生行業(yè)成為謠言重災區(qū)。

記者調查發(fā)現(xiàn)，人工智能技術讓網絡謠言內容更為逼真，常配有偽造的圖片、視頻甚至所謂“官方回應”，極具迷惑性。

中國（深圳）綜合開發(fā)研究院院長助理、數(shù)字經濟與全球戰(zhàn)略研究所所長曹鐘雄等業(yè)內人士認為，AI不僅能高效生成虛假信息，而且可以通過過濾、推薦機制，將虛假信息聚合形成“證據(jù)鏈”，給普通用戶乃至專業(yè)人士造成誤導。

流量變現(xiàn)驅動商業(yè)化黑產

不久前，某著名食品公司向安徽省合肥市公安局經開分局報案稱，多個網絡平臺上集中出現(xiàn)大量虛假、帶有誘導性的負面文章，惡意攻擊公司品牌及產品品質。公安機關立案調查，民警在多個平臺發(fā)現(xiàn)關于該品牌“二氧化硫殘留”“霉變”等內容的文章200余篇，且內容高度雷同。

經公安機關核實，上述內容均為虛假信息。信息發(fā)布者陳某被行政拘留。陳某交代，今年8月，他在網上看到該公司相關信息后，想到知名企業(yè)涉及食品安全問題，容易引發(fā)公眾關注。為博取流量，他使用AI工具編造內容，生成多篇虛假負面文章，在多個平臺集中發(fā)布。

業(yè)內專家指出，傳統(tǒng)謠言生產依賴造謠者人工操作。如今，造謠者使用AI工具，只要輸入特定關鍵詞或指令，便可快速生成內容逼真、欺騙性強的謠言，從而實現(xiàn)謠言的大規(guī)模、高效率生產。

去年3月，江西公安機關查處一起MCN機構使用人工智能工具造謠案。經查，王某某經營有5家MCN機構，共運營自媒體賬號842個，長期組織公司人員選取返回搜狐，查看更多