Copyright 2011-2025 看報紙 版權所有 京ICP備2012156892號
是AI生成的?近日,AI檢測工具屢屢爆出“翻車”的新聞,如《荷塘月色》被標注“62.88%AI率”,《三體》片段被標紅警示,引發公眾對AI檢測工具科學性的熱議。
為探究AI檢測工具的識別能力與技術原理,南方都市報、南都大數據研究院選取了國內10款熱門的文本、圖片AIGC檢測工具進行了抽樣測評。結果顯示:文本檢測工具中,檢測標準參差不齊,明顯誤判、漏檢、亂檢的情況均有存在。而圖片檢測工具中,均對PS后的攝影圖片難以識別。
當AI檢測被用于高校畢業的“門檻”、期刊評審的“硬指標”,一度引發了困惑質疑。在專家看來,當前AI檢測技術尚處于探索階段,誤判或是技術演進的必經過程,強行將不穩定的技術跟學術誠信關聯不可取。但長遠來看,技術迭代與合規框架構建仍需“雙軌并行”。
AI文本檢測
存誤判、漏檢、亂檢“難題”
AI檢測工具靠譜嗎?南都大數據研究院本次測評樣本為知網、PaperPass、萬方、維普、朱雀大模型檢測、挖錯網、大雅、PaperYY、團象、茅茅蟲共10款國內熱門的文本、圖片AIGC檢測工具。
首先是文本類檢測,嘗試使用四類文章來測試對真實文章、以及不同程度AI生成內容的識別率。四篇文章分別是:老舍原著《林?!罚ê珹I率0)、人工撰寫的某學科論文(含AI率0)、使用AI編寫的假新聞(含AI率20%)、AI生成的散文《林?!罚ê珹I率100%)。10款測評樣本工具均有文本AIGC檢測功能,將文章上傳后,幾分鐘內便能得到檢測結果。
進行了40次測試后,從結果來看,工具對不同類型文本的識別有精準性差異,AI文本檢測仍面臨3類待解“難題”:一是將真實文章誤判為AI創作比較常見;其次,近半數工具對AI生成內容的敏感度較低,未能準確檢測出文章中含有的AI內容;第三,檢測缺乏區分度,對無論是真實還是AI生成文章“一視同仁”,存在“亂檢”現象。
茅茅蟲檢測老舍《林?!?9.9%是AI
知網、挖錯網、團象等放過真“AI”
面對老舍經典文學作品《林海》,有7款工具(知網、PaperPass、維普、朱雀、大雅、PaperYY、挖錯網)達到了準確檢測,AI檢測率為0或趨近于0,而茅茅蟲的檢測誤判率最高,為99.9%,萬方將1300余字中的近500字標注為“AI生成”,誤判比例達35.6%。對于人工撰寫的某學科論文,有4款工具(知網、朱雀、PaperYY、團象)的AI檢測率為0,茅茅蟲、維普的檢測誤判率最高,均超過了九成。