隨著大模型等生成式人工智能技術的快速發展，生成內容質量顯著提升、生成速度明顯加快、適用場景大幅擴展，人工智能產業走深向實，逐步進入了規�；瘧秒A段。生成合成技術開始呈現工具化和普及化趨勢，普通人都可以輕松地接觸到各種生成合成工具。與此同時，各種安全問題也隨之顯現，譬如用AI生成虛假信息、AI換臉明星直播帶貨、AI實時換臉詐騙等違規甚至違法的事件頻發。
為規范人工智能技術服務應用，維護國家安全和社會公共利益，國家互聯網信息辦公室會同多部門發布的《人工智能生成合成內容標識辦法》（以下簡稱《標識辦法》），秉持兼容并蓄的理念，通過技術手段管理技術問題，探索科學高效的治理手段。
一、人工智能走深向實，安全治理進入“深水區”
近期隨著人工智能應用技術里程碑式的突破，生成式人工智能應用呈現爆炸式增長，同時也出現了各類AI技術濫用現象頻發。兩會期間多名代表、委員提交議案和提案呼吁，要對AI生成內容進行規范和治理，人工智能安全治理已從危害探討進入到實際執法的深水區。
一是生成合成內容質量顯著提升，普通民眾難以辨識真偽。當前大模型能夠生成高真實感的文本、人像、場景、音頻，普通民眾不借助檢測工具已經很難辨別內容真偽。二是生成合成數據規�？焖僭鲩L，傳統安全治理體系面臨挑戰。隨著生成式人工智能技術在各個行業落地應用，生成合成內容的數據規模快速增長，對生成內容進行全面檢測成本太高，需要技術和政策結合才能實現高效治理。三是生成合成內容適用場景大幅擴展，助長欺騙場景多樣化。由于技術成熟程度的局限，以前的偽造內容主要針對人臉區域。隨著生成技術的突破，已經可以實現高逼真的場景和動作生成，以及換臉變聲視頻的實時生成，各種新型的詐騙場景讓民眾防不勝防，急需出臺相關的治理辦法。
二、《標識辦法》開拓主動防御、全民共治的新局面
《標識辦法》從內容標識的關鍵環節入手，以主動防御、行業自主的方式構建全流程的規范要求，有效應對炮制虛假信息等誤用、濫用生成合成技術的行為。
一是制作平臺主動標識�！稑俗R辦法》要求提供人工智能生成合成內容制作服務的服務提供者在其制作內容中添加不影響用戶使用的隱式標識，并在可能導致公眾混淆或者誤認的生成合成內容的合理位置、區域添加顯式標識。在生成合成內容制作源頭進行提醒提示。二是傳播平臺主動檢測�！稑俗R辦法》明確提供網絡信息內容傳播服務的服務提供者，主動核驗待發布文件元數據中是否含有隱式標識，判斷用戶的聲明內容，采用技術手段檢測發布內容中是否包含顯式標識或其他生成合成痕跡，并采取適當措施在發布內容周邊添加顯著的提示標識，在生成合成內容傳播路徑進行提醒提示。三是應用程序分發平臺主動核驗。《標識辦法》第七條要求互聯網應用程序分發平臺在應用程序上架或上線時，核驗提供人工智能生成合成服務應用程序的標識相關材料，在應用程序分發階段落實標識管理要求。四是網民用戶主動聲明�！稑俗R辦法》第十條要求用戶在發布信息內容時，主動聲明發布內容的生成合成屬性，并使用服務提供者提供的標識功能添加必要的內容標識，在生成合成內容的發布階段進行規范要求。
三、《標識辦法》推動鑒偽技術與時俱進、對抗升級
《標識辦法》提出了明確的標識管理要求，標識數據可為鑒偽模型提供豐富多樣、來源廣泛的高質量訓練樣本，從而推動鑒偽技術與時俱進地迭代升級，及時適應人工智能技術的高速發展進步。
一是加快數據層面的生態閉環�！稑俗R辦法》聯動標識技術規范與鑒偽治理手段，一方面高質量的訓練數據可以顯著提高鑒偽模型的能力和效果，另一方面，多樣化的帶標業務場景可以全面驗證鑒偽系統能力，從而實現數據層面“生成-標識-檢測”的生態閉環，進一步推動基座化偽造檢測能力的構建。二是促成多模態鑒偽的功能躍遷�！稑俗R辦法》明確了文本、圖片、音頻、視頻等多種模態的標識方法，顯著提升用戶對各模態生成內容感知能力的同時，也為多模態鑒偽提供了視覺錨點，加速了高質量多模態數據集構建。通過多模態特征對齊、動態對抗訓練等技術方法，進一步提高了多模態內容的鑒偽能力，增強鑒偽能力的泛化性和適用性。三是推動偽造溯源的技術突破。元數據隱式標識中的平臺編碼與內容編號構成溯源鏈路，支持通過元數據快速定位違規內容來源，助力偽造溯源技術的能力突破，從而實現更加精準地檢測識別和技術應對。
四、深度配套標識實施，建議加快鑒偽能力推廣普及
面對人工智能生成合成技術不當應用導致的內容安全風險，《標識辦法》構筑了全面深入的管理陣地。同時還應該配套打造與時俱進的鑒偽技術防線，融合運用管理手段和技術應對，協同推進行業自律和全民監督的社會治理體系。
一是構建基座化鑒偽底座模型，提升泛化適用性能。大模型生成技術迭代更新很快，平均兩個月就會出現新的里程碑模型，提升針對新生偽造方法的泛化能力至關重要，需要摒棄“來一個打一槍”的事后思維，構建AI鑒偽底座模型，加強鑒偽模型的泛化適用性能，以大模型對抗大模型。二是研究精準化對抗鑒偽技術，防范惡意逃避風險。針對金融詐騙、虛假信息等強對抗、高風險犯罪，造假者會通過內容壓縮、隱蔽投毒等各種手段逃避標識義務和偽造檢測，這就需要在施加對抗意圖和手段的條件下保證高精度專項檢測能力，針對性地提升檢測效果。三是降低對無害生成內容傳播的影響，兼顧生成內容應用的發展與治理。從技術層面來說，正向應用和違法犯罪應用依賴的算法、模型本質上沒有區別，因此需要從大量無害生成內容中精準識別有害偽造內容，保障無害內容正常傳播的權利。四是打造全民化偽造檢測工具，推動人人可用鑒偽。全民監督的社會共治，要加大科普力度，提高民眾對生成式人工智能的認識，同時向民眾提供易用的鑒偽服務，為普通用戶在身份驗證、信息鑒定等日常生活場景中及時發現偽造內容提供便利，形成全民共治管理效能，全面保障公民隱私和財產安全。（作者：曹娟 中國科學院計算技術研究所數字內容合成與偽造檢測實驗室主任，研究員）
