將一張“神奇貼紙”貼在臉上，就能讓人臉識別門禁系統出現誤判，毫無防備地為陌生人打開大門；把這張“貼紙”放置在眼鏡上，一秒鐘之內，手機的人臉識別系統就被解鎖，黑客獲取用戶隱私數據如入無人之境……這并非科幻片中的想象，而是首屆人工智能安全大賽展示的真實攻防場景。


       和其他通用技術一樣，近年來，人工智能技術在高歌猛進的同時，也帶來了新的風險和隱患。中國科學院院士張鈸表示，人工智能的發展正站在歷史新起點，伴隨算力、數據等條件的具備以及機器學習等技術的進步，人工智能在計算機視覺、自然語言處理等眾多領域取得長足發展，各行各業應用蓬勃興起。與此同時，以數據驅動的第二代人工智能的可解釋性、魯棒性等方面的缺陷也暴露出來，安全事件頻頻發生。

       在現實生活中，人工智能技術風險發生的范圍正隨著應用場景的日趨廣泛而逐步擴大，風險發生的可能性也隨著其應用頻次的增長而持續提高。人臉識別破解演示所揭示的正是人工智能系統的風險，它來自深度學習算法本身的脆弱性。以深度學習算法為核心的第二代人工智能是個“黑盒子”，具有不可解釋性，意味著系統存在結構性漏洞，可能存在不可預知的風險，典型場景就是“神奇貼紙”，通過在輸入數據中添加擾動，使系統作出錯誤判斷。

       這一漏洞也存在于自動駕駛感知系統中。在正常情況下，識別到路障、指示牌、行人等目標后，自動駕駛車輛就會立即停車，但在對目標物體上添加干擾圖案后，車輛的感知系統就會出錯，導致碰撞危險。

       統籌發展和安全，是每項新技術發展過程中面臨的必然問題，如何實現高水平發展和高水平安全的良性互動，也是當前人工智能產業發展的重大命題。專家認為，從目前來看，重視人工智能安全體系建設，既是當務之急，也是長遠考慮，需加快促進人工智能安全領域關鍵技術研究與攻防實踐。

       人工智能對抗攻防包括對抗樣本、神經網絡后門、模型隱私問題等多方面技術。模型有錯誤就需要進行及時修復，中國科學院信息安全國家重點實驗室副主任陳愷提出“神經網絡手術刀”的方法，通過定位引發錯誤的神經元，進行精準“微創”修復。他表示，不同于傳統的模型修復工作需要重新訓練模型或者依賴于較大量的數據樣本，這種方式類似于“微創手術”，只需極少量或無須數據樣本，能夠大幅提升模型修復效果。

       開放環境下的人工智能系統面臨諸多安全挑戰，如何解決通用人工智能算法全周期的安全保障問題成為重中之重。專家建議，未來的人工智能安全應該圍繞從數據、算法到系統各個層次上的全面評測，同時配合一個從硬件到軟件的安全可信計算環境。

       人工智能安全治理需要廣泛協作和開放創新，需加強政府、學術機構、企業等產業各參與方的互動合作，建立積極的生態規則。工商銀行金融研究院安全攻防實驗室主管專家蘇建明建議，在政策層面加快人工智能的立法進程，加大對人工智能服務水平、技術支撐能力等專項監督的考核力度。在學術層面加大對人工智能安全研究的激勵投入，通過產學研合作模式加快科研成果的轉化與落地。在企業層面逐步推動人工智能技術由場景拓展向安全可信發展轉變，通過參與標準制定，推出產品服務，持續探索人工智能安全實踐及解決方案。

       此外，在人工智能的全生命周期，不僅存在算法層面的安全性問題，算力作為人工智能發展的重要基礎設施，也面臨諸多風險，推動人工智能算力基礎設施安全發展具有重要意義。由國家工業信息安全發展研究中心與華為、北京瑞萊智慧共同發布的《人工智能算力基礎設施安全發展白皮書》認為，人工智能算力基礎設施既是“基礎設施”又是“人工智能算力”，同時也是“公共設施”，具有基建屬性、技術屬性、公共屬性三重屬性。相應地，推動人工智能算力基礎設施安全發展應從強化自身安全、保障運行安全、助力安全合規三個方面發力，通過強化自身的可靠性、可用性與穩定性，保障算法運行時的機密性與完整性，圍繞提升用戶的安全管控力、認可度與合規性等八個領域筑牢人工智能安全防線，打造可信、可用、好用的人工智能算力底座，營造安全、健康、合規發展的人工智能產業生態。

       “錨定怎樣的發展理念，選取怎樣的技術路線使下一代人工智能實現安全、可信、可靠的發展，將是我們這代人為未來智能世界繪制的藍圖底色。”張鈸表示，“多年來我們一直倡導構建第三代人工智能，即融合知識、數據、算法、算力四個要素，建立新的可解釋、魯棒的人工智能方法。”從長遠看，人工智能的安全問題，需要從算法模型的原理上突破，唯有持續加強基礎研究，才能破解核心科學問題，同時，人工智能的未來發展需確保對整個社會、國家發展的有效性和正向促進性，需要政產學研用多方協同共進。