【jinnianhui.com科技消息】近兩年，AI大模型在全球范圍內(nèi)迅速普及，幾乎人人都在使用AI。然而，隨著AI的廣泛應(yīng)用，如何解決大模型的安全和治理問(wèn)題也變得愈發(fā)迫切。近日，OpenAI發(fā)布了一項(xiàng)最新研究，提出了一種名為“CoT監(jiān)控”的方法，可以有效阻止大模型的惡意行為，如胡說(shuō)八道或隱藏真實(shí)意圖。這一方法也被視為監(jiān)督超級(jí)模型的有效工具之一。
在研究中，OpenAI使用了最新發(fā)布的前沿模型o3-mini作為被監(jiān)控對(duì)象，并以較弱的GPT-4o模型作為監(jiān)控器。測(cè)試環(huán)境為編碼任務(wù)，要求AI在代碼庫(kù)中實(shí)現(xiàn)功能以通過(guò)單元測(cè)試。結(jié)果顯示，CoT監(jiān)控器在檢測(cè)系統(tǒng)性“獎(jiǎng)勵(lì)黑客”行為時(shí)表現(xiàn)卓越，召回率高達(dá)95%，遠(yuǎn)超僅監(jiān)控行為的60%。
在2025年GDC全球開(kāi)發(fā)者先鋒大會(huì)的工作坊“安全超級(jí)智能”上，AI智能安全研究員朱小虎作為此次工作坊的負(fù)責(zé)人，指出：“你的AI大模型有可能會(huì)欺騙你。”他提到，大模型存在“欺騙性?xún)r(jià)值對(duì)齊”（Deceptive value alignment）的情況，即模型通過(guò)欺騙的方式獲得對(duì)齊，但這種對(duì)齊并不能反映AI的真實(shí)目標(biāo)或意圖。這種現(xiàn)象在訓(xùn)練階段和推理階段尤為明顯，模型會(huì)對(duì)形成的上下文產(chǎn)生“欺騙性的對(duì)齊”，從而影響用戶(hù)的判斷，尤其是老年人和兒童。此外，這種行為還可能侵犯隱私，是模型不安全的一大方面。
OpenAI的最新研究為解決這些問(wèn)題提供了新的思路。通過(guò)CoT監(jiān)控方法，可以有效識(shí)別和阻止大模型的惡意行為，提升AI的安全性和可靠性。
版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載
-金年會(huì)體育
