①“紅隊(duì)”測(cè)試一直是AI開(kāi)發(fā)的重要一環(huán),旨在招募各個(gè)領(lǐng)域的專家挖掘AI潛在的漏洞和風(fēng)險(xiǎn)點(diǎn);②對(duì)于OpenAI來(lái)說(shuō),這有助于模擬各個(gè)專業(yè)領(lǐng)域的“惡人”會(huì)如何濫用AI。
財(cái)聯(lián)社9月20日訊(編輯 史正丞)北京時(shí)間周三凌晨,美國(guó)科技初創(chuàng)公司OpenAI發(fā)布公告,宣布啟動(dòng)全球招募“紅隊(duì)”網(wǎng)絡(luò)成員,旨在引入外部力量,提前挖掘出AI系統(tǒng)存在的缺陷和風(fēng)險(xiǎn)。
(來(lái)源:OpenAI)
所謂的“紅隊(duì)”網(wǎng)絡(luò),即Red Teaming,概念來(lái)自于軍事模擬。即找一隊(duì)人來(lái)模擬假想的“敵人”,來(lái)測(cè)試本方(即“藍(lán)隊(duì)”)的準(zhǔn)備水平。在AI領(lǐng)域中,“紅隊(duì)”的任務(wù)就是模擬黑客或者其他的潛在危險(xiǎn)人物,試圖找到大語(yǔ)言模型的漏洞,從而避免AI在現(xiàn)實(shí)社會(huì)中協(xié)助從事危害社會(huì)安全等不法目的。
OpenAI表示,過(guò)去幾年里一直有不同領(lǐng)域的專家來(lái)協(xié)助測(cè)試未發(fā)布的模型,現(xiàn)在則是要組建一支“常規(guī)部隊(duì)”,網(wǎng)羅大量來(lái)自不同地域、不同語(yǔ)言、不同專業(yè)領(lǐng)域、不同生活經(jīng)驗(yàn)的人,共同使得AI模型更加安全。與過(guò)往僅在重要版本上線前招一批人集中測(cè)試不同,OpenAI將會(huì)根據(jù)需求在整個(gè)開(kāi)發(fā)周期中啟用數(shù)量不定的成員展開(kāi)測(cè)試。
同時(shí)這個(gè)“紅隊(duì)”網(wǎng)絡(luò)也將成為OpenAI的全球?qū)<規(guī)欤瑫r(shí)OpenAI也會(huì)提供平臺(tái),讓“紅隊(duì)”成員之間進(jìn)行交流。OpenAI也在官網(wǎng)上列出部分他們希望招募的專家方向,但也強(qiáng)調(diào)并不局限于這些領(lǐng)域。
Cognitive Science:認(rèn)知科學(xué)
Chemistry:化學(xué)
Biology:生物學(xué)
Physics:物理學(xué)
Computer Science:計(jì)算機(jī)科學(xué)
Steganography:隱寫(xiě)術(shù)
Political Science:學(xué)
Psychology:心理學(xué)
Persuasion:說(shuō)服
Economics:經(jīng)濟(jì)學(xué)
Anthropology:人類學(xué)
Sociology:社會(huì)學(xué)
HCI (Human-Computer Interaction):人機(jī)交互
Fairness and Bias:公平與偏見(jiàn)
Alignment:目標(biāo)對(duì)齊
Education:教育
Healthcare:醫(yī)療保健
Law:法律
Child Safety:兒童安全
Cybersecurity:網(wǎng)絡(luò)安全
Finance:金融
Mis/disinformation:誤/假信息
Political Use:應(yīng)用
Privacy:隱私
Biometrics:生物識(shí)別
Languages and Linguistics:語(yǔ)言與語(yǔ)言學(xué)
順便一提,OpenAI也表示會(huì)給參與“紅隊(duì)”項(xiàng)目的成員支付酬金(不過(guò)沒(méi)講具體會(huì)給多少錢(qián))。OpenAI也強(qiáng)調(diào),參與“紅隊(duì)”的項(xiàng)目一般會(huì)要求簽署保密協(xié)議,或者在某一段不特定的時(shí)間內(nèi)保持沉默。
OpenAI表示,申請(qǐng)通道將會(huì)在今年12月1日前保持開(kāi)放,公司將滾動(dòng)審核申請(qǐng),后續(xù)將評(píng)估是否需要再進(jìn)行公開(kāi)招募。
走上臺(tái)面的OpenAI“紅隊(duì)”成員
正如OpenAI所述,“紅隊(duì)”的建制已經(jīng)存在很久,而且有不少成員已經(jīng)接受過(guò)媒體的公開(kāi)專訪了。
在今年4月英國(guó)《金融時(shí)報(bào)》的揭秘文章中,美國(guó)羅徹斯特大學(xué)的化學(xué)工程教授Andrew White介紹稱他參加了GPT-4的“紅隊(duì)”測(cè)試,他的攻擊目標(biāo)是用ChatGPT來(lái)創(chuàng)造一種全新的神經(jīng)毒素。White表示他用了“插件”功能,向大模型輸送化學(xué)論文和化學(xué)制造商的目錄,大模型甚至還給他找到了一個(gè)可以生產(chǎn)假想毒素的地方。
White表示,大模型最終可以幫助許多人更快、更準(zhǔn)確地做化學(xué)試驗(yàn),但這里也有一個(gè)嚴(yán)重的危險(xiǎn),就是會(huì)有些人拿AI去做一些危險(xiǎn)的嘗試。
在得到White的反饋后,OpenAI對(duì)系統(tǒng)做出了改動(dòng),確保不會(huì)回應(yīng)類似的提問(wèn)。根據(jù)媒體找到的10來(lái)個(gè)背景迥異的“紅隊(duì)”成員——有律師、教師、風(fēng)控人員、安全研究人員等,大多數(shù)都位于美國(guó)和歐洲。他們透露,在GPT-4發(fā)布前的幾個(gè)月里,他們大致花了10-40個(gè)小時(shí)來(lái)測(cè)試這個(gè)系統(tǒng),報(bào)酬大概是每個(gè)小時(shí)100美元。