久久久精品国产sm最大网站_亚洲熟妇无码AV不卡在线播放_欧美日韩免费一区中文_国产日产久久高清欧美一区

“隨著深度學(xué)習(xí)應(yīng)用越來(lái)越廣泛，越來(lái)越多的人工智能安全問(wèn)題也開(kāi)始暴露出來(lái)?！蹦暇├砉ご髮W(xué)計(jì)算機(jī)學(xué)院教授李千目說(shuō)，深度學(xué)習(xí)框架中的軟件實(shí)現(xiàn)漏洞、對(duì)抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等都可能導(dǎo)致人工智能所驅(qū)動(dòng)的識(shí)別系統(tǒng)出現(xiàn)混亂，形成漏判、誤判，甚至導(dǎo)致系統(tǒng)崩潰或被劫持，并可以使智能設(shè)備變成僵尸攻擊工具。

對(duì)于人工智能潛在的造假“作惡”，由李千目帶領(lǐng)的研究團(tuán)隊(duì)所開(kāi)展的“面向人工智能對(duì)抗性惡意樣本的監(jiān)測(cè)技術(shù)”，可以有效提高在對(duì)抗環(huán)境中對(duì)惡意軟件監(jiān)測(cè)的可靠性和安全性，讓攻擊仿佛打在“棉花”上一樣綿軟無(wú)力。這項(xiàng)研究成果已在人工智能?chē)?guó)際學(xué)術(shù)會(huì)議AAAI2019上發(fā)表，算法及其實(shí)驗(yàn)獲得大會(huì)“挑戰(zhàn)問(wèn)題贏家”獎(jiǎng)，這也是中國(guó)信息安全學(xué)者首次獲得該獎(jiǎng)項(xiàng)。

在李千目看來(lái)，人工智能系統(tǒng)的攻擊技術(shù)主要包含對(duì)抗性輸入、數(shù)據(jù)中毒攻擊及模型竊取技術(shù)三個(gè)方面。他說(shuō)，對(duì)抗性輸入攻擊是一種專(zhuān)門(mén)設(shè)計(jì)的輸入，確保被誤分類(lèi)以躲避檢測(cè)。當(dāng)前，這一手段已被大量使用在專(zhuān)門(mén)用來(lái)躲避防病毒程序的惡意文檔、試圖逃避垃圾郵件過(guò)濾器的電子郵件等多種場(chǎng)景。數(shù)據(jù)中毒攻擊涉及向分類(lèi)器輸入對(duì)抗性訓(xùn)練數(shù)據(jù)，最常見(jiàn)的攻擊類(lèi)型是模型偏斜，攻擊者以這種方式污染訓(xùn)練數(shù)據(jù)，使得分類(lèi)器在歸類(lèi)好數(shù)據(jù)和壞數(shù)據(jù)時(shí)向自己的偏好傾斜。模型竊取攻擊則是通過(guò)黑盒來(lái)探測(cè)/竊?。磸?fù)制）模型或恢復(fù)訓(xùn)練數(shù)據(jù)身份，比如，可以用來(lái)竊取某股市預(yù)測(cè)模型或者某垃圾郵件過(guò)濾模型。

李千目指出，對(duì)抗攻擊的理論基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)的兩個(gè)“bug”：一是高維神經(jīng)網(wǎng)絡(luò)的神經(jīng)元并不是代表著某一個(gè)特征，而是所有特征混雜在所有神經(jīng)元中；二是在原樣本點(diǎn)上加上一些針對(duì)性的、不易察覺(jué)的擾動(dòng)，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)的分類(lèi)錯(cuò)誤。

針對(duì)典型智能算法訓(xùn)練過(guò)程中存在的數(shù)據(jù)來(lái)源未知和算法參數(shù)被污染的安全風(fēng)險(xiǎn)，李千目團(tuán)隊(duì)開(kāi)始研究對(duì)抗性攻擊樣本生成模型，并設(shè)計(jì)相應(yīng)的對(duì)抗性樣本算法，來(lái)實(shí)現(xiàn)對(duì)抗性攻擊樣本生成?！拔覀儑L試增強(qiáng)深度學(xué)習(xí)模型，主要利用人工智能分類(lèi)器對(duì)惡意軟件進(jìn)行分類(lèi)，以惡意軟件為輸入樣本，分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集兩部分?！彼榻B說(shuō)，在訓(xùn)練階段，訓(xùn)練多個(gè)人工智能分類(lèi)器的集合，在每個(gè)分類(lèi)器上都將所提出的原則系統(tǒng)化地加以運(yùn)用；在測(cè)試階段，將樣本輸入至每個(gè)分類(lèi)器，最后根據(jù)所有分類(lèi)器的投票結(jié)果確定樣本是否為對(duì)抗性惡意軟件。

李千目介紹，該領(lǐng)域的研究在國(guó)內(nèi)外都處于起步階段，相信在兩年內(nèi)會(huì)有突破性成果出現(xiàn)，“就目前來(lái)說(shuō)，我們的研究處于國(guó)際同類(lèi)研究的先進(jìn)水平。比如，可用于規(guī)范工業(yè)互聯(lián)網(wǎng)、智能無(wú)人系統(tǒng)等領(lǐng)域的頂層安全設(shè)計(jì)，通過(guò)統(tǒng)一智能系統(tǒng)的安全體系架構(gòu)，增強(qiáng)無(wú)人系統(tǒng)等智能系統(tǒng)的安全互聯(lián)互通互操作能力，提升智能系統(tǒng)的信息防御能力；也可用于指導(dǎo)智能平臺(tái)、工業(yè)互聯(lián)網(wǎng)的產(chǎn)品安全研制，通過(guò)通用化、標(biāo)準(zhǔn)化、組件化，使得各種安全功能構(gòu)件可重用、可替換，大量減少采購(gòu)費(fèi)用等。”

“不過(guò)，這項(xiàng)研究和其他研究不同，即便是階段性成果，也可以在領(lǐng)域里面進(jìn)行應(yīng)用?！崩钋空f(shuō)，因?yàn)閻阂獗O(jiān)測(cè)就像醫(yī)生治病一樣，一個(gè)醫(yī)生不可能治愈所有疾病，但擁有一種有效治療手段就可以將其用于臨床?！澳壳?，我們正牽頭制定某項(xiàng)工業(yè)互聯(lián)網(wǎng)安全的標(biāo)準(zhǔn)，其中就涉及部分研究成果，同時(shí)我們也在某示范項(xiàng)目中推動(dòng)了該成果的應(yīng)用。”