火熱之外，為什么人工智能很容易上當受騙？
騙子是世界上最古老、最具創新性的職業之一，它可能很快就會有一個新的目標。研究表明，人工智能可能會很容易受到騙子影響，而且隨著它在現代世界中的影響力不斷增長，針對它的攻擊可能會變得越來越普遍。
問題的根源在于，人工智能算法能以與人類極為不同的方式來了解這個世界，因此，對這些算法數據的細微調整就可能令其徹底報廢，但對人類來說卻沒什么影響。
該領域的很多研究都是在圖像識別系統上進行的，特別是那些依賴于深度學習神經網絡的系統。通過向這些系統展示數千個特定物體的圖像來訓練它們，直到它們能夠提取出這些圖像共同的特征，從而能夠在一群新圖像中識別這一物體。
但他們提取的特征不一定是人類想要的那種高級特征，例如示意牌上的停止字樣，或是狗身上的尾巴。這些系統分析單個像素級別的圖像，以檢測它們之間共有的模式。這些模式可以是像素值的模糊組合，人類不可能識別出來，但在預測一個特定的物體時卻非常準確。
這意味著，通過識別這些模式，并將它們應用到不同的圖像上，攻擊者可以令對象識別算法上當，讓它看到一些實際上不存在的東西，而這些東西對人類來說也不太明顯。這種操縱被稱為敵對攻擊。
早期嘗試以這種方式欺騙圖像識別系統時，需要有權限訪問算法的內部工作機制來破譯這些模式。但在2016年，研究人員展示了一種黑匣子式的攻擊模式，使系統能夠在不知道其內部工作原理的情況下受騙。
通過給系統輸入篡改過的圖像，并觀察它的分類方式，他們能夠計算出系統所關注的內容，從而生成一些可以欺騙系統的圖像。重要的是，這些被篡改過的圖像在人眼看來也沒有明顯的不同。
對這些方法的測試通過直接在算法中輸入經過修改的圖像數據來進行的，但在最近，類似的方法已經在現實世界中得到了應用。去年，有研究顯示，將修改過的圖像用智能手機拍下來后，成功地騙過了圖像分類系統。
另一組研究表明，戴著特殊設計的、能讓人產生錯覺的眼鏡會讓面部識別系統誤以為某些人是明星。今年8月，科學家們發現，在特定配置中添加標簽來阻止信號出現，可能會導致人們設計出一個新的神經網絡，以便對這些信號進行識別及分類。
最后兩個例子強調了這項技術的一些潛在的灰色應用。讓自動駕駛汽車錯過停車標志可能會引發事故。如果面部識別技術在生物識別安全應用中變得越來越流行，那么對騙子來說就很有必要學會如何假裝成他人。
意料之中的是，人們已經采取了一些措施來抵御敵對攻擊的威脅。特別是研究已表明，深層神經網絡可以被訓練來探測上述提到的假圖像。根據博世研究中心的一項研究提出了探測器的策略，敵對攻擊可以騙過探測器，而探測器的訓練機智能讓攻擊失效，未來可能會出現相應的軍備競賽。
雖然圖像識別系統的受騙過程可以作為簡單直觀的演示，但它們并不是唯一存在風險的機器學習系統。用于擾亂像素數據的技術也可以應用于其他類型的數據。
中國研究人員發現，在句子中加入特定的詞語或拼錯一個單詞，m.haojoj.com，可以完全干擾到那些用于分析文本的機器學習系統。另一組實驗表明，在揚聲器中播放的聲音失真，可以令運行谷歌Now語音指令系統的智能手機去訪問特定的網址，下載惡意軟件。
最后一個例子是一個更令人擔憂的應用，或許也是近期會發生的：繞過網絡安全防御。該行業正越來越多地使用機器學習和數據分析來識別惡意軟件及其入侵，但這些系統也非常容易受騙。
在今年夏天的黑客大會上，庫卡機器人何服電機維修，一家安全公司演示了他們如何繞過反惡意軟件的人工智能，其方法與黑匣子攻擊圖像分類器的方法類似，但使用的是自己的人工智能系統。
他們的系統會將惡意代碼輸入到反病毒軟件中，然后記下系統給出的分數。然后，它用遺傳算法反復修改代碼，直到能夠繞過防御，同時保持其功能。
目前為止所提到的所有方法都集中在對預先訓練的機器學習系統進行欺騙，但網絡安全行業的另一個主要關注點是數據中毒。這一觀點認為，將錯誤數據引入機器學習系統的訓練集將導致它開始對事物進行錯誤分類。
這對于反惡意軟件系統來說尤其具有挑戰性，這些系統會不斷更新，以納入新的病毒數據。一種相關的方法用數據對系統進行了轟炸，這些數據被設計用來做出錯誤判定，這樣一來，防御者將能夠重新調整自己的系統，攻擊者就可以進入了。
這些方法在自然狀況下能夠被使用的可能性有多大，取決于潛在的回報以及攻擊者的熟練程度。上面描述的大多數技術都需要高水平的專業知識，但獲取培訓材料和機器學習工具卻變得越來越容易。
多年來，簡單版本的機器學習一直是垃圾郵件過濾器的核心技術，KUKA機器人電路板維修，而垃圾郵件發送者們已經開發出了一系列的創新解決方案來繞過它們。隨著機器學習和人工智能越來越多地融入我們的生活，欺騙它們的回報很可能會超出成本。