紐約大學心理學與認知科學教授馬庫斯最近和人工智能企業(yè)“深層思維”（DeepMind）杠上了。繼前不久在推特（Twitter）上質(zhì)疑美國通用人工智能研究組織OpenAI的解魔方機械手之后，近日他又對“深層思維”新推出的《星際爭霸2》智能體“阿爾法星”（AlphaStar）進化版提出六大質(zhì)疑。此次，他的質(zhì)疑點并不是游戲表現(xiàn)本身，而是指向了更高的層面：未來通用智能研究的意義。

　　近年最酷成果都來自深度強化學習

　　此次OpenAI推出的解魔方機器手，并不是像以往一樣使用專業(yè)算法來解決某一個特定任務(wù)（如果換一個任務(wù)，還需要重新編程），而是通過某種學習方法，對機器人進行訓(xùn)練，讓機械手具備類人手的解決問題的能力。但馬庫斯卻認為這個成果描述有誤導(dǎo)，更恰當?shù)拿枋鰬?yīng)該是“用強化學習操縱魔方”或者是“用靈巧的機器人手操縱物體的進展”。

　　“馬庫斯過于強調(diào)‘用強化學習操縱魔方’有點挑剔字眼，其實OpenAI魔方機器手和‘深層思維’發(fā)布的《星際爭霸2》智能體‘阿爾法星’進化版都使用了深度強化學習技術(shù)。深度強化學習是目前公認的在現(xiàn)有技術(shù)中最有可能實現(xiàn)通用人工智能的技術(shù)。”天津大學智能與計算學部軟件學院副教授郝建業(yè)解釋說，目前機器學習有三大分支，監(jiān)督學習、非監(jiān)督學習和強化學習，深度學習屬于監(jiān)督學習里目前最主流的一類技術(shù)。深度強化學習是深度學習與強化學習的融合，是將深度神經(jīng)網(wǎng)絡(luò)整合到強化學習框架當中。

　　“近幾年，深度強化學習發(fā)展迅猛，它在處理復(fù)雜、多方面和決策問題方面顯示出巨大的潛力。目前深度強化學習技術(shù)主要應(yīng)用在一些游戲、比賽中。”郝建業(yè)介紹，2016年，谷歌的“阿爾法圍棋”（AlphaGo）擊敗了世界頂級圍棋選手李世石、柯潔，轟動一時，成為人工智能領(lǐng)域的一個里程碑。“阿爾法圍棋”的核心就在于使用了深度強化學習算法，使得計算機能夠通過自對弈的方式不斷提升棋力。此后又有臉書（Facebook）在DOTA2游戲中打敗了頂級職業(yè)選手；CMU團隊研發(fā)的德州撲克AI冷撲大師輕松擊敗頂級玩家。

　　此外，“深層思維”還運用深度強化學習優(yōu)化了數(shù)據(jù)中心的耗能；谷歌則利用深度強化學習完成深度神經(jīng)網(wǎng)絡(luò)的自動架構(gòu)搜索，提出了AutoML服務(wù)，借此將機器學習作為一種服務(wù)推廣到千家萬戶。在我國，對于深度強化學習技術(shù)的應(yīng)用也不少，阿里、騰訊、百度等國內(nèi)團隊將深度強化學習應(yīng)用到搜索、推薦、營銷、派單和路徑規(guī)劃等實際問題的決策中。

　　最有可能實現(xiàn)通用人工智能的技術(shù)

　　人工智能發(fā)展到現(xiàn)在的高度，技術(shù)上較大的功臣應(yīng)該屬于深度學習算法。深度學習利用多層神經(jīng)網(wǎng)絡(luò)，從海量的數(shù)據(jù)中學習，從而實現(xiàn)對未來的預(yù)測，并使人工智能系統(tǒng)越來越智能。目前我們應(yīng)用的安防監(jiān)控、自動駕駛、語音識別、百度地圖等都是深度學習技術(shù)在圖像視覺、語音識別、自然語言理解等領(lǐng)域的應(yīng)用。

　　而強化學習也是目前機器學習領(lǐng)域的熱門技術(shù)，與基于已知標簽訓(xùn)練模型的監(jiān)督學習不同，強化學習能夠在沒有計算機的明確指示下，像人一樣實現(xiàn)自主學習。當達到一定的學習量之后，強化學習系統(tǒng)就能夠預(yù)測出正確的結(jié)果。“強化學習的基本思想是，學習在不同環(huán)境和不同狀態(tài)下，哪種行為能夠使得預(yù)期利益最大化。”郝建業(yè)介紹，新版“阿爾法星”智能體就采用了強化學習的自對戰(zhàn)技術(shù)，其學習過程不需要數(shù)據(jù)標注，而是由獎勵函數(shù)進行主導(dǎo)。智能體獲得獎勵得分或贏得一場比賽，它會得到積極的反饋，智能體就會根據(jù)對戰(zhàn)的成績好壞，來調(diào)整行為動作。這猶如嬰兒學走路，會根據(jù)產(chǎn)生的結(jié)果好壞來調(diào)整行為動作。

　　目前對通用人工智能的定義主要有兩個特點，一是端對端的學習，二是任務(wù)自適應(yīng)，?無需人類參與調(diào)控而勝任不同的任務(wù)。深度強化學習可以將深度學習的感知能力和強化學習的決策能力相結(jié)合，直接根據(jù)輸入的信息進行控制，是一種更接近人類思維方式的人工智能技術(shù)。在與世界的正常互動過程中，強化學習會通過試錯法利用獎勵來學習，這跟自然學習過程非常相似。比如單手解魔方機器手，它可能需要利用深度學習的識圖技術(shù)等看到魔方，而后還需強化學習的模型讓機器手在不斷的試錯過程中自主學習。在強化學習中，可以使用較少的訓(xùn)練信息，這樣做的優(yōu)勢是信息更充足，而且不受監(jiān)督者技能限制。深度強化學習朝構(gòu)建對世界擁有更高級理解的自主系統(tǒng)又邁出了一步，這也是為什么說深度強化學習是目前公認的在現(xiàn)有技術(shù)中最有可能實現(xiàn)通用人工智能的技術(shù)。

　　未來通用人工智能還需依托腦科學發(fā)展

　　“雖然說深度強化學習技術(shù)最有可能實現(xiàn)通用人工智能，但是并不能說就一定能夠?qū)崿F(xiàn)，我們離真正的通用人工智能還是有很大差距的。”郝建業(yè)表示，深度學習和強化學習結(jié)合的時候，對現(xiàn)實情況的枚舉就變成首先需要對現(xiàn)實情況進行模式識別，然后進行有限模式的枚舉，從而減少計算的壓力，但是所需的數(shù)據(jù)將比其他機器學習算法要大得多。如果將場景擴展到多智能體的深度強化學習，那么需要的數(shù)據(jù)和算力是呈指數(shù)級上升的，目前還沒有平臺能夠提供強化學習所需要的海量數(shù)據(jù)，無法窮舉現(xiàn)實中可能遇到的種種復(fù)雜情況。這種數(shù)據(jù)需求在很多現(xiàn)實領(lǐng)域中都是無法實現(xiàn)的。

　　舉例說明，比如強化學習需要大量的試錯，如果把單手解魔方機器手應(yīng)用到做飯的現(xiàn)實場景，那么它可能會把食材弄一地，也可能把一整袋鹽倒到鍋中，還有可能引起火災(zāi)。因此通過試錯學習的模式，在現(xiàn)實場景中是無法實現(xiàn)的。

　　此外，深度學習和強化學習都是機器學習領(lǐng)域中最難調(diào)試成功的，它的成功案例其實不算很多，但是一旦推出，都會引起轟動。并且，這是一個連隨機種子都會大大影響學習效果的模型框架。同樣的模型，訓(xùn)練10次可能7次是失敗的，3次是成功的。還有一點，深度強化學習極其容易過擬合到智能體當前交互的環(huán)境中，所以環(huán)境稍有改變，之前看起來表現(xiàn)出色的智能體，很可能就會犯低級錯誤。

　　“人類認識事物的時候，一般都是通過數(shù)據(jù)進行因果推理和判斷，才得出相應(yīng)的解決方案。而目前的人工智能系統(tǒng)卻并不能實現(xiàn)這種因果推導(dǎo)。”郝建業(yè)表示，可能未來通用人工智能的發(fā)展，還需要依托于腦科學的發(fā)展，目前我們對人腦的認知還處于非常初級的階段。大腦對事物的認知過程、解決問題的過程以及思考的能力等機制還都不清楚，因此，目前人工智能的發(fā)展，離這種真正能模擬人類智能思考的通用人工智能還有很長的路要走。