AI江湖:神經網絡興衰史-1 |
送交者: 天蓉 2024年05月13日13:57:43 於 [教育學術] 發送悄悄話 |
正如物理學家、曼哈頓計劃領導者奧本海默所說:“我們不僅是科學家,我們也是人。”,有人的地方就有江湖,科學界也難免。人們經常說“科學無國界,科學家有祖國“,即使不談這些政治糾葛,科學家中還是有不同學術圈子的,每個人都有自己堅持的學術觀點和主張,學術爭論無時不在。一般來說,自由爭論有利於學術進步,但爭論也可能造成誤會產生偏見,從而讓某些科學家受害並影響科學的正常發展。今天將講述的,是AI歷史中的一段江湖故事…… 1.羅森布拉特的感知器 1958年7月,美國海軍研究辦公室公布了一項非凡的發明,宣稱展示了“第一台能夠擁有人類思想的機器”,見圖1。 演示者將一系列打孔卡經過一個電子設備,輸入到一台重5噸,大小相當於一個房間的計算機(IBM704)中,經過50次試驗後,計算機學會了區分左側標記的卡片和右側標記的卡片。換句話說,就是這個機器可以學會“分類”,如同孩子在父母的教導下學會分辨貓和狗一樣。分類是人工智能研究的一個重要功能。 圖1:羅森布拉特和感知器Mark-1 美國海軍演示的是“感知器”(或稱感知機,Perceptron)。據其創造者,弗蘭克·羅森布拉特博士介紹,這是一種模擬生物學中“神經網絡”原理構建的電子設備,具有學習能力。羅森布拉特在1962 年出版的《神經動力學原理:感知器和大腦機制理論》[1]一書中詳細分析並擴展了這種方法。當年,羅森布拉特因感知器而獲得了國際認可。《紐約時報》將其稱為一場革命,標題為“新海軍設備通過實踐來學習”,《紐約客》同樣也對這項技術進步表示了讚賞。 當時的羅森布拉特是紐約布法羅康奈爾航空實驗室的研究心理學家和項目工程師,展示感知機後的第二年,他成為康奈爾大學生物科學系神經生物學和行為學副教授。 羅森布拉特的感知機計劃受到了McCulloch和Pitts的形式神經網絡的啟發,是專為圖像識別而設計的一個簡單的單層神經網絡,並且添加了額外的機器學習機制。圖2是感知機的邏輯示意圖。感知機獲得了美國海軍的大量資助,最初是基於兩年的軟件研究而實現。之後,羅森布拉特構建並展示了感知器的唯一硬件版本:Mark-1,它由聯結到神經元的400個光電細胞(20×20的感光單元矩陣)組成,可以將輸入的光學信號(例如英文字符)轉化為電信號,再通過物理電纜將其與字母分類的神經元層相連。Mark-1突觸的權重函數用電位計編碼,由電動馬達實現學習過程中權重的改變。 可想而知,在當時的技術條件下,這台機器的具體實現還是非常困難的,這也是為什麼引起轟動和廣泛關注的原因。 圖2:感知器設計概念圖(1958年) 羅森布拉特對他的感知器寄予厚望,對人工智能神經網絡的研究持十分樂觀的態度,他樂觀地認為突破即將到來。原來十分低調的科學家突然走紅,他出席各種演講、晚會,這點當然會引起當年人工智能大伽們的注意。 羅森布拉特的工作引起了MIT閔斯基教授的關注。閔斯基在感知器問世的兩年之前,即1956年,與麥卡錫等一起,發起召開了達特茅斯研討會,確定了人工智能的名字,討論了發展方向等等問題。基於他對神經網絡的研究,使得他對羅森布拉特的主張深感懷疑。科學中的質疑是正常現象,因此,他們經常在學術會議上公開辯論感知機的可行性。在一次會議上,兩人大吵一頓,矛盾徹底公開化。想必那幾次爭論是非常激烈的,因為據他們的同事和學生在後來的回憶中,有“在一旁看得目瞪口呆”、“被他們的爭論嚇了一跳”之類的話語。閔斯基直接對感知機存在的價值和前途發起進攻,指出它的實際價值非常有限,沒有什麼發展前途,絕不可能作為解決人工智能的問題的主要研究方法。 “羅森布拉特認為他可以使計算機閱讀並理解語言,而馬文·閔斯基指出這不可能,因為感知機的功能太簡單了”一位當年的研究生回憶說。 後來,1969年,閔斯基和MIT的另一位數學教授西摩·佩珀特(Seymour Papert)出了一本名為《感知機》(Perceptrons)的學術著作[2],從理論上證明感知機的缺陷,書中還有對羅森布拉特個人的攻擊言語:“羅森布拉特寫的論文,大部分內容……毫無科學價值”。 在《感知機》這本書對羅森布拉特工作的強烈抨擊下,本質上終結了感知機的命運。次年,閔斯基獲得圖靈獎,得到了計算機領域的最高榮譽。 閔斯基是當時業界的權威人物,這種對感知機直截了當的負面評價,對本性孤傲的羅森布拉特來說是致命的。一年多後,羅森布拉特在獨自划船慶祝自己43歲生日那天溺水身亡,把他的名字,他的感知機,他的遺憾和夢想,都永遠留在了人工智能的科學史上。 《感知機》一書不僅打擊了羅森布拉特,造成感知機的暫時失敗,還幾乎扼殺了當時神經網絡方面的研究,也影響和帶來了人工智能長達10年的第一次低谷期。 2.符號主義和聯結主義 其實,羅森布拉特[3]和閔斯基的出身和經歷,有許多相同之處,他們年齡相仿,都是出生於紐約的猶太家庭,他們甚至曾經同時就讀於同一所中學,是紐約布朗克斯科學高中的校友。不錯!就是那所出了8名諾貝爾科學獎和一位諾貝爾經濟獎得主,還有難以數計的各方名人的著名高中。如此名校的學兄學弟,卻結怨於學海江湖!不由得使人腦海中划過那句名言:“相煎何太急?” 不過,羅森布拉特去世後,閔斯基在《感知機》一書再版時,刪除了原版中對羅森布拉特的個人攻擊的句子,並手寫了“紀念羅森布拉特”(In memory of Frank Rosenblatt)一語,多少表示了對這位早逝校友同行的哀悼。 此外,兩人的爭論也代表了當年人工智能中符號主義與聯結主義兩種學術觀點之爭[4]。 馬文·閔斯基(Marvin Minsky,1927—2016)生於紐約市,他是深度學習的先行者。在哈佛大學讀本科期間,他曾開發了早期的電子學習網絡。在普林斯頓大學念研究生時,他建造了第一台神經網絡學習機SNARC。他的博士論文以《神經-模擬強化系統的理論及其在大腦模型問題上的應用》為題,這實際上就是一篇關於神經網絡的論文。所以,閔斯基研究生階段的工作,奠定了人工神經網絡的研究基礎,應該屬於聯結主義的範疇。 1956年,他與約翰·麥卡錫、克勞德·香農等,一同發起了1956年的達特茅斯學院會議,創造了“人工智能”一詞,是AI的開山鼻祖之一。達特茅斯學院會議也是符號主義的勝利,閔斯基和麥卡錫都被認為是AI符號主義的典型代表人物,當年他們的意圖,是反對早期控制論的聯結主義。認為人工智能的目的是通過程序在計算機中實現規則,用邏輯推理來對抗AI中的聯結主義。從20世紀60年代中期到90年代初,符號主義方法盛行。 可見,閔斯基後來轉向了符號派,他也盡力淡化他與聯結主義間的關係,也許這是他強烈抨擊感知機的原因之一。 閔斯基自1958年起在麻省理工學院任教,擔任電子工程與計算機科學的教授,直到他過世為止。 在麻省理工學院,他與約翰·麥卡錫共同創立了人工智能研究室(MIT計算機科學與人工智能實驗室的前身)。他有數項發明,如1957年發表的共聚焦顯微鏡,1963年發表的頭戴式顯示器等。 2016年1月24日,閔斯基因腦內出血病逝,享壽88歲。 閔斯基的對手弗蘭克·羅森布拉特(Frank Rosenblatt,1928-1971)比他小一歲,是一位心理學家。 羅森布拉特出生於紐約長島的一個猶太家庭,1946年從布朗克斯科學高中畢業後,他進入康奈爾大學,並於1950年獲得學士學位,1950年獲得博士學位。隨後,他前往紐約州布法羅的康奈爾航空實驗室,先後擔任研究心理學家、高級心理學家和認知系統部門負責人。這也是他進行感知器早期工作的地方。 羅森布拉特1966年加入康奈爾大學新成立的生物科學系神經生物學和行為科,擔任副教授。他對通過注射腦提取物將學習行為從經過訓練的老鼠轉移到小老鼠身上產生了濃厚的興趣,他在後來的幾年中就這一主題發表了大量文章。 羅森布拉特也對天文學感興趣,他花了3000美元買了一台望遠鏡,但太大了以至於沒有地方放。因此,他在紐約布魯克頓代爾附近買了一棟大房子,並邀請他的幾名研究生住在那裡。白天,團隊在托伯莫里工作。晚上,他們在羅森布拉特的院子裡作土木工作,建了一座天文台。 羅森布拉特興趣廣泛多才多藝,白天在實驗室里解剖蝙蝠,研究動物大腦的學習機理,夜晚在自家後山搭建的簡易天文台上仰望天空,試圖探索外星人奧秘。羅森布拉特的性格方面,害羞內向,並不張揚。 感知器始終是羅森布拉特的熱情所在。他最終沒有熬過人工智能的冬天,於1971年43歲生日那天,自駕駛帆船溺水身亡。2004年,IEEE計算智能學會設立了羅森布拉特獎(IEEE Frank Rosenblatt Award),獎勵在生物及語音啟發計算領域做出卓越貢獻的人,以紀念這位傑出的科學家。 圖3:當年的感知機相關文章和書 1956年的達特茅斯會議,啟動了第一波人工智能浪潮,這一浪潮跨越至70年代初,代表符號主義的建模推理方法是其核心特徵。這方面研究的主流由MIT的閔斯基、卡內基梅隆大學的西蒙和紐厄爾,以及斯坦福大學的麥卡錫組成。在當時,這個符號主義圈子裡的高手們,基本建立了對人工智能問題的壟斷,並獲得了大部分資金和大型計算機系統的訪問權。 符號主義者的主要特徵是他們不太重視機器智能與世界的聯繫,只在計算機內開闢獨立的推理空間,將人工智能視為機器思維的科學,目標是賦予機器以邏輯和抽象的能力。 反之,羅森布拉特是心理學家,對人類生理學和心理行為等更感興趣,因而趨向於聯結主義。自然地,他熱衷於對用神經網絡的概念來模擬人腦神經傳遞機制,也由此而研究發明了感知機。 感知機在媒體上取得的成功,也激發起聯結主義研究人員的熱情。但閔斯基和帕佩特在1969年的書中宣稱他們證明了神經網絡無效的說法,又給這些科學家們澆了一盆冷水,使聯結主義的熱度驟減。儘管這本書的影響可能超出了閔斯基等的意圖,但其後果是確定的:神經網絡被放棄,其資金被大量削減。實際上,不僅聯結主義衰退,針對符號主義的批評也越來越多,符號主義和聯結主義項目都被凍結了,聯邦對人工智能研究的資助枯竭。人工智能被當成僅僅是人工遊戲,進入了它發展旅程中的第一個冬天。 3.感知器和神經網絡 我們回到羅森布拉特的感知機[5]。它實際上是現代神經網絡的雛形,有沒有科學價值,已有如今AI的迅猛發展為證。當然,作為第一代的人工智能機器,感知器有這樣那樣的缺陷是難免的,而且當時的羅森布拉特,還沒來得及把感知機的學習算法推廣到多層神經網絡。神經網絡從簡單到複雜多種多樣,見圖4。感知器只是一個最簡單只有一層的神經網絡(圖4左),而現代神經網絡卻有數百萬個(隱藏)層,圖4右。 圖4:感知機和複雜神經網絡 不過,閔斯基認為感知器的缺陷是致命的,因為它無法模擬“非線性可分”函數,他舉了一個邏輯門的例子:異或門,即感知器不能區分異或門。以下對此作簡單介紹。 感知器神經元的簡單模型如圖4左圖所示:多個輸入和一個輸出。輸出功能是求得輸入向量與權向量的內積後,經一個激活函數得到一個標量結果。 神經網絡為什麼能分類呢?原因之一是歸於激活函數的功勞。例如,最簡單的激活函數是個階梯函數,輸出0或1,也就是說,這個函數實現了分類:將結果分成了兩類。 至於何時輸出0,何時輸出1?就要根據輸入的值來進行決策了。例如,可以問3個問題來判定是貓還是狗?耳朵朝上還是朝下?嘴巴是否凸出來?鬍鬚長或短?最簡單的決策方法就是:3個問題都輸入yes的話,輸出=貓,否則是“狗”。但激活函數可以從階梯函數改變為平滑的函數,如圖4左圖中右下角的紅線所示,這種函數便於在最優化時進行微分計算,而輸出便被相應地理解為決策判斷為是貓還是狗的概率了。 神經網絡又為何能具有學習功能呢?那是因為每個輸入端都有一個權重值,這些參數是神經網絡的核心。在訓練過程中,網絡調整這些權重,以使其在特定任務上的誤差最小化。這個權重更新的過程也就是所謂的“機器學習”的過程。最小化可以使用各種優化算法,例如,感知器中用的是“梯度下降法”。 如圖4左圖上方的公式所示,為輸出而計算的求和函數是n維空間中的一個超平面。因此,感知器這種神經網絡“分類”的本質就是這個超平面將空間分成了兩部分。如果對兩個輸入端的神經網絡而言,就是用一條直線將平面分成了2個部分,如圖5b所示的線性可分情況。 圖5:感知機分類,線性可分和不可分 然而,如果輸入的樣本是線性不可分的(圖5b右邊),感知機則無法模擬這種情況。這就是閔斯基指出的感知機的缺點。 圖6顯示的是幾種基本邏輯門的情況,單層感知機可被用來區分其中的3種,邏輯與(AND)、邏輯與非(NAND)和邏輯或(OR),但是,無法模擬邏輯異或函數,因為它屬於線性不可分。 圖6:邏輯門,前3種是線性可分的,XOR非線性可分 要解決非線性可分問題,可考慮使用多層功能神經網絡。輸出層與輸入層之間的一層神經元,被稱為隱層,隱層和輸出層神經元都是擁有激活函數的功能神經元。圖7左圖中,感知器的神經元,沒有隱含層,決策計算只生成一條直線,無法區別異或問題。但如果增加一個帶非線性激活函數的隱含層就可以了。隱層輸出的激活函數的非線性也有助於解決非線性可分問題。多一個隱層相當於增加了一個空間維度,如圖6右圖所示,構成了一個單隱層的神經網絡,決策計算就能生成兩條直線,可以區別異或問題了。 圖7:加一個隱層解決感知機的異或問題 對多隱層的神經網絡,還有一個“萬能近似定理”,意味着使用S型函數作為激勵函數的多層神經網絡,可以用來近似任意的複雜函數,並且可以達到任意近似精準度。 總而言之,從20世紀80年代和90年代開始,聯結主義重新出現,神經網絡研究回歸主流。許多人認為羅森布拉特的理論已被證明是正確的。樸素的感知器有其缺陷,但它的基本原理引發了現代人工智能革命。深度學習和神經網絡正在改變我們的社會,了解一下感知器,以及神經網絡這段興衰史,有助於我們更好地認清AI,以及AI發展的未來。 參考文獻: [1]Rosenblatt, Frank (1962). “A Description of the Tobermory Perceptron.” Cognitive Research Program. Report No. 4. Collected Technical Papers, Vol. 2. Edited by Frank Rosenblatt. Ithaca, NY: Cornell University. [2]Minsky, M. L. and Papert, S. A. 1969. Perceptrons. Cambridge, MA: MIT Press. [3]https://en.wikipedia.org/wiki/Frank_Rosenblatt [4]科普中國:人工智能的三大學派 https://www.kepuchina.cn/zt/salon/tsrgzn/201901/t20190123_924578.shtml [5]維基百科=感知器 https://zh.wikipedia.org/wiki/%E6%84%9F%E7%9F%A5%E5%99%A8 |
|
|
|
實用資訊 | |
|
|
一周點擊熱帖 | 更多>> |
|
|
一周回復熱帖 |
|
|
歷史上的今天:回復熱帖 |
2023: | 秦趙邯鄲之戰趙國得勝,是因為長平之戰 | |
2023: | 21世紀新政21st Century New Deal(o | |
2022: | Carbon dioxide and global temperatur | |
2022: | 搞情報:要是沒這幫成事不足敗事有餘的 | |
2021: | 丘成桐:偉大的數學家都是有能力的哲學 | |
2021: | 972、用力活着;埃及女巫的下場;對浮 | |
2020: | 緣起贊釋12 不一亦不異,不斷亦不常, | |
2020: | 千年法典 | |
2019: | “七年之癢”居然是人腦中的時間線在作 | |
2019: | 學佛學和哲學,必讀的一本書 | |