接下來,還是干點正事吧。
江寒打算進行一項重量級的研究。
這也是最近一段時間里,他想要完成的論文中,最重要的一篇。
在這篇論文里,江寒打算提出一個重要概念:“萬能逼近定理”。
【一個前饋神經網絡,如果具有線性輸出層,和至少一層隱藏層,并且任意隱藏層的激活函數,具有“擠壓”性質,例如使用了logistic函數、sigmoid函數……
那么,只要該網絡擁有足夠多的隱藏單元,就可以以任意的精度,來近似地表達任何從一個有限維空間到另一個有限維空間的Borel可測函數。】
這就是著名的“萬能逼近定理”,“人工神經網絡”最重要的理論基礎之一。
這個定理表明:
一個前饋神經網絡就等于一個表示函數的萬能系統。
無論計算機試圖學習什么函數,都可以找到一個規模足夠的MLP,來表示這個函數。
換句話說,給定一個函數,必然存在一個前饋網絡,能夠近似表達該函數!
多層神經網絡(感知機),在理論上來說,幾乎可以完成任何學習任務!
但不存在一個萬能過程,既能夠驗證訓練集上的特殊樣本,又能夠選擇一個函數,來擴展到訓練集上沒有的點……
即使MLP能夠表示該函數,學習也有可能失敗。
原因很簡單:誰也不能保證,訓練算法一定能夠學得這個函數。
用于訓練的優化算法,有可能找不到用于期望函數的參數值;
訓練算法也可能由于過擬合而選擇了錯誤的函數……
這也是沒辦法的事情。
普遍優越的機器學習算法?
抱歉,在這個世界上并不存在!
很明顯,“萬能逼近定理”正是對于“感知機如何處理非線性問題”的正面解答。
“多層感知機”那篇論文里,雖然也表明了類似的觀點,但更多是直覺上、經驗上的,并沒有在理論上加以證明。
事實上,“萬能逼近定理”的嚴格證明,用到了極其復雜的高等數學技巧。
江寒之前研究了很久,始終也沒能攻克這個難關。
然而,今天也不知怎么了,竟然如有神助,只用了5個多小時,就找到了思路,并完成了證明。
好吧,估計這就是腦力提升的效果了。
現在自己的大腦,和那些一流科學家比,可能還有點差距,但在普通大學生里,應該算是特別強悍的一類了。
接下來,江寒就把完整的證明過程書寫了下來,輸入計算機形成文稿,再起個牛逼拉轟的名字,然后……
江寒將其妥善保存了起來。
先不急著扔出去。
等小號的《論感知機的局限——異或問題的無解》登刊之后,才是這一篇《萬能逼近定理》問世的最好時機。
當然,如果《論感知機的局限——異或問題的無解》不幸被退回……
那就用小號將其扔到AMC的官方論壇上,曝個光,然后用大號把《萬能逼近定理》投出去!
工作終于告一段落,江寒忽然感覺眼前有點發黑。
精神很疲倦,**有點匱乏,仿佛被掏空……
“這續航有點不太行啊,得想個辦法解決一下……”
江寒自言自語。
想了想,他拿起座機聽筒,撥了個內線電話。
“703的客人,您好,請問您有什么需求?”
一個好聽的女子嗓音傳來,好像就是那個年紀不大,有點好看的小前臺。
江寒也不廢話:“請幫我買些巧克力,要純黑的,品牌在金絲猴和HKC中選。”
“數量呢?”
“100塊。”
“好的,請稍等。”
那邊還是很有專業素質的,什么都沒問,直接照辦。
二十分鐘后,門鈴響起。