第9章 徒兒已經全部忘記了

“這到底是怎麼個撲朔迷離的劇情？”

早先見電氣學院的導員氣勢洶洶的找來，還以為這小子是個問題學生。

怎麼就峰迴路轉，變成如此高深專業的討論了？

我是誰？我在哪？他們到底在說什麼？

為什麼每個字我都認識，連在一起我就完全聽不明白了？

時間緩緩地流逝，不知不覺間，付院長的草稿和推演已經寫滿了六七頁A4紙。

“如果單純用y=f(x)+b的方式去理解一層的行為，那麼對於任意正整數k，都存在一個k^3量級深，常數量級寬的神經網路，無法被一個k層的神經網路擬合，除非其寬度為原本的2^k倍。”

付院長越計算，越覺得這小子的直覺不錯。

“倘若依你所說，用批次歸一化的方式去避免協變數偏移的問題，再加上非線性的函式為層提供額外的表達能力，那麼甚至在極端的情況下，需要2^k^3倍的寬度。這樣看來你首先專注於解決深度問題，然後考慮去處理訓練難度問題的思路是相當聰明的選擇。”

付院長，沉吟了一番，回顧了一下自己的計算過程，問道“懂了嗎？”

孟繁岐非常嚴肅認真地搖了搖頭，說“沒太懂。”

付院長笑了笑，不急不惱，又將整個流程按順序梳理了一遍。

即便孟繁岐前世已經精讀過好幾次這三篇論文，但始終沒能從根本上理清其中的數學關係。AI界與數學界看待這個問題的視角截然不同，付院長帶給了孟繁岐新的認識和理解。

有一位資深的數學教授為他梳理了背後的數學原理和關係，孟繁岐頓覺豁然開朗，但卻又始終迷迷濛濛，隔著一層紗布。

仔細再看良久，好像有些明瞭了，“現在好像有些懂了。”

“再多看幾遍鞏固一下吧。”付院長聞言站起身來拍了拍孟繁岐的背，說道，“我的辦公室就在數院大樓503，如果有這方面的問題，歡迎你來找我討論交流。”

說罷，便轉身離去，也不問孟繁岐究竟叫什麼名字，只做純粹的學術交流。

臨走前，還對旁邊伸著脖子圍觀的兩個數院研究生使了一個眼神，大概意思是“你看看人家，才本科，文章都快寫出來了。看看人家看看你。”

兩位數院研究生連忙低下頭來移開視線。

只留下孟繁岐一人對著複雜的論證過程反覆品味，又過了一會兒，孟繁岐感覺自己好像理解了，但又好像全都忘記了，進入了一種玄而又玄的狀態。

想必當年張無忌學張三丰的太極劍就是這個感覺吧。

-----------------------------

來自數理學院付院長的友情指導，彌補了孟繁岐當下論文大業中最薄弱的一環，足夠紮實的數理分析和公式推論。

在AI學科的中後期時代，由於始終沒有發現真正可以令人信服的理論，來解釋深度神經網路強大的威力。因而許多注重效能和實用方向的文章，越來越像實驗報告，而非論文。這點一直被很多人詬病。

投稿人數又每年暴增，大約在17年左右，AI相關的領域變成了不少科研人眼裡的洪泛區，滾滾長江都是水，浪花裡也淘不出幾個英雄。

不過在目前的時間點，不少大會和期刊的審稿人還是相當注重理論部分的，如果這部分的論證和推理不夠清晰流暢，即便你的結果再好看，即便你是AI三巨頭之一的Lecun，也會被無情拒稿。

孟繁岐機緣巧合，獲此殊榮，倒也沒有扭捏客氣。他早期需要儘快成型的論文有十數篇之多，其中困擾他，讓他不知如何下筆的不在少數。

如今有這等良師，自然要頻頻請教。

他也並不需要付院長抽出大把時間看具體的文章，只是在幾個關鍵公式的起承轉合上，自己前世閱讀時從未曾在意的細小甚微之處，為自己撥開那一層若有似無的面紗，得以窺探其中真正的奧妙。

幾周之後，某一個週五下午的五點左右，孟繁岐剛剛從數院大樓的院長辦公室走出來。

裡面的付院長卻沒有按照慣例起身去食堂吃飯，而是將這幾次孟繁岐所提問題的紙張又都全部拿了出來，細細端詳了一番。

雖然付院長對於深度學習和影象演算法這裡來說，專業並不對口。

但圖片內容如果想在顯示器上展示，在電腦中儲存，終究還是要以矩陣的形式。其實說白了就是一堆矩形數字，就如同魔方的一個面，上面是九宮格可以存放九個數字，那就是一個3乘3的正方形矩陣。每一個數字就是一個畫素，也就是影象的最小組成單元。

要論矩陣之間的運算和變換，付院長可就是這方面的宗師人物了。

雖然孟繁岐從未拿著整篇的論文過來，但從這些零散的問題，以付院長的水平已經能夠管中窺豹。

“我們第一次討論的是極深的深度網路最佳化問題，他提出的殘差和批歸一化，應該屬於模型結構的範疇。”

“但他之後又找我討論一階和二階的梯度計算，以及幾種變體，這應該是引數最佳化器的內容。”

“再往後，他又詢問了一些誤差的分析和傳遞，這是數值分析的內容。”付院長眉頭緊皺，仔細思忖道，“這應該涉及的是計算機內對同一數字的不同方式的儲存，儲存的方式不同，佔用的計算機資源自然也不同。但其中也勢必會引入一些誤差。”

“而今天，他問的東西越發具有想象力了。”付院長回想了一下今天孟繁岐問題的前提條件和背景，驚歎於他的大膽想象。“以兩個深度網路，一個負責生成，一個負責判斷。”

“生成器持續地創造自己認為真實的影象，而鑑別器則負責區分輸入究竟是真實的還是生成器生成的。”

“這種相互對抗的方式，就可以擺脫模型的訓練始終依賴人類先去為這些資料一一提供正確答案的人為監督模式了。”

付院長喃喃自語道，鄂院士積極推動大資料相關事宜，他作為排行前幾的大弟子自然十分了解如今的資料量級，以及為它們一一提供答案、標籤的難度和工作量到底有多大。

“已經是年輕人的天下了。”付院長長出了一口氣，此刻，門外突然響起了敲門聲。