第8章 意外的指點

“不想學電氣這個專業，可以好好考到年級前列，然後想學校申請轉專業。而不是這樣自暴自棄。”小杰寶表現得一副語重心長的樣子，但孟繁岐很清楚，他只是擔心怕出了勸退之類的事情，有可能會影響到他作為導員的成績。

“這本身就是矛盾的一件事情，我不想學或者學不會一個專業，卻偏偏要在這個專業裡考到前面才有機會轉專業。”孟繁岐可以理解這種規則是為了限制大規模轉專業的行為，又或者是為了保護一些冷門的學科。

你或許可以限制他更換專業，可他畢業之後會從事這方面工作嗎？甚至說，這方面的工作崗位到底有這麼多嗎？

透過這種方式讓許多人困在自己不想學的專業之中，只能透過考研或者社會上的培訓班再更換行業，以求得大學內某專業看上去欣欣向榮，實際上也只是掩耳盜鈴罷了。

“況且老師，我並沒有自暴自棄，在過去的這段時間內，我一直在努力學習和研究新領域的前沿知識。”孟繁岐指著自己的電腦螢幕，上面是他有關“批歸一化”論文的草稿，主要討論的是深度神經網路訓練過程中的內部協變數偏移問題。

“實在不行的話，我想休學一年。”孟繁岐也曾考慮過這個問題，他一方面已經放棄電氣方向的學科，另一方面還沒有資本轉去相應專業或者前往其他高校繼續就讀。

辦理休學，學校和學院的一些瑣事就不會影響到自己。但考慮到辦理休學，學校方面很難會不知曉自己的家長，孟繁岐思忖了一下，還是沒有做這個決定。

家中父母為了自己付出了不少，眼下一時間很難拿出二老能夠理解的證據讓他們放心，孟繁岐不希望影響父母的心情和日常生活。

“你不要隨便拿一些英文的文獻來忽悠我。”其實導員看到這裡已經有些相信他的話了，但他今年已經跟學院領導誇下海口，絕不會讓學生有休學勸退記大過這樣的事情發生。“倘若你還是這樣嘴硬，我只能請你的父母來學校一趟了。”

孟繁岐聽到這裡眼神一冷，若導員真是為他著想，這事情不是不能解釋開來。但他心裡清楚的很，這多半又是他自己的小九九。

“不用搞得這麼麻煩，不就是學生的興趣有些轉變嗎。我們在大學做工作的，應該關注學生的想法，關注學生的需求。為學生提供更好的環境和條件。動不動就麻煩學生家長，像什麼樣子？我看這位同學電腦螢幕上的草稿就有點意思。”

一個面相儒雅的中年男人不知何時出現在了導員的身後，他的打扮略有些講究，戴著一副無框的金絲邊眼鏡，梳著背頭，發路絲縷分明。

“付院長？”導員看清來者的長相，嚇了一跳，“您怎麼到這兒來了？”

付德清是燕京電力學院數理學院的院長，雖然數理學院在該校不是什麼大院，但付院長還兼任校黨委內要職，因此地位頗高。

總想著往上爬的導員看到付院長之後，頓時便偃旗息鼓，陪著笑臉道，“一切交由付院長處理，我不打擾，我先走了哈。”

孟繁岐連忙起身，他看出來付院長來此不是偶然，大有可能是特意來找自己。

但思來想去，想不出自己有什麼地方會吸引到別院的院長大駕光臨。

“深度神經網路訓練中的內部協變數偏移會導致較深層的輸入分佈收到嚴重的影響，深層的神經網路為了適應被偏移的資料分佈，只得採用保守的方式最佳化引數，從而極大影響了訓練速度和訓練難度。”付院長也未解釋這點，只是自顧自地看起了孟繁岐螢幕上的內容。

“你這裡說的深度神經網路指的應該是你自己提出的那種上百上千層的神經網路，而不是目前業界的深度網路吧？”付院長轉過頭來，微笑問道。

“付院長您是怎麼..”孟繁岐先是愣了一下，然後猛地反應過來，目前只有那個女生看到過自己提前準備的殘差網路草稿。“是那個女生跟您說的？”

“哈哈哈，她是我的小師妹。”付院長笑道，“前段時間來這裡，也順便來拜訪了我一下，提到了我們學校有個學生在研究什麼深百層千層的神經網路，研究得像模像樣的。”

“說實在的，這也不是我的領域，如果不是以前的老師讓我關注一下這方面，我還真是一竅不通。這兩天我還在查詢資料呢，我說這哪有什麼上百層的神經網路，去年年底那個奪冠的AlexNet不也才8層的深度嗎。”

“我也只是剛剛有一些想法。”孟繁岐連忙解釋道。

“你不用緊張，我只是稍微有些好奇，想看看咱們學校到底是不是出了個這方面的天才。若是真的，我肯定大力支援。”

孟繁岐連忙先請付院長坐下，先為他大概介紹了一下背景，原理和現階段難題。

付院長本身是純數學出身，此前又在老師的指示之下對這個領域稍稍瞭解過一些，因此孟繁岐沒說太多，他就已經掌握了大概。

“你認為深度網路難訓練的問題本質上是梯度問題，所以你想使用殘差的形式。”付院長喃喃自語，左手握拳，撐住了自己的下巴。

“如果不去深究神經網路本身的變換，而只是將其的變換理解為一個未知的高維函式的話，f(x)的多次累加會比x+f(x)的殘差形式要不穩定太多。”孟繁岐後世主要以理解演算法的流程，瞭解幾種對比方法的優缺點為主。

對於其具體的內在原理，數學推導，平心而論，他的關心遠遠不足。現下正是彌補這部分短板的大好機會。

“如果我們討論一個函式的多次巢狀，f(f(f(f(..f(x)..))))的話，不管是否是殘差的形式，都是相當難以分析的。從數學上直觀來看，兩個相同次數的巢狀，有殘差與否，不應當會改變該函式的實際表達能力。也就說，你構建的模型其對函式擬合的能力是與原本相當的。”

“倘若真的可以觀察到明顯的改善，那說明這種殘差的形式只是能夠讓你所說的模型更容易被最佳化。換言之，以我的視角來說，該函式的求解變得更加精確了，從這個角度來看，殘差是一種簡潔的尤拉前向形式。”

付德清說著，拿起了紙筆開始了一些推演。孟繁岐疏於數學上的推演，但他很熟悉這種形式構建的網路有什麼特性，因而越聽越覺得驚奇。付院長的數學分析竟然相當接近不少後來的實驗結果。

只可惜自己看他親自上手推論，卻稍微有些吃力了。

此時此刻和他一樣一頭霧水的還有附近豎起耳朵吃瓜的幾名高年級學長學姐。