第86章 視覺新正規化

會議的主持人面帶笑容，宣佈孟繁岐隆重登場。

孟繁岐沉迷分成的計算，正在暢想美好的未來，完全沒有感覺到時間竟然過得如此之快。

連忙關掉谷歌的財報，緩步登臺。

看著臺下滿滿一教室的AI領域學者們，都翹首以盼，用十分期待的目光看著自己，孟繁岐發覺自己遠沒有想象的那麼緊張。

“大家好，這個報告的主題主要是應用於影象領域的深度殘差學習。我知道大家可能主要是為它在影象識別領域取得的成績而來的。”

說到這裡，孟繁岐頓了一秒，臺下響起了會心的笑聲。

“不過在這樣的場合，我個人並不希望花費太多的時間在具體的細節上面，相關的論文和程式碼在最近一段時間會陸續地開源，對細節感興趣的朋友可以自己去探索。”

與谷歌簽下合同之後，孟繁岐手頭的所有論文也就沒有繼續壓在手裡的必要了。

藉著釋出會和這次國際會議的熱度，他準備直接全部公之於眾。

當然，這部分內容現在需要先經過谷歌的首肯和內部審閱才可以釋出出去，以免它們可能導致谷歌的利益有損失。

不過由於這部分技術內容大都是影象演算法領域的，目前還沒有涉及到谷歌的關鍵利益。

若是等幾周後，孟繁岐將對谷歌推薦和廣告演算法的一系列策略做出來之後，想要公佈這部分技術，谷歌是萬萬不可能會答應的。

不涉及核心利益的情況下，谷歌在這些技術方面一向還是非常大方的，在經過傑夫和辛頓的審閱之後，孟繁岐已經準備先後把之前攢下的部分工作公佈出去。

在大會開始之前，以DreamNet為首的部分論文已經可以在arxiv上直接閱讀到。

剛才其他隊伍在上面介紹自己做法的時候，其實也有很多人像孟繁岐看財報一樣，在偷偷閱讀DreamNet的論文。

“雖然賽事的主題是影象的識別分類，但如此多學者聚集在一起的機會確實不多，我希望同時把其他方面的一些內容一起在這裡展示一下。”

視覺頂會有三個，分別是本次孟繁岐參加的國際計算機視覺大會，ICCV。

還有歐洲計算機視覺會議，ECCV，一個偏歐洲一點的會議。

這兩個都是兩年一辦，所以一年也只有兩次這樣國際頂級的會議機會。

唯一一個每年都舉辦的，是CVPR，國際計算機視覺和模式識別大會。

但它的舉辦地點基本上都在美國，簽證方面經常會有一些問題。

本次的機會比較難得，當然要多宣傳一下自己的工作。

“基於DreamNet的殘差思想，不僅在影象的識別分類上取得了巨大的突破，我同時也衍生出了它的一些變體，比如生成式網路，檢測網路，還有分割網路。”

識別分類有競賽結果，生成式網路的論文已經放出，而檢測的網路隨著白度的釋出會，大家也已經瞭解它的威力。

至於分割網路，則是這兩天隨著DreamNet的論文一起放出的U-Net工作。至此，可以說視覺類幾大任務的基礎正規化已經被孟繁岐奠基。

今後不論是識別分類，分割檢測，還是遷移生成，都很難繞得開這些輕便又好用的辦法了。

“可以看到，這種思想席捲視覺領域之後，使得目前主要的研究方向都有了顛覆性的突破。”

孟繁岐將這幾篇論文的主要試驗結論擺在了幻燈片的第二頁，就是要先以結果震撼眾人。

“顯然，這些演算法在諸多領域都與第二名拉開了巨大的差距，而相當一部分的功勞應當屬於殘差思想對網路深度的革命。”

“在10年11年，我們仍在使用人工設計的SIFT，HOG還有SVM，12年，阿里克斯的八層AlexNet取得了巨大的突破。”

“而今年，殘差思想引發的深度革命，使得訓練150+層的神經網路成為可能。”

“深度神經網路是很多工場景，尤其是視覺任務場景的基礎引擎和骨幹，這也是為什麼它能夠迅速影響幾個主流的任務。”

“從結構上看，DreamNet並沒有什麼特別的，比起之前每一層都單獨設計的網路，我其實故意希望它變得簡單，重複。”

孟繁岐身後的幻燈片展示了一個極其細長的圖案，這就是一百多層深的DreamNet結構圖。

放大展示它的基本設計，眾人發現，它的單層設計非常簡潔樸素，只採用了最常規的運算元操作。

長長的結構圖滾動了起來，觀眾們都發現，原來每一層並沒有任何區別，只是單純在重複。

由於一百多層的滾動需要太久，在這個嚴肅的場合顯得有些喜感，場內發出了一陣陣笑聲。

“那麼這裡就引出了一個問題，那就是是否單純地把網路做大作深，就總是可以取得更好的結果呢？”

孟繁岐的這個問題，直到2023年也沒有一個理論上的答覆，但很顯然，巨大的模型還在持續地創造一個個奇蹟。

不管是繪畫，對話，還是影象操作，都還遠沒有到達極限。

“我非常希望自己能夠清楚地從理論上告訴大家這個答案，但由於能力有限，我也只能給出自己的猜測，那就是Yes。”

“我相信，只要更多更好的GPU，更多更好的資料，以及更大大模型和更好的最佳化辦法，我們就可以持續地創造奇蹟。”

“而之前的網路在深度上遇到的阻礙，我認為並不是網路的能力問題，而是我們沒有找到合適的辦法去最佳化好它。”

讓網路多重複幾次，這是很多人都試過的事情，很顯然，得到的結果是比原本要差的。

這在傳統方法中，不是什麼奇怪的現象，很多人都將這個現象解釋為維度災難或者過擬合，沒有進行足夠深度的探索。

“稍加思索，這顯然是一個反直覺的現象，對於更深的網路，我們完全可以將小版本網路的所有引數複製進來，而多出來的部分只要什麼事情都不做，這個模型就至少不會更差。”

“但事實上，卻並非如此，我相信很多人都觀察到了這樣的普遍現象，那就是更深的模型反而變差了不少。”