第19章 這也太深了吧
章節報錯
“DreamNet?這是什麼網路結構?”李飛飛仔細翻找了一下各個隊伍對自己提交的描述。
可以看到幾乎所有隊伍的提交中都描述道,“我們的結構基於AlexNet”,“我們仿照AlexNet”,“我們把AlexNet和傳統支援向量機/../..相結合”。
做法類似,結果自然也大差不差。
剩下的便是如何把數個模型整合到一起的描述。
翻到隊伍Dream,人員構成欄只有“FanqiMeng,HuangTang”兩個名字,沒有具體的機構資訊。
觀看隊伍演算法的簡介,更是寥寥數語。
“我們提出了新的DreamNet,使得深達到百層乃至千層的網路能夠被訓練。由於缺乏足夠的裝置,我們只獲得了單個的權重進行提交。”
孟繁岐是故意的,他當然可以把殘差又或者是其他的主要trick簡要地在隊伍的提交描述裡介紹清楚。但為什麼要這麼做呢,一定要先勾起業界這些人的好奇心,才能夠獲得最大的關注。
分類top-5錯誤率,4.9%。
這樣一個簡單的數字直接擊中了李飛飛的內心。
演算法的錯誤率低於人類的5.1%,從09年她推動這個競賽以來,一直是她追求的目標,也是她組織這個競賽的一大原因。
她甚至曾經做好了打算,如果某一屆的演算法成功地突破了這個水準,就不再繼續組織IMAGENET。
但她萬萬沒有想到,這一天會來得這麼快。
就在400天前,最好的傳統辦法還只能取得25%左右的錯誤率。
去年AlexNet16左右的錯誤率,她以為是一次厚積薄發的飛躍,這樣的進展可謂幾十年一現。
完全沒有想到今年的結果會給她一個更加誇張的驚喜。
DreamNet,突破了人類水準的DreamNet。
李飛飛覺得這個名字起得實在恰如其分,這個結果真是如夢似幻。
檢測結果mAP:0.34673,更是對第二名的0.22581進行了降維打擊。
我的天,這幾個人到底是何方神聖?李飛飛苦思冥想,也想不出在哪個AI實驗室有聽過這幾個名字。
“為什麼不把演算法內容大概描述一下!”李飛飛用手狂錘了兩下桌子,沒有任何人比她這個資料收集者更能明白和理解這個演算法效能的含金量。
自從她看到這個結果的一瞬間開始,她的好奇心就如脫韁的野馬,再也無法控制。真的好想知道,好想知道。哪怕只是似是而非的一兩句描述,哪怕只是不明覺厲的一兩個特定術語也好。
只可惜孟繁岐深諳媒體宣傳那一套,字裡行間,先是“我們提出了新的DreamNet”表示這個結構是截然不同,相比AlexNet變化很大的,以強化閱讀者的好奇心。
隨後又丟擲重磅炸彈,“我們使得深達到百層乃至千層的網路能夠被訓練”,以去年8層的冠軍來對比,這個數字實在太過震撼,更讓技術從業者們心癢不已。
最後再假裝謙虛一下,實則表示,我們只使用比較有限的資源,獲得了一個結果,就不跟你們去卷多模型融合整合那一套了。
效能相差那麼多,實在沒必要呀。
“儘快把結果頁面上線。”李飛飛回復訊息給鄧嘉,心中暗想難怪一想沉穩踏實的鄧嘉剛剛冒失得很,“這個罪可不能讓我一個人來受,我要讓你們統統急得像熱鍋上的螞蟻。”
最頂尖的大腦都是好奇心很強的,這種對未知的好奇,對更好的追求驅使著他們做出一個又一個可以改變人類生活的成果。
對稍稍近似一些的結果,可能還容易忍耐一些。因為會覺得,自己再仔細想想,努力測試一下,加入一點小的技巧,也許也可以收穫同樣的結果。
而一個比去年AlexNet更加誇張的提升擺在眼前,即便是再自負的人都不得不承認,自己短時間內完全做不到這件事。
更大的差距反而讓人生不起懷疑和嫉妒之心,只有更加純粹的好奇和敬佩。
孟繁岐不準備改變大部分技術的名字,但唯獨將混雜了一些其他方法如批歸一化,二階最佳化器等方法訓練出來的殘差網路結果稱為DreamNet。
一是因為重生十年一夢,自己回到2013提交殘差網路就如同黃粱一夢,他其實偶爾都會擔心,是不是這場夢隨時都會醒來。
二是因為自己姓孟,與夢諧音。若要真取名MengNet提交,未免臉皮太厚了一些,絕無此必要。
賽事結果出來之後,同樣覺得人生如夢似幻的還有唐璜和劉旭。
即便孟繁岐每次更新的程式碼和小技巧總能提升模型的效能又或者是訓練速度,即便他們也無數次的在想,不會真的可以奪冠吧?
但從內心深處,他們都一直只是懷疑,從來沒有真正相信過這件事。
也就更別提這種碾壓的姿態奪冠了。
“微軟,UC伯克利,聖彼得堡,IBM,東大,新加坡國立,牛津,多倫多。”一路數下來,多少世界一流的大學和機構被遠遠甩在後面。
甚至於AI三巨頭之一的立昆,本次也親自帶隊參賽,但也只能折戟沉沙。
與此同時,就在李飛飛讓鄧嘉快些公佈結果網頁的同時,斯坦福大學附近矽谷山景城的谷歌公司裡有三個人第一時間就關注到了這個結果。
他們就是去年的冠軍,被谷歌重金收購的辛頓團隊。
阿里克斯,高高瘦瘦,短髮方臉。一身經典的程式設計師套裝打扮,言行舉止之間乾脆利落,很有智慧和幹練的感覺。
辛頓五官立體,稍有些鷹鉤鼻,長相有三分像斯內普。面無表情的時候顯得十分威嚴,讓人心生畏懼,笑起來的時候卻很有感染力。
不過此時此刻,他實在是笑不出來。
“難以置信,真的難以置信。”阿里克斯快步趕到老師的辦公室門口,也顧不上敲門了,直接推門而入,“老師你看了嗎?新一年的....”
話還沒有說完,辛頓就微微抬起右手示意他停下。
半晌,才緩緩將椅子轉了過來,聲音非常低而深沉地說道,“這特麼也太深了吧。”
谷歌斥數千萬巨資收購辛頓團隊,可不是粉絲追星的行為。他們的合同當中,辛頓團隊協助他們保持AI技術的領先地位是佔了很大成分的。
這一次DreamNet跨時代的提升,更高位置的十個點含金量遠在去年自己團隊的AlexNet之上。加上又打破了人類水準,猛然之間給了辛頓數十年未有的巨大學術壓力。
一年以來,他第一次有這種感嘆,原來谷歌的錢拿著會這麼燙手。
“他們到底是誰,有機會提前聯絡上嗎?”
辛頓團隊今年沒有參賽也沒有參與主辦,自然也就沒有隊伍註冊時留的郵箱和其他資訊,如今這個震撼的結果出來之後,想要這個資訊的人實在太多。
主辦方不可能每個都給,也就不如干脆公正嚴明到底了。
而且辛頓了解李飛飛,她剛剛發訊息讓自己去檢視榜單,就是故意想讓自己好奇,怎麼可能會提供協助?
倒是阿里克斯突然想起了什麼,“前幾個月好像有人給我發過郵件,署名就是Meng,但我不確定他跟Dream隊伍有沒有關係。”