這不是石建萍第一次來CVPR了。過去這八年,她幾乎沒落下過一屆,倒也習(xí)慣了每年辦一次美國簽證。只不過,這么多年以來,參加CVPR的身份卻在不斷變化:從一個本科生,到博士生,到研究員,再到如今商湯科技的研究總監(jiān)。

她今年帶來了五篇CVPR論文,其中一篇Oral和兩篇Spotlight,這個數(shù)量已經(jīng)算是相當(dāng)出色。商湯科技今年也破紀(jì)錄地入選了44篇論文,僅次于谷歌的45篇。工業(yè)界的一家公司有40多篇論文入選CVPR,這在過去絕對是難以想象的。

過去的十年里,CVPR變了許多。曾經(jīng)在學(xué)術(shù)界孤芳自賞的計算機視覺,如今走出了象牙塔,成為聚光燈下最璀璨的科技新星。會議的主角,從當(dāng)年的向量機,到今天大行其道的深度學(xué)習(xí);2010年出世的ImageNet挑戰(zhàn)賽ILSVRC,也在去年畫上了一個句號......

十年前不過1500人的參會規(guī)模,今年已經(jīng)超過了6500人;當(dāng)年還來參會的學(xué)生們,現(xiàn)在不少都是工業(yè)界的高級研究員或首席科學(xué)家......

多年的變遷,其中有委員會的推波助瀾,也是時代變遷的必然結(jié)果。大部分人對這些變化歡欣鼓舞,也有不少人患得患失。這其中的故事,值得我們?nèi)セ厮荨?

曾經(jīng)懵懂的華人學(xué)者

2011年,即將從浙江大學(xué)竺可楨學(xué)院大四畢業(yè)的石建萍收到了來自CVPR委員會的郵件:恭喜您,您的論文入選了今年的Oral Presentation(論文演講報告)。這讓她可激動壞了。

CVPR,全稱IEEE國際計算機視覺與模式識別會議,在計算機視覺領(lǐng)域是和ICCV、ECCV并稱的三大頂尖會議。計算機學(xué)科的發(fā)展速度很快,前沿更新往往是日新月異,相比于1-2年才能面世的期刊,學(xué)者們都傾向于將論文投至年度學(xué)術(shù)會議。

入選Oral意味著你的論文不僅受到了委員會的極大認可,還可以在參會者面前做15-20分鐘的演講報告(現(xiàn)在時間都縮短了)。CVPR的總體論文錄取率在25%-30%,入選Oral的錄取率不超過5%(2011年為3.5%),剩下的都是Poster(論文海報),以及在2016年才出現(xiàn)的第三種形式Spotlight,即簡短的演講報告。

據(jù)不完全統(tǒng)計,石建萍可能是當(dāng)時國內(nèi)第一個論文入選CVPR Oral的本科生。她研究的課題是為A Non-Convex Relaxation Approach to Sparse Dictionary Learning。Sparce Dictionary Learning在當(dāng)時還是比較主流的研究課題(以基本元素的線性組合以及這些基本元素本身的形式找到輸入數(shù)據(jù)的稀疏表示,也稱為稀疏編碼)。不過,深度學(xué)習(xí)到來后,這些方法都沒有容身之處了。

CVPR是石建萍第一次接觸國際頂尖會議。辦妥了簽證,她就準(zhǔn)備動身前往美國。

那年的CVPR剛剛從前一年的舊金山來到了美國的內(nèi)陸城市科羅拉多,參會者也從前一年的2000人掉到了1000多人。不比今天的CVPR要選在某某會議中心,那年的規(guī)格在一家皇冠假日酒店舉辦也就足夠了。酒店里的兩個Ballroom被用作Oral,一樓的另外三個房間用來展示Poster,酒店零星地擺著一些來自工業(yè)界公司的展臺,幾張小桌子拼拼湊湊,上面疊放著招人啟示。

多年來,CVPR的日程也一直如此:周二到周四是大會正式日,周一和周五、甚至是周六則是Workshop和Tutorials。

石建萍的Oral被安排在周二中午,倒也一切順利。剩下的時間,她就用來看Poster。那時候接收的論文也不多,一個半小時看個40多篇,不過因為是第一次來,大多她也看不太懂。

石建萍在CVPR 2011做Oral演講

2011年以前,即使是國內(nèi)一流的學(xué)術(shù)機構(gòu),包括清華、浙大和中科院自動化所,當(dāng)時能投中CVPR論文的并不多。不是因為國內(nèi)學(xué)者們的研究能力不足,而是在CVPR上投中論文,需要許多“門道”:選題是否合適?英文寫作是否規(guī)范?實驗該怎么做?當(dāng)時的國內(nèi)學(xué)術(shù)機構(gòu)缺乏海歸學(xué)者和相應(yīng)的學(xué)術(shù)環(huán)境,這讓他們往往把不準(zhǔn)國際會議的脈。

CVPR 2017的領(lǐng)域主席、如今在俄勒岡州立大學(xué)任教的李伏欣,回憶起2008年以前在自動化所就讀博士的場景時,感慨道:“那時候許多同學(xué)的論文英文寫作還都是我改的。大家缺乏專業(yè)的學(xué)術(shù)訓(xùn)練,不了解如何把握實驗設(shè)計和論文寫作中的各種細節(jié)。”

李伏欣還談到了當(dāng)年寫論文的一個細節(jié),“我剛出國的時候,當(dāng)時寫論文被改的最多的就是‘get’改成‘obtain’,‘to do something’改成‘in order to do something’,看起來是一樣的東西,但就是口語和書面語的區(qū)別?！?

另一個值得一提的原因是:直到中國計算機協(xié)會在2010年左右(具體時間無法考證)將CVPR定為A級會議之前,國內(nèi)學(xué)術(shù)機構(gòu)對CVPR也沒有那么重視。

微軟亞洲研究院(簡稱微軟亞研)和香港中文大學(xué)多媒體實驗室(簡稱港中大實驗室)是當(dāng)時國內(nèi)計算機視覺的兩大重鎮(zhèn)。2009年CVPR的最佳論文便出自這兩家學(xué)術(shù)機構(gòu)之手,論文的第一作者何愷明此后又帶來了殘差網(wǎng)絡(luò)ResNet,也因此獲得了CVPR 2016的最佳論文,這已經(jīng)是后話了。

石建萍是幸運的,當(dāng)時浙江大學(xué)空降了一位海歸學(xué)者——來自加州大學(xué)伯克利分校的張志華。據(jù)石回憶,張志華是一心做純科研的學(xué)者,極力推薦學(xué)生們讀數(shù)學(xué)的書,也不讓他們?nèi)プ龊晚椖肯嚓P(guān)的東西。后來,張志華先后在上海交大和北京大學(xué)任教,如今是北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院教授。

張志華的引路,讓石建萍與計算機視覺結(jié)緣。盡管當(dāng)時為她寫推薦信的老師曾勸她學(xué)習(xí)比較火的領(lǐng)域,比如數(shù)據(jù)挖掘(Data Mining),但石建萍還是選擇了當(dāng)時中國計算機視覺領(lǐng)域的重鎮(zhèn)——香港中文大學(xué),并投身計算機視覺系的賈佳亞教授門下。

湯曉鷗教授的前瞻

時間來到2012年,多倫多大學(xué)教授、被譽為“深度學(xué)習(xí)之父”的Geoffry Hinton和他的學(xué)生們帶著AlexNet在那一年的ImageNet ILSVRC挑戰(zhàn)賽上技壓群雄,top5錯誤率比第二名低了足足10%。這篇被NIPS 2012收錄的論文也被認為是開啟深度學(xué)習(xí)熱潮的一塊里程碑。

可在當(dāng)時,將深度學(xué)習(xí)應(yīng)用到計算機視覺的并不只有Hinton組。2011年,當(dāng)時還在斯坦福大學(xué)任教的吳恩達聯(lián)合Jeff Dean和Greg Corrado在谷歌創(chuàng)立了Google X項目,用16000個中央處理器核心,通過深度神經(jīng)網(wǎng)絡(luò),讓該系統(tǒng)僅通過收看大量的Youtube視頻來識別貓。

而在中國,由湯曉鷗教授所帶領(lǐng)的香港中文大學(xué)實驗室也在2011年起開始探索深度學(xué)習(xí)在人臉識別方面的可能性。

林達華是如今香港中文大學(xué)實驗室的主任。2005年從中科大畢業(yè)之后,林達華曾經(jīng)在港中大實驗室就讀碩士學(xué)位,和湯教授有了一段師生緣。2007年,他獲得全額獎學(xué)金到MIT攻讀計算機科學(xué)博士學(xué)位。2014年,林達華受湯教授的邀請回到了港中大任教并成為商湯科技的創(chuàng)始成員。

據(jù)他回憶,港中大實驗室研究人臉識別可以追溯到2000年。“我在2005年讀碩士的時候,當(dāng)時我們主要是用子空間分析——一種線性模型的方法來做人臉識別,也取得了一些成果,但是直到深度學(xué)習(xí)之前,性能水平始終難以做到商用?！?

轉(zhuǎn)機出現(xiàn)在2011年,當(dāng)時在微軟亞研的鄧力教授(如今是美國金融巨頭Citadel的首席人工智能官)率先將深度學(xué)習(xí)應(yīng)用到了語音識別領(lǐng)域,并取得了顯著的性能提升。這讓同樣在微軟亞研的湯教授嗅到了在視覺領(lǐng)域掀起深度學(xué)習(xí)革命的機會。

然而,轉(zhuǎn)型并不容易。當(dāng)時的學(xué)術(shù)界對于深度學(xué)習(xí)抱有極大的懷疑態(tài)度。神經(jīng)網(wǎng)絡(luò)早在80年代就出現(xiàn)了,之所以多年來不受重用是因為其在性能上并沒有優(yōu)勢可言,且神經(jīng)網(wǎng)絡(luò)的黑箱屬性讓研究員難以理解網(wǎng)絡(luò)的學(xué)習(xí)和決策過程。

此外,將過去的工作推翻全面接受深度學(xué)習(xí),花費大量的資金購買GPU建立并行算力集群,并決定完全自主研發(fā)深度學(xué)習(xí)平臺,對湯教授來說這是需要承擔(dān)風(fēng)險的。許多后輩的學(xué)者都評價湯教授是“一位具有前瞻性的學(xué)者”,他當(dāng)時在深度學(xué)習(xí)上的探索為之后的許多工作都奠定了基礎(chǔ)。

巨大的投入很快取得了回報。2011-2013年間,在計算機視覺領(lǐng)域兩大頂級會議ICCV和CVPR上,湯教授組一共發(fā)表了14篇深度學(xué)習(xí)論文,占據(jù)全世界在這兩個會議上深度學(xué)習(xí)論文總數(shù)(29篇)的近一半。

到了2014年6月,湯教授帶領(lǐng)港中大多媒體實驗室發(fā)表了DeepID系列算法,實現(xiàn)人臉識別準(zhǔn)確率達98.52%,超越Facebook,在全球首次突破人眼識別能力。該論文也被CVPR 2014所收錄。

雖然這些成績還遠遠不夠,但學(xué)術(shù)界看到了人臉識別在商用上的可能性。

CVPR也在2014和2015年開始全面接受深度學(xué)習(xí)。在CVPR 2016,據(jù)不完全統(tǒng)計,將近60%的論文都和深度學(xué)習(xí)相關(guān),口頭報告更是接近100%來自深度學(xué)習(xí)。

當(dāng)時在港中大讀博士的石建萍,見識到了深度學(xué)習(xí)和以往算法的不同?！吧疃葘W(xué)習(xí)確實把很多東西做成了,以前可能我們流行了很多不同的技術(shù)方案,但是大家都還是在這個水平線上打轉(zhuǎn),沒有一個特別大的一個突破,但是深度學(xué)習(xí)直接將很多問題的一個準(zhǔn)確率一下抬高了一個檔次?！?

嗅到了商用機會的湯教授,帶著昔日弟子王曉剛和一批港中大實驗室的班底,在2014年年末創(chuàng)立了商湯科技。2015年夏天,石建萍博士學(xué)位畢業(yè),追隨她的“師兄師姐們”進入了商湯科技研究院。她的大師兄,也就是如今商湯科技的CEO徐立。

學(xué)術(shù)到工業(yè)的一脈相承

斯坦福大學(xué)教授、Deeplearning.ai的創(chuàng)始人吳恩達曾經(jīng)說過,如今99%的人工智能應(yīng)用的背后是由監(jiān)督學(xué)習(xí)所驅(qū)動。易于標(biāo)注的二維圖像數(shù)據(jù)、算力的提升和深度學(xué)習(xí)算法的演進,也讓視覺領(lǐng)域在過去幾年首先得益。

從你睜開眼的那刻起,計算機視覺就開始了它一天的工作:從識別你的頭像解鎖手機,到登陸你的銀行賬號;交通燈上的攝像頭緊盯著亂闖馬路的行人并把他們的頭像放大在街頭的顯示屏上;進入辦公大樓不用再出示工作證,而是直接看向門口的攝像頭進行身份驗證......

深度學(xué)習(xí)帶給了視覺領(lǐng)域大規(guī)模商用的潛能,也讓CVPR出現(xiàn)了一番新的景象。

過去,視覺領(lǐng)域的問題無法落地到實際的應(yīng)用場景里,研究大多局限在實驗室。可如今,視覺領(lǐng)域與實踐緊密結(jié)合,產(chǎn)生出了新的問題,工業(yè)界需要利用研究來推動自身的商業(yè)邊界,也就順其自然地向CVPR這樣的國際會議輸出研究結(jié)果。

最近幾年,貢獻最為明顯的要屬中國的AI公司,比如商湯。繼CVPR 2017入選了23篇論文后,今年商湯又貢獻了44 篇(這其中包括了商湯科技、香港中文大學(xué)-商湯科技聯(lián)合實驗室以及其他商湯科技聯(lián)合實驗室),其中3篇是Oral(今年CVPR Oral錄取率是1.88%),內(nèi)容覆蓋了十幾個課題,包括大規(guī)模分布式訓(xùn)練、人體理解與行人再識別、自動駕駛場景理解與分析、底層視覺算法、視覺與自然語言的綜合理解、物體檢測、識別與跟蹤、深度生成式模型、視頻與行為理解等。

此外,騰訊AI Lab有21篇論文入選,阿里巴巴18篇,騰訊優(yōu)圖10篇,曠視科技8篇。

石建萍覺得,商湯內(nèi)部其實沒有鼓勵大家寫論文,畢竟作為一家商業(yè)公司還是盡可能多的去做實際產(chǎn)品項目相關(guān)的一些東西,論文數(shù)量多的主要原因是因為氛圍在這里。

“越來越多的同學(xué)進入商湯或者港中大-商湯聯(lián)合實驗室以后,他旁邊就有同學(xué)在做類似的事情,也更容易入手。在實際的產(chǎn)品過程中,我們有很多的想法出來,這時候就可以把一些實驗提交給學(xué)生去做,他們也能夠快速地提高技能?！?

從2009年港中大多媒體實驗室獲得最佳論文,到2018年商湯科技44篇論文入選,這是一脈相承的結(jié)果。

“資源的投入,新問題的產(chǎn)生,肯定對這個領(lǐng)域的發(fā)展是有很大的一個正面驅(qū)動作用的”,林達華說。

“總想有一年來贊助CVPR”

參加完幾次CVPR,石建萍早已沒有當(dāng)初的那股興奮勁兒了,但她依然有新的追求。

“以前和師兄師姐聊天的時候,他們都說自己有個夢想:參加了這么多年CVPR,總想有一年過來贊助下?！?

2015年以前,即便是公司常年贊助CVPR,也不過是在Poster外圍搭上個小展臺。而且,這么多年以來,CVPR的贊助名單上永遠是那幾家美國公司:谷歌、微軟、亞馬遜、IBM......

在2015年的CVPR上,一家叫做知圖科技的AI公司買下了那一年的Platinum Sponsor,并讓該公司的品牌直接印在了每個參會者的入場名牌(badge)上。

贊助CVPR有著工業(yè)界的考量,這背后反映的是計算機視覺在工業(yè)界的迅速升溫和對人才的渴求。僅僅在中國,2011年到2015年成立的人臉識別公司就超過30家,2016 年達到70多家。其中,既有商湯科技為代表的AI企業(yè);BAT也都在AI和計算機視覺領(lǐng)域有了實驗室:阿里巴巴成立iDST,騰訊成立優(yōu)圖,百度成立人工智能實驗室。

根據(jù)IDC在今年5月發(fā)布的《2018年中國計算機視覺應(yīng)用市場研究(上)》報告,截至2017年12月底,中國計算機視覺應(yīng)用市場規(guī)模達15.45億元人民幣,同比2016年增長184%。其中,政府、金融、互聯(lián)網(wǎng)是計算機視覺技術(shù)支出規(guī)模最大的3個行業(yè);政府行業(yè)中平安城市、金融行業(yè)中人臉身份驗證是技術(shù)支出規(guī)模最大的2個場景。

在AI人才稀缺的年代,像CVPR這樣的大會就好比是一場大型招聘會。這些來自高校的學(xué)者或是工業(yè)界的能人,未來都有可能成為廠商們的核心研究員。

同樣在2015年,剛剛成立的商湯科技也成為了CVPR最高級別贊助商。對石建萍的那些在商湯的師兄師姐們而言,贊助CVPR除了品牌宣傳外,也算是了卻了心愿。之后,商湯每年都出現(xiàn)在了贊助名單上。

時間來到2016年,CVPR迎來了歷史上首次展覽會。那一年就有近100家公司參加,到了今年,廠商數(shù)量超過了115家,也給委員會帶來了200萬美元的贊助收入。

在拉斯維加斯的凱撒宮舉辦的CVPR 2016吸引了3500 人,在當(dāng)時達到了歷史新高。展覽會在凱撒宮的Octavius Ballroom舉辦,聚集了將近100家公司。Platinum Sponsor的展臺達20*20ft。和工業(yè)界展會雷同,公司們搭設(shè)屏幕展示Demo或者技術(shù)產(chǎn)品。

在那一年的Sponsor名單上,除了商湯我們還看到了更多中國面孔:圖森科技、大疆、百度、滴滴......這幾家公司也都成為了近年來CVPR的熟客。

在那會兒,商湯的展臺布置還比較簡單:兩邊各擺上一張海報,中間擺著三臺屏幕展示Demo,后面擺著幾張桌子。

來到2018年,商湯的CVPR展臺除了一如既往的紅色背景外,擺設(shè)裝潢已經(jīng)完全不同了:展臺的四周由四面展示墻包圍,正反面各搭設(shè)一個屏幕,用來展示一種商湯的技術(shù)產(chǎn)品。這也難怪,如今商湯科技的布局橫跨十幾個領(lǐng)域,從人臉識別系統(tǒng)SensePortrait、到增強現(xiàn)實感引擎與平臺SenseAR、再到車內(nèi)駕駛員監(jiān)控系統(tǒng)SenseDrive,要展示的Demo實在太多。

商湯科技在CVPR 2018的展臺

這些過去幾年曾出現(xiàn)在某CVPR上的論文,如今以Demo甚至是產(chǎn)品的形式在CVPR上重現(xiàn),這是計算機視覺學(xué)者的一種幸運。

寫在最后

“好想去感受一次(CVPR)”,這是許多年紀(jì)輕輕、還未經(jīng)歷過CVPR的計算機視覺系同學(xué)的心聲。

林達華還記得他第一年參加CVPR,那還是2005年,也是中了一篇Oral,“我準(zhǔn)備了兩三周,反復(fù)地在老師面前說。那個時候Oral時間也比較長,要將近20分鐘?！?

“學(xué)生時代的話,其實每一次來開會都懷著一個比較好奇的一個心情,現(xiàn)在也大不一樣了?！?

石建萍也有同感。2011年來的時候,她還是一個學(xué)生,對什么都好奇。今年她帶著幾個商湯實習(xí)生過來,有些人也是第一次過來,瞧著和當(dāng)年的自己特別像。

原文標(biāo)題:CVPR 2018 | CVPR十年軼事:走出象牙塔

文章出處:【微信號:SenseTime2017,微信公眾號:商湯科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。