中國超算能否再奪“戈登貝爾獎(jiǎng)”？2018年戈登貝爾獎(jiǎng)的“風(fēng)向”

8月22日，由中國計(jì)算機(jī)學(xué)會(huì)(CCF)主辦，中國計(jì)算機(jī)學(xué)會(huì)高性能計(jì)算專業(yè)委員會(huì)、內(nèi)蒙古和林格爾新區(qū)管理委員會(huì)、清華大學(xué)、內(nèi)蒙古大學(xué)共同承辦，北京并行科技股份有限公司協(xié)辦的“2019 CCF 全國高性能計(jì)算學(xué)術(shù)年會(huì)”(HPC China 2019)于內(nèi)蒙古呼和浩特舉行。

《中國科學(xué)報(bào)》記者在此次年會(huì)上獲悉，基于我國已建成的超大規(guī)模高性能計(jì)算機(jī)，中國超算應(yīng)用團(tuán)隊(duì)還將繼續(xù)沖擊2019年的戈登貝爾獎(jiǎng)，該獎(jiǎng)項(xiàng)將于11月在美國舉行的國際超算大會(huì)上揭曉。

“戈登貝爾獎(jiǎng)”是國際上高性能計(jì)算應(yīng)用領(lǐng)域的最高學(xué)術(shù)獎(jiǎng)項(xiàng)，被稱為“超算領(lǐng)域的諾貝爾獎(jiǎng)”。拜中國最強(qiáng)超算“神威·太湖之光”所賜，中國超算應(yīng)用團(tuán)隊(duì)曾在2016年、2017年連續(xù)兩奪“戈登貝爾獎(jiǎng)”——在此之前，美國、日本壟斷該獎(jiǎng)項(xiàng)長達(dá)近30年。

中國超算應(yīng)用團(tuán)隊(duì)還能否在2019年甚至未來再次斬獲這一殊榮?戈登貝爾獎(jiǎng)在引領(lǐng)超級(jí)計(jì)算機(jī)未來哪些發(fā)展趨勢?

戈登貝爾獎(jiǎng)的兩個(gè)基本條件

怎么才能獲得戈登貝爾獎(jiǎng)?在HPC China 2019上，清華大學(xué)計(jì)算機(jī)系教授、大會(huì)共同主席鄭緯民總結(jié)了兩個(gè)最基本的條件：第一，應(yīng)用程序在TOP500前幾名機(jī)器上全機(jī)運(yùn)行;第二，應(yīng)用程序有很好的性能。

這兩個(gè)條件，也從側(cè)面解釋了中國多年來沒能獲得戈登貝爾獎(jiǎng)的原因——中國超算第一次排名世界第一，是2010年11月的“天河一號(hào)A”。短時(shí)間內(nèi)，中國超算應(yīng)用還需要孕育。

也就是說，硬件水平只是基本要素之一。正所謂“硬件搭臺(tái)、軟件唱戲”，戈登貝爾獎(jiǎng)要求，應(yīng)用程序要在頂級(jí)的硬件的舞臺(tái)上唱出精彩的戲才行。

“雖然說戈登貝爾獎(jiǎng)是拜‘神威·太湖之光’所賜，但這也只是獲得該獎(jiǎng)項(xiàng)的硬件基礎(chǔ)。如果沒有高效、創(chuàng)新、面向解決重大問題的應(yīng)用被開發(fā)出來，也無法獲得戈登貝爾獎(jiǎng)。”HPC China 2019上一位要求匿名的業(yè)內(nèi)專家告訴《中國科學(xué)報(bào)》。

2016年代表中國首次摘得戈登貝爾獎(jiǎng)的團(tuán)隊(duì)負(fù)責(zé)人、中科院軟件所研究員楊超也告訴記者，那些軟件水平足夠高、方法有創(chuàng)新并且對(duì)今后的應(yīng)用有示范意義，入圍和得獎(jiǎng)的機(jī)會(huì)才夠大。

問題是，什么樣的超算應(yīng)用對(duì)未來有示范意義?

在HPC China 2019大會(huì)主論壇上，鄭緯民對(duì)入圍2018年戈登貝爾獎(jiǎng)的6個(gè)超算應(yīng)用項(xiàng)目進(jìn)行了分析，試圖回答上述問題。

2018年戈登貝爾獎(jiǎng)的“風(fēng)向”

從鄭緯民提供的2018年ACM 戈登貝爾獎(jiǎng)入圍名單可以看到，2018年，中國超算應(yīng)用團(tuán)隊(duì)只有一支“獨(dú)苗”挺進(jìn)“戈登貝爾獎(jiǎng)”決賽名單。記者通過查詢資料得知，這支隊(duì)伍由清華大學(xué)林恒博士和卡塔爾計(jì)算研究所、搜狗等7家機(jī)構(gòu)的研究人員組成，所開發(fā)的應(yīng)用名為：基于神威·太湖之光的超大規(guī)模圖計(jì)算系統(tǒng)“神圖”。

鄭緯民介紹說，“神圖”圖計(jì)算框架項(xiàng)目探索了在超算系統(tǒng)上如何開展極大規(guī)模圖數(shù)據(jù)的高效處理，是一個(gè)典型的運(yùn)行在超級(jí)計(jì)算機(jī)上的人工智能應(yīng)用。遺憾的是，最終“神圖”圖計(jì)算框架項(xiàng)目未能為中國拿下2018年的戈登貝爾獎(jiǎng)。

2018年戈登貝爾獎(jiǎng)?lì)C給了兩個(gè)來自美國的團(tuán)隊(duì)，分別是橡樹嶺國家實(shí)驗(yàn)室應(yīng)用超級(jí)計(jì)算機(jī)來應(yīng)對(duì)藥物流行病，通過基因組學(xué)分析研究藥物在人群中的使用;以及勞倫斯伯克利國家實(shí)驗(yàn)室“用E級(jí)規(guī)模的深度學(xué)習(xí)進(jìn)行氣候分析”，通過大規(guī)模的深度學(xué)習(xí)識(shí)別極端天氣。

這兩個(gè)超算應(yīng)用都是當(dāng)今排名世界第一的Summit超級(jí)計(jì)算機(jī)上實(shí)現(xiàn)的。鄭緯民介紹說，其中，“應(yīng)用超級(jí)計(jì)算機(jī)來應(yīng)對(duì)藥物流行病”是一個(gè)傳統(tǒng)的科學(xué)研究應(yīng)用，屬于基因組學(xué)計(jì)算領(lǐng)域，由美國能源部下屬的橡樹嶺國家實(shí)驗(yàn)室的研究團(tuán)隊(duì)領(lǐng)銜完成;而“用E級(jí)規(guī)模的深度學(xué)習(xí)進(jìn)行氣候分析”則是一個(gè)運(yùn)行在超級(jí)計(jì)算機(jī)上的人工智能應(yīng)用，由勞倫斯伯克利國家實(shí)驗(yàn)室和英偉達(dá)公司的聯(lián)合研究團(tuán)隊(duì)完成。

鄭緯民評(píng)價(jià)道，這兩項(xiàng)研究，前者是高性能計(jì)算與生物信息學(xué)、醫(yī)學(xué)相結(jié)合的一個(gè)典范，后者則是“首個(gè)可以有效擴(kuò)展到近3萬塊(27360塊)GPU加速卡的深度學(xué)習(xí)應(yīng)用”，成為其最大亮點(diǎn)。

在其余四個(gè)入圍戈登貝爾獎(jiǎng)的應(yīng)用中，鄭緯民介紹說，“引入了混合精度計(jì)算來充分發(fā)揮GPU計(jì)算資源的效能”的“城市地震災(zāi)害模擬項(xiàng)目”，和“探索了在超級(jí)計(jì)算機(jī)上如何開展極大規(guī)模圖數(shù)據(jù)的高效處理”的“‘神圖’圖計(jì)算框架項(xiàng)目”，都是典型的運(yùn)行在超級(jí)計(jì)算機(jī)上的人工智能應(yīng)用。

從上述6個(gè)入圍戈登貝爾獎(jiǎng)項(xiàng)目的分析中不難看出，獲獎(jiǎng)的“用E級(jí)規(guī)模的深度學(xué)習(xí)進(jìn)行氣候分析”項(xiàng)目，與入圍的“城市地震災(zāi)害模擬項(xiàng)目”“‘神圖’圖計(jì)算框架項(xiàng)目”，均屬于超算與人工智能融合的范例——超算上的人工智能應(yīng)用已經(jīng)占據(jù)了半壁江山。

也正因此，鄭緯民也將“人工智能應(yīng)用有望成為超算的主流應(yīng)用之一”總結(jié)為未來超級(jí)計(jì)算機(jī)與應(yīng)用的兩個(gè)重要發(fā)展趨勢之一。

未來如何走得更遠(yuǎn)

鄭緯民總結(jié)的另一個(gè)趨勢是，異構(gòu)架構(gòu)在超算系統(tǒng)構(gòu)建層面被廣泛接受。他認(rèn)為，目前全球超算TOP10的系統(tǒng)中，異構(gòu)架構(gòu)超算已經(jīng)占據(jù)了七成。盡管“加速器異構(gòu)”和“異構(gòu)眾核”之爭仍在繼續(xù)，異構(gòu)架構(gòu)已成為構(gòu)建頂級(jí)超算系統(tǒng)的大勢所趨。

記者觀察到，在全球TOP10的超算中，以英偉達(dá)GPU為代表構(gòu)建的異構(gòu)超算占了5席。考慮到人工智能在科學(xué)與工程計(jì)算中越來越廣泛的應(yīng)用，這也為人工智能應(yīng)用與超算的融合打下了硬件基礎(chǔ)。

算力一直被認(rèn)為是人工智能再次騰飛的重要基礎(chǔ)之一。而隨著深度神經(jīng)網(wǎng)絡(luò)規(guī)模的擴(kuò)大，最新的網(wǎng)絡(luò)生成和訓(xùn)練往往需要數(shù)萬GPU小時(shí)(如BERT、NASNet等)甚至更多。

對(duì)此，鄭緯民說：“具有頂級(jí)計(jì)算能力的超算系統(tǒng)理應(yīng)為大規(guī)模人工智能應(yīng)用提供助力，不斷拓展后者的技術(shù)邊界。”

再回到2018年戈登貝爾獎(jiǎng)入圍名單上。從該獎(jiǎng)的選擇來看，有3個(gè)人工智能應(yīng)用得以入圍，其中1個(gè)最終得獎(jiǎng)。

“2018年的戈登貝爾獎(jiǎng)選擇大規(guī)模深度學(xué)習(xí)應(yīng)用，入圍應(yīng)用中人工智能相關(guān)的項(xiàng)目也前所未有地占據(jù)了半壁江山，這一切都預(yù)示著人工智能與超算的結(jié)合將越來越緊密。”鄭緯民說。

中國到底能否在2019年甚至未來再次斬獲這一殊榮?我們拭目以待。但不容忽視的是，以深度學(xué)習(xí)為代表的人工智能算法，已經(jīng)影響了硬件的發(fā)展方向，并且會(huì)在將來進(jìn)一步擴(kuò)大其影響。

中科院計(jì)算所研究員、國家超級(jí)計(jì)算濟(jì)南中心主任張?jiān)迫脖硎荆钥茖W(xué)計(jì)算為代表的傳統(tǒng)高性能計(jì)算程序必須接受這一個(gè)事實(shí)，只有主動(dòng)擁抱這一個(gè)事實(shí)，并尋求兩者的結(jié)合點(diǎn)，才有可能在未來走得更遠(yuǎn)。(趙廣立)