AI直面算力難題——在密集發(fā)布的人工智能大模型之外，我們離算力自由還有多遠(yuǎn)？
分類: 最新資訊
范文詞典
編輯 : 范文大全
發(fā)布 : 04-22
閱讀 :269
經(jīng)濟(jì)觀察報(bào) 記者 鄭晨燁 在4月中旬舉辦的香港國際創(chuàng)科展上，華為搭建了囊括七大主題的面積約600平方米的“豪華展區(qū)”。從智慧城市、行業(yè)數(shù)字化轉(zhuǎn)型乃至新型儲能，華為依托自身端、管、云協(xié)同的基礎(chǔ)設(shè)施優(yōu)勢，眼下正在不斷加速向各行各業(yè)拓展邊界。而在涵蓋30余種解決方案的展區(qū)中，AI計(jì)算相關(guān)產(chǎn)品吸引了不少來往展商與觀眾?！拔抑岸疾恢溃A為也有AI訓(xùn)練卡嗎？你們的盤古大模型是用自己的產(chǎn)品訓(xùn)練出來的嗎？”在華為AI計(jì)算的展區(qū)內(nèi)，記者看到有觀眾如是詢問現(xiàn)場的工作人員。自ChatGPT的爆火掀起生成式AI的浪潮以來，各類大模型如雨后春筍般冒出，面對正在舞臺上賣力演出的“角兒”們，真正搭臺的AI算力產(chǎn)業(yè)反倒顯得不那么引人注目。“人工智能的核心說起來就三個(gè)點(diǎn)：大數(shù)據(jù)、大模型、大算力，現(xiàn)在國內(nèi)的算力市場非常火熱，像我們合肥（超算）中心的算力已經(jīng)被國內(nèi)一家知名智能語音企業(yè)全部定下來了，而且客戶還要求我們盡快做下一步擴(kuò)容。”華為展區(qū)內(nèi)一位專家向經(jīng)濟(jì)觀察報(bào)記者介紹。如果將2023年視為中國人工智能大模型應(yīng)用元年，那么在大規(guī)模的前端產(chǎn)品落地后，算力建設(shè)能否及時(shí)跟上，便成了大模型向各領(lǐng)域進(jìn)一步滲透的關(guān)鍵因素。但在部分業(yè)內(nèi)人士看來，眼下國內(nèi)算力供給已成為制約大模型發(fā)展的瓶頸之一。4月19日，一位來自上海的云計(jì)算廠商的產(chǎn)品經(jīng)理李實(shí)在交流時(shí)就告訴記者：“目前AI對算力需求增長的速度要快于算力供給增長的速度，AI芯片的迭代也有點(diǎn)跟不上模型訓(xùn)練及迭代所需?！彼懔Φ男枨驩penAI自發(fā)布ChatGPT以來，月活用戶已在年初突破一億，成為歷史上用戶增長最快的應(yīng)用程序，而在Chat－GPT面世后，與曾經(jīng)出現(xiàn)的造手機(jī)、造汽車的浪潮一樣，國內(nèi)一眾互聯(lián)網(wǎng)產(chǎn)業(yè)鏈上的廠商開始扎堆“造模型”。先是百度于3月16日官宣發(fā)布基于百度飛槳深度學(xué)習(xí)平臺和文心知識增強(qiáng)大模型打造的——文心一言，隨后4月9日至11日連續(xù)三天，三六零（601360.SH）、商湯、阿里又分別發(fā)布了“360智腦”“日日新”“通義千問”三個(gè)大模型。此外，騰訊、華為、知乎、京東、昆侖萬維也紛紛攜帶各自的大模型產(chǎn)品加入混戰(zhàn)。但在李實(shí)看來，國產(chǎn)大模型的密集發(fā)布宣傳意義更大，而目前實(shí)際落地的使用效果和市場期待尚有一定差距。比如，此前文心一言飽受調(diào)侃的作圖功能就很能說明一些問題：讓其畫老婆餅結(jié)果真畫出來一個(gè)老婆婆，畫紅燒獅子頭結(jié)果畫出來一幅紅色的獅子頭?！巴ㄓ么竽Ｐ偷目袋c(diǎn)，主要在于未來與不同行業(yè)結(jié)合后，對各類產(chǎn)品的賦能和提升，比如搜索引擎和大模型的結(jié)合，就讓這類早已成型的應(yīng)用又誕生出了想象空間，又或者類似蘋果Siri這類語音助手，和大模型結(jié)合后帶來的沉浸式交互體驗(yàn)是前所未有的。可以說大模型的出現(xiàn)，給許多早已一潭死水的TMT產(chǎn)業(yè)帶來新的增量空間?！崩顚?shí)說。在4月18日舉辦的2023年中國ICT市場趨勢論壇上，IDC中國研究總監(jiān)盧言霞亦稱，根據(jù)斯坦福大學(xué)2022年發(fā)布的人工智能指數(shù)報(bào)告，大模型文生圖的準(zhǔn)確率僅為25%，而目前文生圖、文生文可以落地的一些應(yīng)用，主要集中在互娛和游戲場景當(dāng)中，包括影視渲染、美術(shù)設(shè)計(jì)等，真正到工業(yè)環(huán)境中，市場對于哪些應(yīng)用場景能夠落地，現(xiàn)在還比較困惑。之所以國內(nèi)一眾大模型的體驗(yàn)效果要遜色于ChatGPT，除了算法及數(shù)據(jù)方面的差距外，算力投入也是一個(gè)繞不開的原因。CIC灼識咨詢合伙人趙曉馬向記者表示，人工智能的發(fā)展趨勢是大數(shù)據(jù)、大模型，“大力出奇跡”?！斑^去幾十年人工智能的發(fā)展無不說明了這一點(diǎn)，每一次數(shù)據(jù)量級、模型規(guī)模的突破，都帶來了人工智能技術(shù)的突出成果。而這背后，正是AI訓(xùn)練的算力指數(shù)級增長。從2010年深度學(xué)習(xí)出現(xiàn)以來，用于AI訓(xùn)練的算力以每6個(gè)月翻一倍的速度增長，2015年前后，大規(guī)模模型出現(xiàn)至今，其訓(xùn)練算力都是原來的10倍到100倍?！壁w曉馬指出。算力的飆升自然也帶來了成本增長，根據(jù)國盛證券在今年2月12日發(fā)表的一份研報(bào)中的測算，在初始算力投入上，為滿足ChatGPT當(dāng)前千萬級用戶的咨詢量，投入成本約為8億美元，對應(yīng)約4000臺服務(wù)器；在單日運(yùn)行電費(fèi)上，參考美國平均0.08美元/kwh工業(yè)電價(jià)，每日電費(fèi)約為5萬美元。此外，基于參數(shù)數(shù)量和token（字符串）數(shù)量估算，GPT-3訓(xùn)練一次的成本約為140萬美元。4月8日，浙江大學(xué)人工智能研究所所長吳飛在“人工智能大模型技術(shù)高峰論壇”上指出，ChaGPT在訓(xùn)練中使用了45TB數(shù)據(jù)、近1萬億個(gè)單詞（約1351萬本牛津詞典所包含單詞數(shù)量）以及數(shù)十億行源代碼，其模型包含了1750億參數(shù)，將這些參數(shù)全部打印在A4紙張上，一張一張疊加后，疊加高度將超過上海中心大廈632米高度，其訓(xùn)練門檻是1萬張英偉達(dá)V100芯片、約10億人民幣，模型訓(xùn)練算力開銷是每秒運(yùn)算一千萬億次，需運(yùn)行3640天?！埃ㄔ谌斯ぶ悄艿挠?xùn)練中）數(shù)據(jù)是燃料、模型是引擎、算力是加速器，據(jù)估計(jì)全球高質(zhì)量文本數(shù)據(jù)的總存量在5萬億token（字符串）左右，人工智能算法可能在一個(gè)數(shù)量級內(nèi)，耗盡世界上所有有用的語言訓(xùn)練數(shù)據(jù)供應(yīng)。”吳飛稱。龐大的算力需求為AI算力產(chǎn)業(yè)帶來了廣闊的市場空間，根據(jù) IDC數(shù)據(jù)與預(yù)測，2021年中國智能算力規(guī)模達(dá)到155.2EFLOPS（每秒一百億億次的浮點(diǎn)運(yùn)算）并在之后的幾年始終保持穩(wěn)健增長態(tài)勢，預(yù)計(jì)到 2026年將突破進(jìn)入每秒十萬億億次浮點(diǎn)計(jì)算級別，智能算力實(shí)現(xiàn)1271.4EFLOPS的龐大規(guī)模，2021-2026年期間，預(yù)計(jì)年復(fù)合增長率達(dá)到 52.3%。一位華為AI計(jì)算領(lǐng)域的專家在創(chuàng)科展現(xiàn)場也告訴記者，目前市場對智能算力的需求非常火爆，公司基于昇騰系列AI處理器已經(jīng)構(gòu)筑起包括Atlas系列模塊、板卡、小站、服務(wù)器、集群等豐富的產(chǎn)品形態(tài)，覆蓋深度學(xué)習(xí)領(lǐng)域推理和訓(xùn)練全流程，且在全國18座城市都已布局人工智能計(jì)算中心，可用于各行業(yè)人工智能深度學(xué)習(xí)模型開發(fā)、訓(xùn)練和推理等應(yīng)用場景。底座的瓶頸在李實(shí)看來，算力是人工智能領(lǐng)域的鏟子，也可以稱之為行業(yè)底座。他告訴記者，按照對計(jì)算精度要求的不同，算力通常分為通用算力、智能算力以及超算算力。其中，通用算力一般就是基于普通CPU芯片集成的服務(wù)器所能提供的算力，用于一些基礎(chǔ)的計(jì)算場景，而智能算力則是基于GPU、GPGPU及AISC等AI芯片所提供的算力，主要用于人工智能的訓(xùn)練和推理。一位上海的AI芯片初創(chuàng)企業(yè)項(xiàng)目經(jīng)理唐坤向記者介紹稱，當(dāng)下市場主流的AI芯片均為GPGPU，屬于GPU（圖形處理器）的一種，它弱化了GPU關(guān)于圖形處理的功能，來完成原本由CPU承擔(dān)的任務(wù)?！癆I領(lǐng)域的計(jì)算需求具有大運(yùn)算量、高并發(fā)度、訪存頻繁的特點(diǎn)，GPGPU因其多內(nèi)核多通道的設(shè)計(jì)，非常適合對大量數(shù)據(jù)進(jìn)行并行計(jì)算，從而在人工智能領(lǐng)域找到了應(yīng)用場景?！碧评け硎尽８鶕?jù)市場調(diào)研公司Tractica的研究報(bào)告，到2025年，全球人工智能芯片的市場規(guī)模將達(dá)到726億美元，年均復(fù)合增長率達(dá)46.14%?！癆I將成為未來高性能計(jì)算領(lǐng)域的主要需求。”唐坤說。但國內(nèi)一眾大模型“卷”于發(fā)布的當(dāng)下，作為行業(yè)底座的算力卻先遇到了瓶頸。首先是關(guān)于產(chǎn)品本身，李實(shí)告訴記者，隨著摩爾定律日漸趨近失效，在IC（集成電路）器件本身尺寸不斷接近物理極限的情況下，依靠提升晶體管密度從而帶來性能提升的難度在不斷提高，且AI算力的需求增速已經(jīng)快于芯片算力的增速。其次，由于AI模型參數(shù)量的不斷擴(kuò)大，AI芯片的內(nèi)存增速也難以匹配，這導(dǎo)致了內(nèi)存墻問題的出現(xiàn)，即內(nèi)存容量限制了芯片性能的發(fā)揮?！扒岸螘r(shí)間馬斯克不是聯(lián)名要求暫停訓(xùn)練AI嘛，但他不呼吁也沒關(guān)系，OpenAI也需要暫停一下，等一等硬件迭代?！崩顚?shí)說。在他看來，AI芯片的未來迭代方向主要將圍繞存算一體，即賦予存儲器計(jì)算能力，大幅降低功耗的同時(shí)，顯著提高芯片的計(jì)算能力。除了硬件方面有待迭代外，當(dāng)下的外部環(huán)境也為國產(chǎn)算力產(chǎn)業(yè)的發(fā)展帶來了不少限制。據(jù)唐坤介紹，在高端GPU領(lǐng)域，英偉達(dá)占據(jù)著超過90%的市場份額，ChatGPT即是用上萬張英偉達(dá)A100芯片打造超算中心訓(xùn)練而出。根據(jù)英偉達(dá)官網(wǎng)數(shù)據(jù)，A100的單精度峰值計(jì)算性能達(dá)19.5TFLOPS（每秒一萬億次的浮點(diǎn)運(yùn)算）。而一張40G顯存的A100芯片，在京東平臺上所標(biāo)售價(jià)就達(dá)6.25萬元。因此，A100芯片也一直被廣大科技發(fā)燒友戲稱為“小金磚”。另外，值得注意的是，在今年的3月21日，英偉達(dá)已經(jīng)發(fā)布了最新一代的H100芯片，相較于前代產(chǎn)品，H100單精度峰值計(jì)算性能達(dá)67TFLOPS，其雙精度的每秒浮點(diǎn)運(yùn)算（FLOPS）提升3倍，性能提高了約7倍，在動態(tài)編程算法上比僅使用傳統(tǒng)雙路CPU的服務(wù)器快40倍。不過，根據(jù)去年10月美國商務(wù)部發(fā)布的管制條例，A100、H100這類代表國際先進(jìn)計(jì)算水平的芯片已經(jīng)被禁止售往中國，而2017年發(fā)布的V100芯片，因其性能較低，則不在管控之內(nèi)?！皣鴥?nèi)廠商還有渠道能夠購買英偉達(dá)的產(chǎn)品，但短期肯定會對國內(nèi)的算力產(chǎn)業(yè)形成壓制。在這個(gè)領(lǐng)域，包括寒武紀(jì)、海光、華為等企業(yè)也在快速發(fā)展，但距離實(shí)現(xiàn)算力的國產(chǎn)替代還有一定距離。”李實(shí)告訴記者。唐坤則表示，其在今年拓展項(xiàng)目時(shí)了解到，當(dāng)前國內(nèi)眾多超算中心進(jìn)行產(chǎn)品采購或招標(biāo)時(shí)，都有相應(yīng)的國產(chǎn)產(chǎn)品指標(biāo)，而從硬件性能角度來看，不論寒武紀(jì)、華為還是海光，均有計(jì)算指標(biāo)不弱于英偉達(dá)A100的產(chǎn)品。根據(jù)寒武紀(jì)2022年半年報(bào)披露，該公司第三代云端產(chǎn)品思元370，采用臺積電7nm先進(jìn)制程工藝，也是首款采用Chiplet（芯粒）技術(shù)的人工智能芯片。其單精度峰值計(jì)算性能達(dá)18TFLOPS（每秒一萬億次的浮點(diǎn)運(yùn)算）?！癆I芯片領(lǐng)域的國產(chǎn)替代是大趨勢，但生態(tài)及廠商技術(shù)還需要一個(gè)提升的過程，而且現(xiàn)在很多企業(yè)也在抓緊囤英偉達(dá)的相關(guān)產(chǎn)品，‘算力荒’的情況應(yīng)該不會出現(xiàn)?！碧评ふf。政策的扶持4月19日，上海市經(jīng)濟(jì)信息化委印發(fā)《上海市推進(jìn)算力資源統(tǒng)一調(diào)度指導(dǎo)意見》。文件指出，算力是夯實(shí)科創(chuàng)城市基礎(chǔ)、加快城市數(shù)字化轉(zhuǎn)型、推動數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展的核心生產(chǎn)力；加強(qiáng)全市算力資源統(tǒng)籌、調(diào)度和共享，有助于提升算力資源利用率，加速數(shù)據(jù)要素流通，全面釋放數(shù)據(jù)價(jià)值。根據(jù)文件要求，到2023年底，依托上海市人工智能公共算力服務(wù)平臺，接入并調(diào)度4個(gè)以上算力基礎(chǔ)設(shè)施，可調(diào)度智能算力達(dá)到1000PFLOPS（FP16半精度每秒一千萬億次的浮點(diǎn)運(yùn)算）以上；到2025年，市人工智能公共算力服務(wù)平臺能級躍升，完善算力交易機(jī)制，實(shí)現(xiàn)跨地域算力智能調(diào)度，通過高效算力調(diào)度，推動算力供需均衡，帶動產(chǎn)業(yè)發(fā)展作用顯著增強(qiáng)，該市數(shù)據(jù)中心算力超過18000PFLOPS（FP32單精度每秒一千萬億次的浮點(diǎn)運(yùn)算）；新建數(shù)據(jù)中心綠色算力占比超過10%（不含市電結(jié)構(gòu)中的綠電）；集聚區(qū)新建大型數(shù)據(jù)中心綜合PUE降至1.25以內(nèi)，綠色低碳等級達(dá)到4A級以上。今年2月，成都市直接拿出了“真金白銀”對算力產(chǎn)業(yè)進(jìn)行扶持，根據(jù)成都市新經(jīng)濟(jì)委、市經(jīng)信局、市發(fā)改委、市科技局聯(lián)合印發(fā)的《〈成都市圍繞超算智算加快算力產(chǎn)業(yè)發(fā)展的政策措施〉實(shí)施細(xì)則（征求意見稿）》，成都市政府支持企事業(yè)單位、科研機(jī)構(gòu)基于國家超算成都中心技術(shù)框架開發(fā)通用適配硬軟件，根據(jù)使用量與頻次綜合排名，分級分類給予排名前10的單位最高100萬元，每年累計(jì)不超過500萬元的一次性獎(jiǎng)勵(lì)。文件中還要求開展云計(jì)算中心優(yōu)化行動，推動以存儲為主的“老舊”數(shù)據(jù)中心向以存算為核心的云計(jì)算中心提檔升級，推動“小散”數(shù)據(jù)中心融合、遷移至新型數(shù)據(jù)中心，強(qiáng)化綠色節(jié)能和智能化運(yùn)維，提升大規(guī)模數(shù)據(jù)“云端”分析處理能力。對于改造升級完成后計(jì)算功能占比大于 70%且機(jī)架數(shù)不低于1000架、PUE低于1.25的云計(jì)算中心，按照每個(gè)機(jī)架最高1000元，給予總額最高200萬元的一次性改造補(bǔ)貼。實(shí)際上，早在2021年，國家發(fā)改委便提出了全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點(diǎn)建設(shè)規(guī)劃，根據(jù)發(fā)改委新聞發(fā)言人孟瑋在2021年6月17日的例行發(fā)布會上介紹，國家發(fā)展改革委會同有關(guān)部門在京津冀、長三角、粵港澳大灣區(qū)、成渝、貴州、內(nèi)蒙古、甘肅、寧夏等地布局建設(shè)全國一體化算力網(wǎng)絡(luò)國家樞紐節(jié)點(diǎn)?！斑@8個(gè)樞紐節(jié)點(diǎn)，將作為我國算力網(wǎng)絡(luò)的骨干連接點(diǎn)，統(tǒng)籌規(guī)劃數(shù)據(jù)中心建設(shè)布局，發(fā)展數(shù)據(jù)中心集群，開展數(shù)據(jù)中心與網(wǎng)絡(luò)、云計(jì)算、大數(shù)據(jù)之間的協(xié)同建設(shè)，并作為國家‘東數(shù)西算’工程的戰(zhàn)略支點(diǎn)，推動算力資源有序向西轉(zhuǎn)移，促進(jìn)解決東西部算力供需失衡問題?！泵犀|表示。據(jù)記者查詢，包括成渝、甘肅、寧夏等地的算力樞紐節(jié)點(diǎn)均已規(guī)劃開工，而進(jìn)展較快的如貴州，其一期基地設(shè)備已安裝完畢，大約56PFLOPS在4月底就可實(shí)現(xiàn)交付。除了國家規(guī)劃外，中東部各經(jīng)濟(jì)發(fā)達(dá)地市也都在算力領(lǐng)域掀起“大干快上”的浪潮，根據(jù)公眾號“寧波發(fā)布”的信息，今年1月10日，寧波市首個(gè)人工智能超算中心項(xiàng)目（一期）正式上線，一期建成100PFLOPS（FP16半精度每秒一千萬億次的浮點(diǎn)運(yùn)算）人工智能算力，加5PFLOPS（FP64雙精度每秒一千萬億次的浮點(diǎn)運(yùn)算）計(jì)算算力。記者了解到，截至4月20日，國內(nèi)已建成并運(yùn)營人工智能計(jì)算中心的城市 共 有 7座 ， 分 別 是 深 圳（1000PFLOPS 算 力 ）、 武 漢（200PFLOPS算力）、西安（300PFLOPS算力）、成都（300PFLOPS算力）、許昌（100PFLOPS算力）、南京（40PFLOPS算力）、杭州（40PFLOPS算力）。李實(shí)告訴記者，目前智算中心的門檻為100PFLOPS，布局方面以東部為主，但在“東數(shù)西算”的大戰(zhàn)略下，未來西部也將成為重要的算力布局區(qū)域?！叭斯ぶ悄軐⒊蔀轵?qū)動各行各業(yè)發(fā)展的引擎，而算力就是這臺引擎燒的油，只有油給夠，引擎才能轉(zhuǎn)得快不是？”他跟記者比喻說。版權(quán)聲明：以上內(nèi)容為《經(jīng)濟(jì)觀察報(bào)》社原創(chuàng)作品，版權(quán)歸《經(jīng)濟(jì)觀察報(bào)》社所有。未經(jīng)《經(jīng)濟(jì)觀察報(bào)》社授權(quán)，嚴(yán)禁轉(zhuǎn)載或鏡像，否則將依法追究相關(guān)行為主體的法律責(zé)任。版權(quán)合作請致電：【010-60910566-1260】。
