2021年11月3日，寒武紀(jì)發(fā)布第三代云端AI芯片思元370、基于思元370的兩款加速卡MLU370-S4和MLU370-X4、全新升級(jí)的Cambricon Neuware軟件棧。

寒武紀(jì)第三代云端AI芯片思元370

基于7nm制程工藝，思元370是寒武紀(jì)首款采用chiplet（芯粒）技術(shù)的AI芯片，集成了390億個(gè)晶體管，最大算力高達(dá)256TOPS(INT8)，是寒武紀(jì)第二代產(chǎn)品思元270算力的2倍。憑借寒武紀(jì)最新智能芯片架構(gòu)MLUarch03，相較于峰值算力的提升，思元370實(shí)測(cè)性能表現(xiàn)更為優(yōu)秀：以ResNet-50為例，MLU370-S4加速卡（半高半長(zhǎng)）實(shí)測(cè)性能為同尺寸主流GPU的2倍；MLU370-X4加速卡（全高全長(zhǎng)）實(shí)測(cè)性能與同尺寸主流GPU相當(dāng)，能效占優(yōu)勢(shì)。

寒武紀(jì)MLU370-S4（左）與MLU370-X4加速卡

思元370也是支持LPDDR5內(nèi)存的云端AI芯片，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達(dá)GDDR6的1.5倍。

同時(shí)，寒武紀(jì)全新升級(jí)了Cambricon Neuware軟件棧，新增推理加速引擎MagicMind，實(shí)現(xiàn)訓(xùn)推一體，顯著提升了開發(fā)部署的效率，降低用戶的學(xué)習(xí)成本、開發(fā)成本和運(yùn)營(yíng)成本。

新一代智能處理器架構(gòu)MLUarch03

寒武紀(jì)智能處理器架構(gòu)MLUarch03，擁有新一代張量運(yùn)算單元，內(nèi)置Supercharger模塊大幅提升各類卷積效率；采用全新的多算子硬件融合技術(shù)，在軟件融合的基礎(chǔ)上大幅減少算子執(zhí)行時(shí)間；片上通訊帶寬是上一代MLUarch02的2倍、片上共享緩存容量最高是MLUarch02的2.75倍；推出全新MLUv03指令集，更完備，更高效且向前兼容。

Supercharger和多算子硬件融合技術(shù)

有7nm工藝和全新MLUarch03架構(gòu)的加持，思元370芯片算力最高可達(dá)256TOPS(INT8)，是上一代產(chǎn)品思元270算力的2倍。相較于峰值算力的提升，思元370在實(shí)測(cè)性能和能效方面的表現(xiàn)更為優(yōu)秀：以ResNet-50為例，MLU370-S4加速卡（半高半長(zhǎng)）實(shí)測(cè)性能為同尺寸主流GPU的2倍；MLU370-X4加速卡（全高全長(zhǎng)）實(shí)測(cè)性能與同尺寸主流GPU相當(dāng)。

7nm先進(jìn)工藝和全新MLUarch03架構(gòu)加持

思元370實(shí)測(cè)性能和實(shí)測(cè)能效超市場(chǎng)主流GPU產(chǎn)品

測(cè)試環(huán)境：

MLU370-S4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

MLU370-X4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU數(shù)據(jù)：ResNet-50來自于相關(guān)產(chǎn)品官網(wǎng)，Transformer、VGG16、YOLOv3均取自實(shí)測(cè)最大吞吐性能。

思元370全面加強(qiáng)了FP16、BF16以及FP32的浮點(diǎn)算力，同時(shí)支持推理和訓(xùn)練任務(wù)。此外，思元370還是國(guó)內(nèi)第一顆支持LPDDR5的云端AI芯片，內(nèi)存帶寬是上一代產(chǎn)品的3倍，訪存能效達(dá)GDDR6的1.5倍。

值得強(qiáng)調(diào)的是，寒武紀(jì)堅(jiān)持自研智能芯片架構(gòu)、指令集，是全球范圍內(nèi)在該技術(shù)方向積累深厚的公司。

寒武紀(jì)智能芯片架構(gòu)演進(jìn)

chiplet技術(shù)

思元370采用chiplet（芯粒）技術(shù)，在一顆芯片中封裝2顆AI計(jì)算芯粒（MLU-Die），每一個(gè)MLU-Die具備獨(dú)立的AI計(jì)算單元、內(nèi)存、IO以及MLU-Fabric控制和接口，通過MLU-Fabric保證兩個(gè)MLU-Die間的高速通訊，可以通過不同MLU-Die組合規(guī)格多樣化的產(chǎn)品，為用戶提供適用不同場(chǎng)景的高性價(jià)比AI芯片。

思元370采用chiplet技術(shù)

可實(shí)現(xiàn)不同算力、內(nèi)存和編解碼器的組合

MLU-Fabric是實(shí)現(xiàn)芯粒技術(shù)的關(guān)鍵所在。它為兩個(gè)MLU-Die提供低功耗、低延時(shí)和超高帶寬的互聯(lián)，支持芯片上實(shí)現(xiàn)統(tǒng)一的內(nèi)存獲取和地址映射，創(chuàng)建虛擬通路避免進(jìn)程死鎖，支持?jǐn)?shù)據(jù)校驗(yàn)錯(cuò)誤發(fā)生時(shí)進(jìn)行數(shù)據(jù)重傳，保證數(shù)據(jù)準(zhǔn)確性。

得益于芯粒技術(shù)，思元370可通過不同的組合為客戶提供更多樣化的產(chǎn)品選擇，此次寒武紀(jì)發(fā)布了兩款加速卡，未來還將推出更多基于思元370的產(chǎn)品。

全新推理加速引擎MagicMind

MagicMind是寒武紀(jì)全新打造的推理加速引擎，也是基于MLIR圖編譯技術(shù)達(dá)到商業(yè)化部署能力的推理引擎。MagicMind支持跨框架的模型解析、自動(dòng)后端代碼生成及優(yōu)化。在MLU、GPU、CPU訓(xùn)練好的算法模型上，借助MagicMind，用戶僅需投入較少的開發(fā)成本，即可將推理業(yè)務(wù)部署到寒武紀(jì)全系列產(chǎn)品上，并獲得頗具競(jìng)爭(zhēng)力的性能。

MagicMind的優(yōu)勢(shì)不僅在于可以提供好的性能、可靠的精度以及簡(jiǎn)潔的編程接口，讓用戶能夠?qū)Ｗ⒂跇I(yè)務(wù)本身，無需理解芯片更多底層細(xì)節(jié)就可實(shí)現(xiàn)模型的快速高效部署，MagicMind插件化的設(shè)計(jì)還可以滿足在性能或功能上追求差異化競(jìng)爭(zhēng)力的客戶需求。

推理加速引擎MagicMind是寒武紀(jì)軟件棧Cambricon Neuware全新升級(jí)的重要組成部分

訓(xùn)推一體的Cambricon Neuware

為了加快用戶端到端業(yè)務(wù)落地的速度，減少模型訓(xùn)練研發(fā)到模型部署之間的繁瑣流程，寒武紀(jì)的統(tǒng)一基礎(chǔ)軟件平臺(tái)Cambricon Neuware整合了訓(xùn)練和推理的全部底層軟件棧，包括底層驅(qū)動(dòng)、運(yùn)行時(shí)庫(kù)、算子庫(kù)以及工具鏈等，將MagicMind和深度學(xué)習(xí)框架Tensorflow，Pytorch深度融合，實(shí)現(xiàn)訓(xùn)推一體。依托于訓(xùn)推一體，在寒武紀(jì)全系列計(jì)算平臺(tái)上，從云端到邊緣端，用戶均可以無縫地完成從模型訓(xùn)練到推理部署的全部流程，進(jìn)行靈活的訓(xùn)練推理業(yè)務(wù)混布和潮汐式的業(yè)務(wù)切換，可快速響應(yīng)業(yè)務(wù)變化，提升算力利用率，降低運(yùn)營(yíng)成本。

在通用性方面，Cambricon Neuware支持FP32、FP16混合精度、BF16和自適應(yīng)精度訓(xùn)練等多種訓(xùn)練方式并提供靈活高效的訓(xùn)練工具，高性能算子庫(kù)已完整覆蓋視覺、語(yǔ)音、自然語(yǔ)言處理和搜索推薦等典型深度學(xué)習(xí)應(yīng)用，可滿足用戶對(duì)于算子覆蓋率以及模型精度的需求。

全新推理加速引擎MagicMind和訓(xùn)推一體特性，將為用戶帶來更為便捷、高效的開發(fā)體驗(yàn)，大幅降低學(xué)習(xí)成本、開發(fā)成本和運(yùn)營(yíng)成本。

媒體性能，支持8K解碼

思元370升級(jí)了視頻圖像編解碼單元，可提供更高效的視頻處理能力和更優(yōu)的編碼質(zhì)量，支持更復(fù)雜、更繁重、低延時(shí)要求的計(jì)算機(jī)視覺任務(wù)。

解碼方面，思元370集成了強(qiáng)大的媒體性能，可支持132路1080p視頻解碼或10路8K視頻解碼。編碼方面，全新編碼器通過靈活的碼率優(yōu)化（RDO）控制、多參考幀、二次編碼等特性組合，在相同圖像質(zhì)量（全高清視頻PSNR）的情況下比上一代產(chǎn)品節(jié)省42%帶寬，有效降低帶寬成本。

思元370視頻編碼質(zhì)量顯著提升

測(cè)試環(huán)境：

MLU270-S4：SYS-4029GP-TRT/2x Intel(R) Xeon(R) Gold 6140 CPU @ 2.30GHz

MLU370-S4：NF5280M5/2x Intel Xeon Gold 5218R CPU @ 2.1GHz

視頻內(nèi)容：BQTerrace_1920x1080_60.yuv

內(nèi)置安全模塊，加強(qiáng)數(shù)據(jù)安全保護(hù)

寒武紀(jì)高度重視用戶隱私，保護(hù)數(shù)據(jù)和模型的安全，在思元370芯片內(nèi)置安全模塊，切實(shí)保障用戶信息安全。思元370是寒武紀(jì)第一顆支持國(guó)內(nèi)外主流加密標(biāo)準(zhǔn)的云端芯片，支持用戶數(shù)據(jù)、深度學(xué)習(xí)模型的加解密以及計(jì)算結(jié)果的加密輸出，通過信任根的方式，保障AI芯片在啟動(dòng)及運(yùn)行過程中加載的所有代碼的安全性，還支持遠(yuǎn)程認(rèn)證，用戶可在業(yè)務(wù)運(yùn)行過程中遠(yuǎn)程驗(yàn)證AI環(huán)境安全性。通過多方面的安全特性，思元370系列產(chǎn)品將更好地確保用戶AI業(yè)務(wù)安全。

安全啟動(dòng)驗(yàn)證過程

搭載思元370的兩款A(yù)I加速卡正式亮相

此次發(fā)布中，兩款基于思元370的加速卡正式亮相：高密度、半高半長(zhǎng)、功耗75W的MLU370-S4智能加速卡和高性能、全高全長(zhǎng)、功耗150W的MLU370-X4智能加速卡。與上一代產(chǎn)品相比，370系列加速卡在性能、能效方面都有更為卓越的表現(xiàn)。例如，對(duì)標(biāo)準(zhǔn)ResNet-50v1進(jìn)行軟件定制優(yōu)化后，MLU370-X4加速卡性能高達(dá)30204fps。

寒武紀(jì)MLU370-S4加速卡

在Cambricon Neuware SDK上實(shí)測(cè)，在常用的4個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)模型上，MLU370-S4加速卡的性能平均接近市場(chǎng)主流70W GPU的2倍。而在能效方面，MLU370-S4優(yōu)勢(shì)更為明顯，處理相同AI任務(wù)相較于70W GPU用電量減少50%以上，將有力地幫助用戶實(shí)現(xiàn)“雙碳”目標(biāo)。

相比主流同尺寸GPU產(chǎn)品，MLU370-S4加速卡性能優(yōu)勢(shì)明顯

測(cè)試環(huán)境：

MLU370-S4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU數(shù)據(jù)來自于相關(guān)產(chǎn)品官網(wǎng)。

MLU370-S4加速卡在解碼方面具有強(qiáng)勁競(jìng)爭(zhēng)力，相較于同尺寸GPU，可提供3倍的解碼能力和1.5倍的編碼能力。總體而言，MLU370-S4加速卡的能效出色，體積小巧，可在服務(wù)器中實(shí)現(xiàn)高密度部署。

寒武紀(jì)MLU370-X4加速卡

MLU370-X4加速卡的優(yōu)勢(shì)則表現(xiàn)為高性能，算力可達(dá)256TOPS(INT8)，加強(qiáng)了FP16、FP32的計(jì)算性能，新增BF16計(jì)算類型。

在Cambricon Neuware SDK上實(shí)測(cè)，常用的4個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)模型中，MLU370-X4加速卡與市場(chǎng)主流150W GPU相比，性能表現(xiàn)2項(xiàng)持平2項(xiàng)更優(yōu)，實(shí)測(cè)能效則為GPU的2倍。比如YOLOv3網(wǎng)絡(luò)中，MLU370-X4的性能是150W GPU性能的1.5倍，能效為GPU的2.5倍。

相比主流GPU產(chǎn)品，MLU370-X4性能有優(yōu)勢(shì)

測(cè)試環(huán)境：

MLU370-X4：NF5468M6/2x Intel Xeon Gold 6330 CPU @ 2.0GHz/MagicMind v0.6

GPU數(shù)據(jù)：ResNet-50來自于相關(guān)產(chǎn)品官網(wǎng)，Transformer、VGG16、YOLOv3均取自實(shí)測(cè)最大吞吐性能。

MLU370-S4、MLU370-X4加速卡規(guī)格

370系列加速卡廣受客戶期待，思元全系列產(chǎn)品為產(chǎn)業(yè)升級(jí)提供算力支撐

從云端推理思元270、邊緣推理思元220、云端訓(xùn)練思元290，到最新發(fā)布的推訓(xùn)一體思元370，寒武紀(jì)為用戶提供了覆蓋不同場(chǎng)景、不同算力規(guī)模的全系列產(chǎn)品。此次發(fā)布的256TOPS算力的思元370主要面向中高端推訓(xùn)場(chǎng)景，與主要面向訓(xùn)練的512TOPS高端產(chǎn)品思元290形成協(xié)同，共同為客戶提供全功能、全場(chǎng)景的智能算力。

思元370在2020年三季度流片，相關(guān)加速卡產(chǎn)品于2021年二季度陸續(xù)送測(cè)客戶。目前，部分客戶已完成測(cè)試、導(dǎo)入，產(chǎn)品進(jìn)入早期銷售階段。

思元370系列加速卡已與國(guó)內(nèi)主流互聯(lián)網(wǎng)廠商開展深入的應(yīng)用適配，在語(yǔ)音、視覺等場(chǎng)景的性能表現(xiàn)超出客戶預(yù)期。

阿里云基礎(chǔ)設(shè)施異構(gòu)計(jì)算負(fù)責(zé)人張偉豐博士表示：“阿里云基礎(chǔ)設(shè)施異構(gòu)計(jì)算團(tuán)隊(duì)已經(jīng)完成了思元370的測(cè)試及導(dǎo)入，結(jié)合阿里云震旦異構(gòu)計(jì)算加速平臺(tái)完成了ODLA的接口適配，總體性能表現(xiàn)超出預(yù)期。雙方將在vODLA池化，HALO編譯以及面向業(yè)務(wù)場(chǎng)景的性能調(diào)優(yōu)等技術(shù)領(lǐng)域深度合作。”

百度異構(gòu)計(jì)算架構(gòu)師黎世勇對(duì)思元370也同樣充滿期待，他說：“自2018年起，百度與寒武紀(jì)展開了多維度的軟硬件協(xié)作，思元100等產(chǎn)品服務(wù)百度語(yǔ)音合成等多種業(yè)務(wù)場(chǎng)景。我們相信，隨著思元370等新產(chǎn)品的落地，雙方軟硬件充分結(jié)合的生態(tài)勢(shì)必將發(fā)揮更大的效能，助力人工智能行業(yè)多場(chǎng)景落地?！?/p>

除互聯(lián)網(wǎng)之外，近年來，寒武紀(jì)在智慧金融、智慧能源、智慧交通等行業(yè)與合作伙伴共同完成了諸多落地案例。

“今年年初，招商銀行已成功上線基于寒武紀(jì)上一代云端推理產(chǎn)品思元270的智能模型推理服務(wù)，并憑借高效、便捷、安全的服務(wù)贏得了金融客戶的高度認(rèn)可?！闭猩蹄y行人工智能實(shí)驗(yàn)室負(fù)責(zé)人李金龍介紹了寒武紀(jì)與招商銀行的合作內(nèi)容，就未來深化合作表示說：“寒武紀(jì)第三代產(chǎn)品思元370，在性能、通用性和軟件易用性等方面均占據(jù)優(yōu)勢(shì)，我們希望與寒武紀(jì)繼續(xù)深化合作，一同為智慧金融等應(yīng)用場(chǎng)景提供更高質(zhì)量的人工智能計(jì)算服務(wù)?！?/p>

思元370系列加速卡已與國(guó)內(nèi)主流服務(wù)器合作伙伴完成適配。浪潮信息副總裁、人工智能和高性能產(chǎn)品線總經(jīng)理劉軍表示：“浪潮跟寒武紀(jì)長(zhǎng)久以來保持著緊密合作，思元370在性能、能效等方面較之思元270均有大幅提升，我們期待雙方未來能夠攜手為更多行業(yè)和領(lǐng)域提供人工智能計(jì)算相關(guān)服務(wù)?！眲④娺€介紹了與寒武紀(jì)之前合作的進(jìn)展：“浪潮搭載寒武紀(jì)芯片的AI服務(wù)器已經(jīng)在中國(guó)移動(dòng)、互聯(lián)網(wǎng)、智算中心等客戶和行業(yè)中實(shí)現(xiàn)落地?！?/p>

寒武紀(jì)長(zhǎng)期秉承“云邊端一體、訓(xùn)推一體、軟硬件協(xié)同”的技術(shù)理念。370新品發(fā)布和寒武紀(jì)統(tǒng)一基礎(chǔ)軟件平臺(tái)Cambricon Neuware的全新升級(jí)，將這一技術(shù)理念的落實(shí)又向前推進(jìn)了重要的一步。

寒武紀(jì)用自己的研發(fā)實(shí)力和研發(fā)速度向市場(chǎng)印證自己的初心與決心：為人工智能的大爆發(fā)提供好用的AI芯片，讓機(jī)器更好地理解和服務(wù)人類。