信創(chuàng)模盒ModelHub XC近日完成OpenAI最新開(kāi)源模型Circuit Sparsity的適配與驗(yàn)證，并在昇騰910B4 NPU等國(guó)產(chǎn)算力平臺(tái)上實(shí)現(xiàn)穩(wěn)定、高效運(yùn)行。

Circuit Sparsity模型

OpenAI的Circuit Sparsity稀疏模型架構(gòu)（參數(shù)量0.4B、99.9% 權(quán)重為零）一經(jīng)開(kāi)源即引來(lái)巨大關(guān)注，其以原生稀疏架構(gòu)構(gòu)建可讀“電路”，破解了大模型“黑箱”難題，成為AI可解釋性領(lǐng)域的顛覆性突破和未來(lái)大模型演進(jìn)的重要技術(shù)方向。

該模型采用動(dòng)態(tài)剪枝等技術(shù)，電路規(guī)模較密集模型縮減16倍，顛覆傳統(tǒng)參數(shù)競(jìng)賽，引領(lǐng)行業(yè)向“透明化 + 高效化”轉(zhuǎn)型。OpenAI通過(guò) “橋梁網(wǎng)絡(luò)” 連接稀疏與密集模型，實(shí)現(xiàn)了對(duì)現(xiàn)有大模型的可解釋性行為編輯。

Circuit Sparsity不僅是現(xiàn)有模型的優(yōu)化，更提供了全新架構(gòu)方法論，驗(yàn)證了結(jié)構(gòu)性稀疏兼具高性能與高可解釋性的可行性，預(yù)示下一代模型將走向“電路化”“稀疏化”設(shè)計(jì)。

ModelHub XC完成Circuit Sparsity 開(kāi)源模型的適配

架構(gòu)適配：

該新型極度稀疏架構(gòu)算法底層基于 Transformers 架構(gòu)——以Transformers為藍(lán)本，通過(guò)引入動(dòng)態(tài)稀疏約束和組件微調(diào)，從根本上重構(gòu)出一個(gè)天生具有結(jié)構(gòu)化稀疏性的新模型架構(gòu)。同時(shí)，這一新架構(gòu)的編譯、計(jì)算和數(shù)據(jù)流模式，又經(jīng)過(guò)優(yōu)化，以充分釋放如昇騰910B這類(lèi)專用NPU的極致算力。

適配結(jié)果：

測(cè)試數(shù)據(jù)顯示，ModelHub XC平臺(tái)在昇騰910B4 NPU上對(duì)OpenAI開(kāi)源Circuit Sparsity模型完成了適配與性能驗(yàn)證。

1. 性能提升倍數(shù)（關(guān)鍵指標(biāo)）

請(qǐng)求延遲：NPU 處理單條請(qǐng)求平均延遲僅需 2.00 秒，CPU 則高達(dá) 56.21 秒。NPU 的單條處理速度提升了 28.11 倍。

吞吐量 (QPS)：NPU 的吞吐量為 0.50 條/秒，是 CPU（0.02 條/秒）的 25 倍。

2. 結(jié)果分析

巨大性能鴻溝：從“分鐘級(jí)”響應(yīng)（CPU）到“秒級(jí)”響應(yīng)（NPU）的跨越，證明了 Circuit Sparsity 這類(lèi)稀疏模型極度依賴專用AI計(jì)算硬件（如NPU）的并行計(jì)算與高效內(nèi)存訪問(wèn)能力，在通用CPU上運(yùn)行效率極低。

關(guān)于信創(chuàng)模盒ModelHub XC

信創(chuàng)模盒ModelHub XC是面向信創(chuàng)算力生態(tài)的AI模型與工具平臺(tái)，兼具社區(qū)和服務(wù)的功能，致力于推動(dòng)國(guó)產(chǎn)硬件平臺(tái)上的人工智能創(chuàng)新與落地，提供涵蓋模型訓(xùn)練、推理到部署的全流程解決方案。