中國(guó)電信完成業(yè)界首個(gè)面向大模型推理的異構(gòu)算力協(xié)同技術(shù)驗(yàn)證

　　近期，中國(guó)電信研究院聯(lián)合北京智源人工智能研究院、昆侖芯科技有限公司、中興通訊、北京基流科技有限公司、中科加禾公司等產(chǎn)業(yè)合作伙伴，依托中國(guó)電信云網(wǎng)融合大科創(chuàng)裝置，完成業(yè)界首次DeepSeek系列模型基于“英偉達(dá)算力+國(guó)產(chǎn)算力”交叉組合的異構(gòu)PD分離推理試驗(yàn)驗(yàn)證，實(shí)現(xiàn)大模型推理集群的降本增效。

　　本試驗(yàn)完成了面向大模型推理的異構(gòu)算力協(xié)同技術(shù)針對(duì)6類典型場(chǎng)景的推理性能驗(yàn)證，DeepSeek 671B模型在多種場(chǎng)景下實(shí)現(xiàn)推理集群總吞吐性能30％～72％的提升，并發(fā)能力提升2倍，同等吞吐條件下，異構(gòu)算力組合推理成本下降最高達(dá)42％，真正實(shí)現(xiàn)“存量利舊”與“國(guó)產(chǎn)替代”的雙重目標(biāo)。

　　針對(duì)推理Prefill與Decode階段特性優(yōu)化芯片設(shè)計(jì)逐漸成為行業(yè)共識(shí)，英偉達(dá)和華為分別發(fā)布芯片設(shè)計(jì)規(guī)劃，將PD兩階段分別適用“高算低存”和“低算高存”的思路融于芯片設(shè)計(jì)。中國(guó)電信研究院在2025年初洞察到PD分離推理對(duì)算力異質(zhì)性的需求，構(gòu)建異構(gòu)通信優(yōu)化、PD資源調(diào)配、推理任務(wù)調(diào)度全棧自研異構(gòu)混推體系，展現(xiàn)出三大核心優(yōu)勢(shì)：一是通過(guò)自研異構(gòu)傳輸引擎，實(shí)現(xiàn)跨架構(gòu)芯片PD池間KVCache的高效傳輸；二是采用自研國(guó)產(chǎn)算力賦能工具“翼芯”，根據(jù)業(yè)務(wù)特征與算力性能自動(dòng)推薦并實(shí)時(shí)優(yōu)化PD資源配比；三是構(gòu)建AI推理平臺(tái)，實(shí)現(xiàn)推理任務(wù)在Prefill池與Decode池間的動(dòng)態(tài)調(diào)度。

　　技術(shù)驗(yàn)證的成功體現(xiàn)了中國(guó)電信對(duì)智算推理優(yōu)化技術(shù)的深刻理解與對(duì)國(guó)產(chǎn)算力適配調(diào)優(yōu)的實(shí)踐創(chuàng)新，彰顯了中國(guó)電信作為算力基礎(chǔ)設(shè)施建設(shè)方推動(dòng)國(guó)產(chǎn)算力從“可用”到“好用”的央企擔(dān)當(dāng)。未來(lái)，中國(guó)電信將持續(xù)深化國(guó)產(chǎn)算力高質(zhì)量發(fā)展布局，面向大模型訓(xùn)推一體、多智能體系統(tǒng)打造“互聯(lián)互通、高效協(xié)同”的異構(gòu)算力生態(tài)格局，推動(dòng)新型信息基礎(chǔ)設(shè)施協(xié)調(diào)發(fā)展。（記者 翼研）

　　轉(zhuǎn)自：人民郵電報(bào)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀