近日,在中國移動的助力下,中國石油高效完成DeepSeek V3/R1全尺寸、全版本全棧國產化的訓推適配和私有化部署,并落地應用?;贒eepSeek的關鍵技術點,此次部署進行了系列基礎模型算法創(chuàng)新,實現(xiàn)了從底層芯片到框架、模型的全棧自主可控,為推動人工智能技術在能源化工領域的深度應用與國產AI技術生態(tài)的規(guī)?;涞刈⑷肓藦姶髣恿?。
一直以來,中國移動與中國石油兩大央企積極響應國家人工智能戰(zhàn)略,努力推動“人工智能+”在能源化工行業(yè)落地生根。此前,中國移動攜手中國石油發(fā)布了能源化工領域首個行業(yè)大模型——700億參數(shù)昆侖大模型。
面對中國石油多模態(tài)、超百億參數(shù)的大模型訓練任務需求,移動云憑借強大的算力網絡能力,實現(xiàn)了資源的快速響應、彈性擴展及高質量供給。通過為中國石油構建“算力泛在、算網共生、智能敏捷、安全可靠、綠色低碳”的一體化算力體系,移動云已提供超過1000P的穩(wěn)定算力資源,為大模型的建設和運行提供了堅實的算力保障。
為了使DeepSeek系列模型在昆侖大模型原有的框架下獲得更好的適配效果和執(zhí)行性能,中國移動通過配置化開發(fā),在DeepSeek V3模型基礎上快速實現(xiàn)了自定義模型參數(shù)和規(guī)模的針對性優(yōu)化。團隊在不實際啟動集群訓練任務的情況下,僅通過單卡即模擬出集群中所有卡的內存占用情況,從而制定整體的集群分布式訓練策略。
中國移動復現(xiàn)并優(yōu)化了Deep-Seek MTP多Tokens預測功能,通過DeepSeek-V3/R1主模型和MTP Module的分布式調度,實現(xiàn)一次解碼生成多個Token,并通過整圖編譯功能,組合計算圖的通用算子,實現(xiàn)自動融合加速,提升DeepSeek-V3/R1端到端的推理性能。
此次DeepSeek大模型的成功部署,為政企客戶實現(xiàn)DeepSeek V3/R1全棧國產化的訓推適配和部署提供了重要參考,也為中國石油昆侖大模型優(yōu)化應用效果、縮短研發(fā)周期、構建健康生態(tài)提供了新引擎,推動“數(shù)智中國石油”建設步入快車道。(記者 宜欣)
轉自:人民郵電報
【版權及免責聲明】凡本網所屬版權作品,轉載時須獲得授權并注明來源“中國產業(yè)經濟信息網”,違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業(yè)宣傳資訊,僅代表作者個人觀點,不代表本網觀點和立場。版權事宜請聯(lián)系:010-65363056。
延伸閱讀