中國(guó)電信完成行業(yè)首個(gè)大模型多方協(xié)同隱私訓(xùn)練試驗(yàn)

　　近期，中國(guó)電信研究院成功完成行業(yè)首個(gè)大模型多方協(xié)同隱私訓(xùn)練試驗(yàn)。該試驗(yàn)依托中國(guó)電信云網(wǎng)融合大科創(chuàng)裝置的智算資源，通過(guò)自主研發(fā)的大模型多方協(xié)同隱私訓(xùn)練技術(shù)，在保障原始數(shù)據(jù)不出域的條件下，成功完成了多方協(xié)同的大模型訓(xùn)練，為推動(dòng)數(shù)據(jù)要素的安全流通與價(jià)值釋放提供了堅(jiān)實(shí)的技術(shù)支撐。

　　本次試驗(yàn)賦能大模型研發(fā)全流程的高智能、高安全與高可用。基于該訓(xùn)練框架開(kāi)展大模型多方協(xié)同隱私訓(xùn)練得到的全局模型，能夠獲得接近集中訓(xùn)練的模型的性能表現(xiàn)。本次試驗(yàn)在大模型訓(xùn)練領(lǐng)域?qū)崿F(xiàn)的重要突破主要體現(xiàn)在以下維度：

　　一是構(gòu)建多方管理控制、多機(jī)多卡訓(xùn)練和一鍵啟動(dòng)機(jī)制，實(shí)現(xiàn)多方參與下的高效協(xié)同訓(xùn)練。多方管理控制負(fù)責(zé)協(xié)調(diào)多方之間的通信、存儲(chǔ)和任務(wù)管理；多機(jī)多卡訓(xùn)練機(jī)制支持參與方內(nèi)部多機(jī)多卡訓(xùn)練及靈活使用不同訓(xùn)練資源；一鍵啟動(dòng)機(jī)制通過(guò)配置文件統(tǒng)一啟動(dòng)訓(xùn)練，提升訓(xùn)練的自動(dòng)化水平。

　　二是構(gòu)建模型融合策略，實(shí)現(xiàn)全局模型的參數(shù)聚合，提升模型泛化能力。模型融合策略支持FedAvg、Fed-Prox、FedAdam、FedAdagrad等多種算法，可通過(guò)配置文件靈活選擇并調(diào)整融合策略及其參數(shù)。

　　三是構(gòu)建數(shù)據(jù)切分策略，實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)的靈活配置與高效利用。通過(guò)數(shù)據(jù)切分策略，方便調(diào)整每輪訓(xùn)練的數(shù)據(jù)量，支持按固定大小、百分比、最大數(shù)據(jù)量、數(shù)據(jù)總量及可用顯存等多種方式進(jìn)行切分，可通過(guò)配置文件便捷選擇并調(diào)整切分策略及其參數(shù)。

　　四是構(gòu)建數(shù)據(jù)保護(hù)機(jī)制，實(shí)現(xiàn)大模型多方訓(xùn)練過(guò)程中的數(shù)據(jù)保護(hù)。通過(guò)引入差分隱私實(shí)現(xiàn)對(duì)訓(xùn)練數(shù)據(jù)的隱私保護(hù)，支持多種隱私保護(hù)策略，包括服務(wù)器端裁剪與客戶端裁剪等，可通過(guò)配置文件靈活選擇差分隱私策略并調(diào)整參數(shù)配置。

　　未來(lái)，項(xiàng)目組將持續(xù)深化大模型多方協(xié)同隱私訓(xùn)練的技術(shù)創(chuàng)新與場(chǎng)景應(yīng)用落地，加快技術(shù)成果的生態(tài)共建。同時(shí)，聚焦金融、醫(yī)療、司法等重點(diǎn)行業(yè)需求，深化技術(shù)賦能與場(chǎng)景適配，為釋放數(shù)據(jù)要素潛能和加速人工智能產(chǎn)業(yè)升級(jí)提供堅(jiān)實(shí)支撐。（翼研）

　　轉(zhuǎn)自：人民郵電報(bào)

　　【版權(quán)及免責(zé)聲明】凡本網(wǎng)所屬版權(quán)作品，轉(zhuǎn)載時(shí)須獲得授權(quán)并注明來(lái)源“中國(guó)產(chǎn)業(yè)經(jīng)濟(jì)信息網(wǎng)”，違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章及企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，不代表本網(wǎng)觀點(diǎn)和立場(chǎng)。版權(quán)事宜請(qǐng)聯(lián)系：010-65363056。

延伸閱讀