(資料圖片)
據(jù)騰訊官微，騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生表示，在大模型的訓(xùn)練和使用過程中，需要大量異構(gòu)算力的支持，對(duì)網(wǎng)絡(luò)速度與穩(wěn)定性要求也很高，加上GPU服務(wù)器比一般服務(wù)器穩(wěn)定性更低一些，服務(wù)器的運(yùn)維、問題的排查更頻繁，整體運(yùn)維的難度與工作量會(huì)高很多。在訓(xùn)練集群中，一旦網(wǎng)絡(luò)有波動(dòng)，訓(xùn)練的速度就會(huì)受到很大的影響；只要一臺(tái)服務(wù)器過熱宕機(jī)，整個(gè)集群都可能要停下來(lái)，然后訓(xùn)練任務(wù)要重啟，這些問題會(huì)使得訓(xùn)練時(shí)間大大增加，投入在大模型的成本也會(huì)飆升。
關(guān)鍵詞：
責(zé)任編輯：QL0009
為你推薦
