摘要: 原標題：天垓100完成百億級參數(shù)大模型訓練 6月10日，在第五屆智源大會AI系統(tǒng)分論壇上，上海天數(shù)智芯半導體有限公司宣布，在天垓100加速卡的算力集群，
原標題：天垓100完成百億級參數(shù)大模型訓練
6月10日，在第五屆智源大會AI系統(tǒng)分論壇上，上海天數(shù)智芯半導體有限公司宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院70億參數(shù)的Aquila語言基礎模型，使用代碼數(shù)據(jù)進行繼續(xù)訓練，穩(wěn)定運行19天，模型收斂效果符合預期，證明天數(shù)智芯有支持百億級參數(shù)大模型訓練的能力。
上海天數(shù)智芯半導體有限公司是通用GPU高端芯片及超級算力系統(tǒng)提供商。據(jù)介紹，在北京市海淀區(qū)的支持下，智源研究院、天數(shù)智芯與愛特云翔共同合作，聯(lián)手開展基于自主通用GPU的大模型CodeGen（高效編碼）項目，通過中文描述來生成可用的C、Java、Python代碼以實現(xiàn)高效編碼。
智源研究院負責算法設計、訓練框架開發(fā)、大模型的訓練與調優(yōu)，天數(shù)智芯負責提供天垓100加速卡、構建算力集群及全程技術支持，愛特云翔負責提供算存網(wǎng)基礎硬件及智能化運維服務。
據(jù)介紹，與國際主流的A100加速卡集群相比，天垓100加速卡集群的收斂效果、訓練速度、線性加速比相當，穩(wěn)定性更優(yōu)。天數(shù)智芯將與合作伙伴們共同建設更大規(guī)模的天垓100算力集群，完成更大參數(shù)規(guī)模的大模型訓練，以自主通用GPU產品更好支持國內大模型創(chuàng)新應用。
原標題：16歲中學生獲正高職稱后續(xù)：簡歷網(wǎng)頁已撤，公號信息已刪除 近日，一
快資訊2024-11-15 20:54:40
新教育 · 新觀察 · 新視點
浙公網(wǎng)安備 33052102000373號