麻豆精品,欧美淫秽网,激情草综合,国产精品青青青在线观看

階躍星辰姜大昕:Scaling Law仍處于陡峭區(qū)間,萬億參數(shù)是基本出發(fā)點(diǎn)
來源:搜狐 發(fā)表于2024-07-11 11:00:20 編輯:沫曉朵
摘要: 在2024世界人工智能大會啟明創(chuàng)投創(chuàng)業(yè)與投資論壇上,階躍星辰創(chuàng)始人、CEO姜大昕發(fā)表了演講,分享了對于大模型發(fā)展現(xiàn)狀與趨勢的觀察與思考。在演講中,

  在2024世界人工智能大會啟明創(chuàng)投·創(chuàng)業(yè)與投資論壇上,階躍星辰創(chuàng)始人、CEO姜大昕發(fā)表了演講,分享了對于大模型發(fā)展現(xiàn)狀與趨勢的觀察與思考。在演講中,姜大昕重點(diǎn)闡述了一個(gè)核心觀點(diǎn):探索AGI路徑,“Scaling Law”和“多模態(tài)”是相輔相成、缺一不可的兩個(gè)方向。兩者齊頭并進(jìn),最終到達(dá)AGI。

  近年來,GPT系列模型的演進(jìn),客觀上驗(yàn)證了Scaling Law的有效性。模型參數(shù)量決定模型能力的上限。從模型效果看,參數(shù)量增大確實(shí)帶來了性能上的飛躍。雖然業(yè)內(nèi)圍繞“Scaling Law還能走多遠(yuǎn)”尚未形成共識,但階躍星辰認(rèn)為,參數(shù)量接下來再提高一個(gè)數(shù)量級是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在隨著參數(shù)量、數(shù)據(jù)量和計(jì)算量的增加呈冪次方增長。在此發(fā)展過程中,萬億參數(shù)量已經(jīng)成為一個(gè)基本的入門門檻。

  正是基于這樣的認(rèn)知,階躍星辰很早便啟動了萬億參數(shù)模型的訓(xùn)練。從千億到萬億,模型的參數(shù)規(guī)模提升了一個(gè)量級,難度也提升了十倍以上。為此,階躍星辰加大資源投入,尤其在系統(tǒng)和算法上積極探索,最終走通了萬億參數(shù) MoE 大模型訓(xùn)練的道路。在 WAIC 2024 上,階躍星辰發(fā)布了全新的 Step-2 萬億參數(shù)語言大模型正式版。根據(jù)從邏輯推理、世界知識、數(shù)學(xué)和編程等多個(gè)維度進(jìn)行的權(quán)威測試,Step-2 模型能力都已全面接近國際主流模型,在部分測試集甚至實(shí)現(xiàn)了超越。

投稿郵箱:qingjuedu@163.com
相關(guān)推薦
清華大學(xué)未來六天參觀預(yù)約已滿?工作人員回應(yīng)
清華大學(xué)未來六天參觀預(yù)約已滿?工作人員回應(yīng)

原標(biāo)題:清華大學(xué)未來六天參觀預(yù)約已滿?工作人員回應(yīng) 暑期游客的威力感受

快資訊22小時(shí)前

“雙一流”高校擬撤銷31個(gè)本科專業(yè),引發(fā)熱議!
“雙一流”高校擬撤銷31個(gè)本科專業(yè),引發(fā)熱議!

原標(biāo)題:雙一流高校擬撤銷31個(gè)本科專業(yè),引發(fā)熱議! 近日,四川大學(xué)公示了

快資訊2024-07-15 17:50:41

大學(xué)錄取通知書錯(cuò)字“出沒”,咋回事?
大學(xué)錄取通知書錯(cuò)字“出沒”,咋回事?

原標(biāo)題:大學(xué)錄取通知書錯(cuò)字出沒,咋回事? 嘿,您瞧瞧,最近大學(xué)錄取通知

快資訊2024-07-15 17:48:59

女生北大畢業(yè)后,再高考考上上海交大
女生北大畢業(yè)后,再高考考上上海交大

原標(biāo)題:女生北大畢業(yè)后,再高考考上上海交大 2024年7月8日傍晚,點(diǎn)擊進(jìn)入上

快資訊2024-07-12 20:00:21

有家長已為孩子暑假花了四五萬? 只能說有錢!
有家長已為孩子暑假花了四五萬? 只能說有錢!

原標(biāo)題:有家長已為孩子暑假花了四五萬 只能說有錢! 日前網(wǎng)上有爸爸曬出賬

快資訊2024-07-12 19:57:26

2024年重慶第一份高考錄取通知書送達(dá)
2024年重慶第一份高考錄取通知書送達(dá)

原標(biāo)題:2024年重慶第一份高考錄取通知書送達(dá) 7月10日上午,重慶市2024年第一份

快資訊2024-07-11 17:33:35

中國前十名財(cái)經(jīng)大學(xué)
中國前十名財(cái)經(jīng)大學(xué)

原標(biāo)題:中國前十名財(cái)經(jīng)大學(xué) 中國內(nèi)地財(cái)經(jīng)類大學(xué)排名, 0: 上海財(cái)經(jīng)、中央

快資訊2024-07-11 17:17:35

斑馬App更名“斑馬AI學(xué)”,引入猿輔導(dǎo)AI大模型
斑馬App更名“斑馬AI學(xué)”,引入猿輔導(dǎo)AI大模型

原標(biāo)題:斑馬App更名斑馬AI學(xué),引入猿輔導(dǎo)AI大模型 多知7月8日消息,斑馬官微

快資訊2024-07-09 19:41:29

女子讀研8年獲學(xué)位證僅11天被作廢
女子讀研8年獲學(xué)位證僅11天被作廢

原標(biāo)題:女子讀研8年獲學(xué)位證僅11天被作廢 據(jù)大風(fēng)新聞報(bào)道,2015年3月,任女士

快資訊2024-07-09 19:28:19

高考480分,父親高調(diào)發(fā)圈“北京大學(xué)見”,親戚一句話
高考480分,父親高調(diào)發(fā)圈“北京大學(xué)見”,親戚一句話

原標(biāo)題:高考480分,父親高調(diào)發(fā)圈北京大學(xué)見,親戚一句話全家懵了 01 望子成

快資訊2024-07-08 20:32:14

?