在2024世界人工智能大會(huì)啟明創(chuàng)投·創(chuàng)業(yè)與投資論壇上,階躍星辰創(chuàng)始人、CEO姜大昕發(fā)表了演講,分享了對(duì)于大模型發(fā)展現(xiàn)狀與趨勢(shì)的觀察與思考。在演講中,姜大昕重點(diǎn)闡述了一個(gè)核心觀點(diǎn):探索AGI路徑,“Scaling Law”和“多模態(tài)”是相輔相成、缺一不可的兩個(gè)方向。兩者齊頭并進(jìn),最終到達(dá)AGI。
近年來(lái),GPT系列模型的演進(jìn),客觀上驗(yàn)證了Scaling Law的有效性。模型參數(shù)量決定模型能力的上限。從模型效果看,參數(shù)量增大確實(shí)帶來(lái)了性能上的飛躍。雖然業(yè)內(nèi)圍繞“Scaling Law還能走多遠(yuǎn)”尚未形成共識(shí),但階躍星辰認(rèn)為,參數(shù)量接下來(lái)再提高一個(gè)數(shù)量級(jí)是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在隨著參數(shù)量、數(shù)據(jù)量和計(jì)算量的增加呈冪次方增長(zhǎng)。在此發(fā)展過(guò)程中,萬(wàn)億參數(shù)量已經(jīng)成為一個(gè)基本的入門門檻。
正是基于這樣的認(rèn)知,階躍星辰很早便啟動(dòng)了萬(wàn)億參數(shù)模型的訓(xùn)練。從千億到萬(wàn)億,模型的參數(shù)規(guī)模提升了一個(gè)量級(jí),難度也提升了十倍以上。為此,階躍星辰加大資源投入,尤其在系統(tǒng)和算法上積極探索,最終走通了萬(wàn)億參數(shù) MoE 大模型訓(xùn)練的道路。在 WAIC 2024 上,階躍星辰發(fā)布了全新的 Step-2 萬(wàn)億參數(shù)語(yǔ)言大模型正式版。根據(jù)從邏輯推理、世界知識(shí)、數(shù)學(xué)和編程等多個(gè)維度進(jìn)行的權(quán)威測(cè)試,Step-2 模型能力都已全面接近國(guó)際主流模型,在部分測(cè)試集甚至實(shí)現(xiàn)了超越。
投稿郵箱:chuanbeiol@163.com 詳情請(qǐng)?jiān)L問(wèn)川北在線:http://dstuf.com/