色屁屁www影院免费观看入口,漂亮人妻被强中文字幕,奇米影视888影视网,欧美日韩亚洲国产专区精品,强奷乱码中文字幕

阿里巴巴開源創(chuàng)新大模型訓(xùn)練方法 降低AI搜索成本近90%

前沿科技
分享至
評(píng)論

 阿里巴巴最近推出一款突破性的大型(LLM)訓(xùn)練方法ZEROSEARCH,大幅降低訓(xùn)練人工智能(AI)進(jìn)行信息檢索的成本。與傳統(tǒng)依賴成本高昂的商業(yè)搜索引擎API調(diào)用的方式不同,ZEROSEARCH通過模擬搜索行為來訓(xùn)練模型,將訓(xùn)練成本降低了近90%,進(jìn)一步推動(dòng)先進(jìn)的AI搜索功能的普及。

 降低開發(fā)者與企業(yè)門檻

 阿里巴巴通義實(shí)驗(yàn)室自然語言處理方向負(fù)責(zé)人黃非表示:“ZEROSEARCH大幅降低訓(xùn)練LLM模擬搜索引擎行為的成本,使開發(fā)者和企業(yè),尤其是中小企業(yè),能夠在不依賴成本高昂的搜索引擎交互的情況下,獨(dú)立構(gòu)建自己的強(qiáng)化學(xué)習(xí)(RL)框架。在不影響性能的前提下實(shí)現(xiàn)成本壓縮,是大規(guī)模強(qiáng)化學(xué)習(xí)技術(shù)邁向普及的重要里程碑?!?/p>

 信息檢索對(duì)于提升LLM推理能力和回答準(zhǔn)確性至關(guān)重要。傳統(tǒng)的強(qiáng)化學(xué)習(xí)(RL)方法需要通過高成本的API調(diào)用與搜索引擎進(jìn)行數(shù)十萬次的實(shí)時(shí)交互,不僅導(dǎo)致高昂的訓(xùn)練成本,也限制了訓(xùn)練的擴(kuò)展性。此外,搜索引擎返回的結(jié)果質(zhì)量往往參差不齊,進(jìn)一步影響了訓(xùn)練效果。

 低成本高效模擬搜索

 為解決這些問題,阿里巴巴的ZEROSEARCH 采用了兩步模擬策略,擺脫對(duì)高成本API的依賴:

 首先,研究團(tuán)隊(duì)使用輕量級(jí)監(jiān)督微調(diào)(lightweight supervised fine-tuning),將LLM轉(zhuǎn)化為一個(gè)能夠根據(jù)查詢生成文檔的檢索模塊,從而模擬真實(shí)搜索引擎的行為。

 其次,在強(qiáng)化學(xué)習(xí)訓(xùn)練階段,引入基于課程的學(xué)習(xí)機(jī)制(curriculum-based rollout strategy),逐步降低生成文檔質(zhì)量,使模型在越來越復(fù)雜的模擬搜索場(chǎng)景中不斷提升適應(yīng)能力。

 測(cè)試結(jié)果顯示,使用ZEROSEARCH訓(xùn)練的模型可以比肩甚至優(yōu)于依賴真實(shí)搜索引擎API訓(xùn)練的模型。例如,基于Qwen2.5-7B的檢索模塊表現(xiàn)與谷歌搜索相當(dāng),而基于Qwen2.5-14B的版本則超越了谷歌搜索,同時(shí)訓(xùn)練成本比傳統(tǒng)方式降低了88%。

 除了高效、低成本的訓(xùn)練方法,阿里巴巴還開源了多個(gè)適用于不同規(guī)模、語言和模態(tài)的,助力全球開發(fā)者以更經(jīng)濟(jì)的方式構(gòu)建訂制化AI解決方案。

 Artificial Analysis報(bào)告顯示Qwen3-235B-A22B綜合智能排名第五,性價(jià)比最優(yōu),遠(yuǎn)低于行業(yè)普遍水平。

 根據(jù)知名獨(dú)立與API服務(wù)評(píng)測(cè)機(jī)構(gòu)Artificial Analysis發(fā)布的報(bào)告,阿里巴巴最新推出的LLM Qwen3-235B-A22B 在涵蓋數(shù)學(xué)、編程、推理和科學(xué)等能力的綜合智能表現(xiàn)排名第五,并在性價(jià)比方面位居榜首,每處理一百萬個(gè)token僅需0.30美元,遠(yuǎn)低于行業(yè)普遍水平。

THE END

數(shù)碼評(píng)測(cè)