目前，大模型技術(shù)在金融領(lǐng)域占據(jù)主導(dǎo)地位。加快大模型技術(shù)創(chuàng)新，可緩解金融行業(yè)在風(fēng)控、辦公等諸多方面的難題。對(duì)此，度小滿持續(xù)加強(qiáng)大模型技術(shù)布局，提升自身技術(shù)實(shí)力，并于近日宣布“軒轅”系列新增開源6B、13B、70B三種參數(shù)12款金融大模型，“軒轅”系列大模型擁有遠(yuǎn)超同參數(shù)水平的金融能力。度小滿通過對(duì)大模型技術(shù)的研發(fā)與布局，為推動(dòng)金融行業(yè)穩(wěn)健發(fā)展貢獻(xiàn)一份力量。
度小滿“軒轅”可進(jìn)一步降低大模型的應(yīng)用門檻
3月11日，度小滿宣布“軒轅”系列金融大模型新增開源6B、13B、70B三種參數(shù)12款金融大模型。這12款大模型具有“以小搏大”的實(shí)力，在用戶信息分析、業(yè)務(wù)數(shù)據(jù)洞察等十余種金融實(shí)際任務(wù)評(píng)測(cè)中，達(dá)到自身2倍甚至5倍參數(shù)量的模型水平。
三種參數(shù)的基座模型、對(duì)話模型、int4量化模型、int8量化模型完全開源，開發(fā)者可在GitHub、HuggingFace、Model Scope等開源社區(qū)內(nèi)下載使用。
在“軒轅”模型矩陣中，70B及以上模型適合針對(duì)需要深度分析、復(fù)雜指令執(zhí)行以及全方位Agent調(diào)用的場(chǎng)景，而6B、13B的模型則更加適用于對(duì)響應(yīng)速度有高要求、面向小規(guī)模場(chǎng)景和單任務(wù)的應(yīng)用?！避庌@”6B-4-bit量化Chat模型則以其低推理部署成本，進(jìn)一步降低大模型的應(yīng)用門檻。
專注中文金融領(lǐng)域任務(wù)FinanceIQ大模型金融自動(dòng)評(píng)測(cè)集顯示，在注冊(cè)會(huì)計(jì)師（CPA)、銀行從業(yè)資格、基金從業(yè)資格、證券從業(yè)資格等多項(xiàng)金融領(lǐng)域考試中，“軒轅”展示出金融領(lǐng)域?qū)＜业乃健?
“軒轅”系列大模型在訓(xùn)練方式上進(jìn)行了多項(xiàng)創(chuàng)新，例如將人類偏好對(duì)齊技術(shù)引入了金融大模型訓(xùn)練。通常多數(shù)垂類大模型僅在微調(diào)階段引入特定領(lǐng)域數(shù)據(jù)，但這種方法在實(shí)際應(yīng)用中常常顯示出局限性，金融行業(yè)的復(fù)雜性要求模型能夠更深入地理解并適應(yīng)行業(yè)特定的需求。為此，度小滿構(gòu)建了涵蓋通用性、安全性和金融特性的Prompt數(shù)據(jù)集，并組織了專業(yè)的標(biāo)注團(tuán)隊(duì)對(duì)成對(duì)的回答進(jìn)行偏好標(biāo)注，從而收集到了一批高質(zhì)量、廣覆蓋的偏好數(shù)據(jù)，并通過一系列實(shí)踐、分析和改進(jìn)成功完成了獎(jiǎng)勵(lì)模型和后續(xù)的強(qiáng)化訓(xùn)練。
“軒轅”金融大模型已經(jīng)應(yīng)用在度小滿各個(gè)業(yè)務(wù)場(chǎng)景中
度小滿在2023年5月開源國內(nèi)首個(gè)千億級(jí)中文金融大模型“XuanYuan-176B”。2023年9月，“XuanYuan-70B”大模型在C-Eval和CMMLU兩大權(quán)威榜單上位列所有開源模型榜首。本次度小滿”“軒轅””模型矩陣再次升級(jí)，十億-百億-千億參數(shù)全覆蓋，實(shí)現(xiàn)多場(chǎng)景任務(wù)適配。
業(yè)內(nèi)普遍認(rèn)為，金融大模型的價(jià)值體現(xiàn)在其能否在核心業(yè)務(wù)場(chǎng)景中發(fā)揮實(shí)際作用，如通過綜合分析用戶信息以支持風(fēng)險(xiǎn)評(píng)估、刻畫客戶畫像等。目前，”軒轅”金融大模型已經(jīng)應(yīng)用在度小滿各個(gè)業(yè)務(wù)場(chǎng)景，從營銷、客服、風(fēng)控、辦公再到研發(fā)，已經(jīng)初見成效。在代碼助手方面，用大模型輔助生成的代碼,采納率能夠達(dá)到42%，幫助公司整體研發(fā)效率提升了20%；在客服領(lǐng)域，大模型推動(dòng)服務(wù)效率提升了25%。
通過大模型等創(chuàng)新技術(shù)解決金融各大場(chǎng)景中的難題，是助推金融行業(yè)創(chuàng)新發(fā)展的關(guān)鍵一環(huán)。度小滿聚焦大模型等各項(xiàng)前沿科技，在技術(shù)領(lǐng)域開展了一系列探索與實(shí)踐。此次“軒轅”系列新增開源6B、13B、70B三種參數(shù)12款金融大模型，是度小滿在大模型領(lǐng)域的又一次全新嘗試。未來，度小滿還將在大模型領(lǐng)域不斷創(chuàng)新，為推動(dòng)大模型在金融行業(yè)落地提供新思路。
