魚(yú)羊 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

最強(qiáng)開(kāi)源大模型Llama2，性能更進(jìn)一步~

(資料圖片僅供參考)

7B、13B、70B三個(gè)版本全都有，均可以直接調(diào)用部署。

你可能想不到的是，這波操作還是百度搞出來(lái)的。

最新消息，百度智能云千帆大模型平臺(tái)又雙叒升級(jí)了，這回還悄然變身國(guó)內(nèi)擁有最多大模型的平臺(tái)：

不僅能跑文心大模型，Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等共33個(gè)大模型也已全面接入。

還都是經(jīng)過(guò)性能、安全雙重增強(qiáng)的那種——

通過(guò)優(yōu)化模型吞吐、降低模型尺寸，實(shí)測(cè)調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本最多可降低50%。百度智能云還基于自身安全積累，完成了二次安全增強(qiáng)。

于是，一聽(tīng)說(shuō)千帆大模型平臺(tái)已經(jīng)開(kāi)放申請(qǐng)測(cè)試，我們趕緊第一時(shí)間上手體驗(yàn)了一把。

有意思的是，我們親測(cè)發(fā)現(xiàn)，這波更新之后，用大模型的門(mén)檻還肉眼可見(jiàn)越來(lái)越低了。

大模型數(shù)量國(guó)內(nèi)第一，還是“千帆優(yōu)選”

如果你還沒(méi)搞清楚“千帆大模型平臺(tái)”究竟是什么，那么可以簡(jiǎn)單這樣理解：

一個(gè)支持各種大模型開(kāi)發(fā)部署的“煉丹爐”。

在千帆這個(gè)一站式大模型平臺(tái)上，企業(yè)用戶(hù)可以按照自身的需求，直接把大模型接入自家應(yīng)用，或者干脆重新訓(xùn)練、調(diào)優(yōu)出一個(gè)屬于自己的大模型。

正如前文所言，為了滿(mǎn)足企業(yè)對(duì)大模型多樣的需求，千帆大模型平臺(tái)除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個(gè)大模型。

從后臺(tái)界面可以看出，從數(shù)據(jù)服務(wù)，到大模型訓(xùn)練，再到大模型的評(píng)估、測(cè)試、部署，千帆都提供了完整的開(kāi)發(fā)和應(yīng)用工具鏈。

在“模型倉(cāng)庫(kù)”中的預(yù)置模型中，可以找到文心大模型、BLOOMZ-7B和此番更新的全部第三方大模型，一鍵就能開(kāi)始部署。

辣么問(wèn)題來(lái)了，其中不少都是開(kāi)源模型，在千帆上調(diào)用跟直接拿代碼用相比，有啥好處？

直白一點(diǎn)說(shuō)，就是便宜、易用，“千帆優(yōu)選”。

首先，在諸多開(kāi)源大模型中，并不是每一個(gè)都效果理想，有可商用協(xié)議。而對(duì)上線(xiàn)千帆平臺(tái)的第三方模型，百度都會(huì)事先完成測(cè)試驗(yàn)證，確保模型在效果、安全性、可商用三個(gè)方面的可靠性。

其次，百度會(huì)提前對(duì)第三方模型進(jìn)行性能增強(qiáng)。具體而言，是通過(guò)優(yōu)化模型吞吐、降低模型尺寸，實(shí)現(xiàn)模型推理速度的大幅提升。

根據(jù)百度的測(cè)算，調(diào)優(yōu)后模型體積可壓縮至25%-50%，推理成本最多可降低50%。

實(shí)際上，推理恰恰是大模型應(yīng)用階段的算力消耗大戶(hù)。量子位智庫(kù)認(rèn)為，隨著大模型訓(xùn)練階段完成，未來(lái)AI服務(wù)器的主要需求將向推理側(cè)轉(zhuǎn)移。IDC的預(yù)測(cè)則顯示，到2026年，AIGC的算力62.2%將作用于模型推理。

再者，調(diào)用開(kāi)源模型很大的一個(gè)問(wèn)題就是，在安全合規(guī)方面不能滿(mǎn)足國(guó)內(nèi)的需求。為此，千帆對(duì)第三方大模型做了二次安全增強(qiáng)，接入了百度多年來(lái)在安全上的積累。另外百度也保證，客戶(hù)在千帆上調(diào)用第三方模型，享有平臺(tái)的安全保障。

最后，如果有進(jìn)一步調(diào)優(yōu)大模型的需求，那么在千帆這樣的平臺(tái)上，各個(gè)環(huán)節(jié)都集成了低門(mén)檻工具，上手十分方便，包括數(shù)據(jù)的標(biāo)注、處理、回流，SFT（全量參數(shù)微調(diào)、P-tuning、LoRA）、RLHF等調(diào)優(yōu)方法，以及大模型的評(píng)估、壓縮、測(cè)試、部署等。

此前，百度智能云就曾在技術(shù)交流活動(dòng)中現(xiàn)場(chǎng)上演10分鐘微調(diào)大模型。

不會(huì)提示工程也能上手大模型

值得一提的是，在此番更新之后，百度智能云還上線(xiàn)了Prompt模板庫(kù)，長(zhǎng)這樣：

關(guān)注大模型的小伙伴們想來(lái)沒(méi)少聽(tīng)說(shuō)過(guò)“提示工程”這個(gè)詞。所謂提示（Prompt）工程，就是通過(guò)聊天提問(wèn)的方式，來(lái)影響大模型輸出內(nèi)容的質(zhì)量。

也就是說(shuō)，只要你的提問(wèn)技巧夠高明，在不耗費(fèi)大量資源更新模型權(quán)重（微調(diào)）的情況下，也能讓大模型的回答質(zhì)量更上一層樓。

不過(guò)雖說(shuō)是“聊天”，但針對(duì)大模型的提問(wèn)，那絕對(duì)是項(xiàng)技術(shù)活兒。吳恩達(dá)老師就專(zhuān)門(mén)出過(guò)有關(guān)提示工程的課程。

而千帆平臺(tái)的這個(gè)Prompt模板功能，實(shí)際上就是幫你在不熟悉提示工程的情況下，也能快速玩轉(zhuǎn)大模型。

比如讓某開(kāi)源大模型幫忙推薦菜譜。

如果只是告訴它：想吃辣。

生成的回答是這樣的：

沒(méi)什么毛病但有點(diǎn)簡(jiǎn)略。這個(gè)時(shí)候就可以一鍵引用千帆模型庫(kù)里的“廚師”模板：

我想讓你充當(dāng)我的私人廚師。我將告訴你我的飲食偏好和過(guò)敏癥，你將建議我嘗試的食譜。你應(yīng)該只回復(fù)你推薦的菜譜，而不是其他。不要寫(xiě)解釋。想吃辣。

就能得到一份更為詳細(xì)的建議：

目前，千帆共預(yù)置了103款Prompt模板，覆蓋對(duì)話(huà)、編程、電商、醫(yī)療、游戲、翻譯、演講等十余個(gè)場(chǎng)景。

看來(lái)，很多問(wèn)題不是大模型不會(huì)，是我問(wèn)的不對(duì)。

待你“參透”這些咒語(yǔ)的通用規(guī)律，比如設(shè)定角色、細(xì)化要求，還可以在千帆上自制模板，方便測(cè)試效果和復(fù)用。

千帆大模型平臺(tái)研發(fā)團(tuán)隊(duì)認(rèn)為，很多企業(yè)使用大模型時(shí)，覺(jué)得效果不好是模型本身的問(wèn)題。但其實(shí)很多情況下，企業(yè)無(wú)需花費(fèi)大量資源調(diào)優(yōu)大模型，基于模板優(yōu)化Prompt，即可得到滿(mǎn)意的模型效果。

工程師們還向我們透露，根據(jù)調(diào)研，隨著大模型能力的逐漸增強(qiáng)，越來(lái)越多的中小企業(yè)逐漸由監(jiān)督微調(diào)改為直接調(diào)用大模型。因此如何通過(guò)優(yōu)化跟大模型對(duì)話(huà)的方式，讓大模型輸出更好的內(nèi)容，其實(shí)正是大模型落地探索過(guò)程中的一大痛點(diǎn)。

千帆上線(xiàn)海量Prompt模板，實(shí)際上就降低了企業(yè)應(yīng)用大模型的門(mén)檻。

大模型應(yīng)用門(mén)檻正在降低

不難看出，千帆這波大更新，主打的就是一個(gè)簡(jiǎn)單易用。

事實(shí)上，當(dāng)大模型走過(guò)最初的技術(shù)狂熱，真正來(lái)到探索應(yīng)用的階段，不僅是大模型正在激發(fā)全新的應(yīng)用創(chuàng)新，越來(lái)越多傳統(tǒng)行業(yè)也在積極融入大模型生態(tài)。

而在這個(gè)過(guò)程中，無(wú)論是前者還是后者，對(duì)于降低大模型的使用門(mén)檻，都有著迫切的需求。

千帆工程師也表示，從百度自身的實(shí)踐上來(lái)看，大模型最終要達(dá)到好的應(yīng)用效果，除了基礎(chǔ)模型本身的能力之外，更重要的是要“找到場(chǎng)景”。而只有降低門(mén)檻，才能讓更多專(zhuān)業(yè)的人把精力聚焦到對(duì)場(chǎng)景的理解和場(chǎng)景的應(yīng)用之上。

千帆大模型平臺(tái)，如今正是在這一方向上持續(xù)打樣。

這一方面是因?yàn)榘俣仍诖蛟煳男拇竽Ｐ偷倪^(guò)程中，對(duì)大模型技術(shù)本身有更深入的理解。

另一方面，在3月份率先發(fā)布國(guó)產(chǎn)大語(yǔ)言模型之后，百度是國(guó)內(nèi)“目前接觸用戶(hù)/開(kāi)發(fā)者最多的大語(yǔ)言模型廠商”，手握國(guó)內(nèi)最豐富的大模型客戶(hù)測(cè)試經(jīng)驗(yàn)，對(duì)于行業(yè)當(dāng)下所面臨的痛點(diǎn)，有著更明確的認(rèn)識(shí)。

甚至可以說(shuō)，在國(guó)內(nèi)的一眾大模型廠商中，百度無(wú)疑擁有從數(shù)據(jù)，到算力，到算法再到實(shí)踐經(jīng)驗(yàn)的最全大模型生成資料。

如今，百度不僅局限于自己打造大模型，還正在把越來(lái)越多第三方大模型做進(jìn)基礎(chǔ)設(shè)施，并不斷降低基礎(chǔ)設(shè)施的使用門(mén)檻。

在搜索時(shí)代的“百度一下”，或許也將在大模型時(shí)代，通過(guò)千帆賦予新的意義——

現(xiàn)在接觸大模型，最直接的方式還是：百度一下。

—完—

點(diǎn)這里關(guān)注我，記得標(biāo)星哦～

一鍵三連「分享」、「點(diǎn)贊」和「在看」

科技前沿進(jìn)展日日相見(jiàn) ~