飞象网 - 通信人每天必上的网站

首頁(yè)|必讀|視頻|專訪|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 頭條資訊 >> 正文

Meta確認(rèn)開(kāi)源大模型LLaMA 3下月登場(chǎng)

2024年4月11日 08:32  每日經(jīng)濟(jì)新聞  

每經(jīng)記者 文巧    每經(jīng)編輯 蘭素英

在推出開(kāi)源大模型LLaMA2近一年之后,Meta的新一代大模型LLaMA 3即將面世。

在4月9日倫敦舉行的一次活動(dòng)中,Meta確認(rèn)計(jì)劃在下個(gè)月內(nèi)首次發(fā)布LLaMA 3。據(jù)了解,該模型將有多個(gè)具有不同功能的版本。

但Meta并沒(méi)有披露LLaMA 3的參數(shù)規(guī)模。“隨著時(shí)間的推移,我們的目標(biāo)是讓由LLaMA驅(qū)動(dòng)的Meta AI成為世界上最有用的助手。”Meta人工智能研究副總裁Joelle Pineau說(shuō)。“要達(dá)到這個(gè)目標(biāo),還有相當(dāng)多的工作要做。”

而據(jù)科技外媒The Information4月8日發(fā)布的報(bào)道,作為對(duì)標(biāo)GPT-4的大模型,LLaMA 3的大規(guī)模版本參數(shù)量可能超過(guò)1400億,而最大的LLaMA 2版本的參數(shù)量為700億。LLaMA 3將支持多模態(tài)處理,即同時(shí)理解和生成文本及圖片。

值得注意的是,LLaMA 3將延續(xù)Meta一直以來(lái)的開(kāi)源路線。目前,開(kāi)源模型界的競(jìng)爭(zhēng)正在變得愈發(fā)激烈,開(kāi)源大模型亦進(jìn)化得越來(lái)越強(qiáng)大。截至目前,包括谷歌、馬斯克旗下的xAI、Mistral AI、StabilityAI等在內(nèi)的許多公司都發(fā)布了開(kāi)源的大模型。

作為開(kāi)源模型界的“扛把子”,Meta在AI基礎(chǔ)設(shè)施上的投入亦不可小覷,目前只有微軟擁有與之相當(dāng)?shù)挠?jì)算能力儲(chǔ)備。Meta發(fā)布的一篇技術(shù)博客稱,到2024年底,該公司將再購(gòu)350000個(gè)英偉達(dá)H100 GPU,算上其他GPU,其算力相當(dāng)于近600000個(gè)H100。

LLaMA 3即將登場(chǎng) 參數(shù)量或達(dá)1400億

在4月9日倫敦舉行的一次活動(dòng)中,Meta確認(rèn)計(jì)劃在下個(gè)月內(nèi)首次發(fā)布LLaMA 3。Meta全球事務(wù)總裁Nick Clegg表示:“在下個(gè)月內(nèi),甚至是在很短的時(shí)間內(nèi),我們希望推出新的下一代基礎(chǔ)模型套件LLaMA 3。”

從Nick Clegg的表述上看,LLaMA 3將有多個(gè)不同功能的版本。“今年內(nèi),我們將發(fā)布一系列具有不同功能、不同通用性的模型,很快就會(huì)開(kāi)始發(fā)布。”

同時(shí),Meta首席產(chǎn)品官Chris Cox補(bǔ)充稱,Meta計(jì)劃用LLaMA 3為Meta的多個(gè)產(chǎn)品提供支持。

值得注意的是,LLaMA 3將延續(xù)Meta一直以來(lái)的開(kāi)源路線。

與OpenAI堅(jiān)持的閉源路線和大參數(shù)LLM不同,Meta從一開(kāi)始就選擇了開(kāi)源策略和小型化LLM。

2023年2月,Meta在其官網(wǎng)公開(kāi)發(fā)布了LLaMA大模型,與GPT系列模型類似,LLaMA也是一個(gè)建立在Transformer基礎(chǔ)架構(gòu)上的自回歸語(yǔ)言模型。

LLaMA包括70億、130億、330億、650億這四種參數(shù)規(guī)模,旨在推動(dòng)LLM的小型化和平民化研究。相比之下,GPT-3最高則達(dá)到了1750億的參數(shù)規(guī)模。Meta在當(dāng)時(shí)的論文中總結(jié)稱,盡管體積小了10倍以上,但LLaMA(130億參數(shù))的性能優(yōu)于GPT-3。

一般來(lái)說(shuō),較小的模型成本更低,運(yùn)行更快,且更容易微調(diào)。正如Meta首席執(zhí)行官扎克伯格在此前的財(cái)報(bào)電話會(huì)議中稱,開(kāi)源模型通常更安全、更高效,而且運(yùn)行起來(lái)更具成本效益,它們不斷受到社區(qū)的審查和開(kāi)發(fā)。

談及開(kāi)源問(wèn)題,扎克伯格在接受外媒The Verge采訪時(shí)曾表示:“我傾向于認(rèn)為,最大的挑戰(zhàn)之一是,如果你打造的東西真的很有價(jià)值,那么它最終會(huì)變得非常集中和狹隘。如果你讓它更加開(kāi)放,那么就能解決機(jī)會(huì)和價(jià)值不平等可能帶來(lái)的大量問(wèn)題。因此,這是整個(gè)開(kāi)源愿景的重要組成部分。”

除此之外,小型模型還便于開(kāi)發(fā)者在移動(dòng)設(shè)備上開(kāi)發(fā)AI軟件,這也是LLaMA系列模型自開(kāi)源以來(lái)就獲得開(kāi)發(fā)者廣泛關(guān)注的原因。當(dāng)前,Github上許多模型都是基于LLaMA系列模型而開(kāi)發(fā)。

去年7月,Meta發(fā)布了LLaMA 2。當(dāng)時(shí),Meta也采用了先發(fā)小模型的策略。在發(fā)布700億參數(shù)的LLaMA 2大規(guī)模版本之前,Meta先行推出了130億和70億參數(shù)的小型版本。

不過(guò),根據(jù)相關(guān)的測(cè)試,LLaMA 2拒絕回答一些爭(zhēng)議性較小的問(wèn)題,例如如何對(duì)朋友惡作劇或怎樣“殺死”汽車發(fā)動(dòng)機(jī)等。近幾個(gè)月來(lái),Meta 一直在努力使LLaMA 3在回答有爭(zhēng)議的問(wèn)題上更開(kāi)放,也更準(zhǔn)確。

盡管Meta沒(méi)有透露LLaMA 3的參數(shù)規(guī)模,但從The Information的報(bào)道來(lái)看,作為對(duì)標(biāo)GPT-4的大模型,LLaMA 3的大規(guī)模版本參數(shù)量據(jù)悉可能超過(guò)1400億,這與最大版本的LLa-MA 2相比提升了一倍。

在整個(gè)開(kāi)源模型界,競(jìng)爭(zhēng)正在變得愈發(fā)激烈,開(kāi)源大模型亦進(jìn)化得越來(lái)越強(qiáng)大。

今年2月,谷歌罕見(jiàn)地改變了去年堅(jiān)持的大模型閉源策略,推出了開(kāi)源大模型Gemma;3月,馬斯克也開(kāi)源了旗下xAI公司的Grok- 1模型。根據(jù)Gemma和Grok-1的性能測(cè)試文檔,它們?cè)跀?shù)學(xué)、推理、代碼等多項(xiàng)基準(zhǔn)測(cè)試方面的性能均超過(guò)了同規(guī)模的LLaMA 2模型。

截至目前,包括谷歌、xAI、Mistral AI、DataBricks和StabilityAI等在內(nèi)的多家科技公司發(fā)布了開(kāi)源的大模型。有業(yè)內(nèi)人士此前在接受《每日經(jīng)濟(jì)新聞》記者采訪時(shí)說(shuō)道:“開(kāi)源是大勢(shì)所趨,我認(rèn)為Meta正在引領(lǐng)這一趨勢(shì),其次是Mistral AI、HuggingFace等規(guī)模較小的公司。”

“狂卷”AGI 豪擲百億美元囤芯片

作為開(kāi)源模型界的“扛把子”,Meta在AI基礎(chǔ)設(shè)施上的投入亦不可小覷。

實(shí)際上,Meta上個(gè)月曾發(fā)布一篇技術(shù)博客,展示了自己擁有的算力資源,以及布局AI基礎(chǔ)設(shè)施的細(xì)節(jié)和路線圖。該公司稱,其長(zhǎng)期愿景是構(gòu)建開(kāi)放且負(fù)責(zé)任的通用人工智能(AGI),以便讓每個(gè)人都能廣泛使用并從中受益。

Meta在博客中寫(xiě)道:“到2024年底,我們的目標(biāo)是繼續(xù)擴(kuò)大(AI)基礎(chǔ)設(shè)施建設(shè),其中包括350000個(gè)英偉達(dá)H100 GPU,這是其產(chǎn)品組合的一部分,算上其他,其算力相當(dāng)于近600000個(gè)H100。”據(jù)悉,目前只有微軟擁有與之相當(dāng)?shù)挠?jì)算能力儲(chǔ)備。按照亞馬遜給出的價(jià)格來(lái)算,一塊H100芯片大約3萬(wàn)美元,350000個(gè)H100的價(jià)格就是105億美元(約合760億元人民幣)。

在這份文檔中,Meta也透露了一些用于訓(xùn)練LLaMA 3的集群細(xì)節(jié),該集群由24576個(gè)英偉達(dá)H100 GPU構(gòu)成。

據(jù)市場(chǎng)跟蹤公司Omdia去年發(fā)布的一份報(bào)告,Meta和微軟是英偉達(dá)H100 GPU的最大買家。據(jù)其估算,上述兩家公司在2023年各自采購(gòu)了150000個(gè)H100 GPU,是谷歌、亞馬遜、甲骨文等科技公司所購(gòu)的H100 GPU數(shù)量的三倍以上。

在前述文檔中,Meta也重申了將堅(jiān)持一貫以來(lái)的開(kāi)源路線,“Meta始終致力于人工智能軟件和硬件的開(kāi)放創(chuàng)新。我們相信開(kāi)源硬件和軟件將永遠(yuǎn)是幫助行業(yè)大規(guī)模解決問(wèn)題的寶貴工具。”

值得一提的是,憑借AI上的投入,扎克伯格在福布斯最新發(fā)布的2024(第38屆)全球億萬(wàn)富豪榜上居第四,資產(chǎn)凈值為1770億美元,這也是扎克伯格有記錄以來(lái)的最高排名。以美元計(jì)算,扎克伯格的資產(chǎn)凈值在過(guò)去一年增長(zhǎng)最多,共增加1126億美元,增幅為174.8%。

編 輯:魏德齡
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問(wèn)題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
陳忠岳:中國(guó)聯(lián)通正在開(kāi)展6G技術(shù)指標(biāo)制定等工作
精彩專題
CES 2024國(guó)際消費(fèi)電子展
2023年信息通信產(chǎn)業(yè)盤(pán)點(diǎn)暨頒獎(jiǎng)禮
飛象網(wǎng)2023年手機(jī)評(píng)選
第24屆中國(guó)國(guó)際光電博覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱: 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像
主站蜘蛛池模板: 洗地机_全自动洗地机_手推式洗地机【上海滢皓环保】 | 柴油机_柴油发电机_厂家_品牌-江苏卡得城仕发动机有限公司 | 温州在线网| 全国国际化学校_国际高中招生_一站式升学择校服务-国际学校网 | UV-1800紫外光度计-紫外可见光度计厂家-翱艺仪器(上海)有限公司 | 高考志愿规划师_高考规划师_高考培训师_高报师_升学规划师_高考志愿规划师培训认证机构「向阳生涯」 | 电伴热系统施工_仪表电伴热保温箱厂家_沃安电伴热管缆工业技术(济南)有限公司 | 【铜排折弯机,钢丝折弯成型机,汽车发泡钢丝折弯机,线材折弯机厂家,线材成型机,铁线折弯机】贝朗折弯机厂家_东莞市贝朗自动化设备有限公司 | 超声波焊接机_超音波熔接机_超声波塑焊机十大品牌_塑料超声波焊接设备厂家 | 光谱仪_积分球_分布光度计_灯具检测生产厂家_杭州松朗光电【官网】 | 礼堂椅厂家|佛山市艺典家具有限公司 | 手持式浮游菌采样器-全排二级生物安全柜-浙江孚夏医疗科技有限公司 | NMRV减速机|铝合金减速机|蜗轮蜗杆减速机|NMRV减速机厂家-东莞市台机减速机有限公司 | 北京印刷厂_北京印刷_北京印刷公司_北京印刷厂家_北京东爵盛世印刷有限公司 | 道达尔润滑油-食品级润滑油-道达尔导热油-合成导热油,深圳道达尔代理商合-深圳浩方正大官网 | 电动卫生级调节阀,电动防爆球阀,电动软密封蝶阀,气动高压球阀,气动对夹蝶阀,气动V型调节球阀-上海川沪阀门有限公司 | 披萨石_披萨盘_电器家电隔热绵加工定制_佛山市南海区西樵南方综合保温材料厂 | 小型玉石雕刻机_家用玉雕机_小型万能雕刻机_凡刻雕刻机官网 | 扒渣机厂家_扒渣机价格_矿用扒渣机_铣挖机_撬毛台车_襄阳永力通扒渣机公司 | 玻璃瓶厂家_酱菜瓶厂家_饮料瓶厂家_酒瓶厂家_玻璃杯厂家_徐州东明玻璃制品有限公司 | 苗木价格-苗木批发-沭阳苗木基地-沭阳花木-长之鸿园林苗木场 | 广州中央空调回收,二手中央空调回收,旧空调回收,制冷设备回收,冷气机组回收公司-广州益夫制冷设备回收公司 | 量子管通环-自清洗过滤器-全自动反冲洗过滤器-沼河浸过滤器 | SMC-ASCO-CKD气缸-FESTO-MAC电磁阀-上海天筹自动化设备官网 | 切铝机-数控切割机-型材切割机-铝型材切割机-【昆山邓氏精密机械有限公司】 | 金蝶帐无忧|云代账软件|智能财税软件|会计代账公司专用软件 | 除湿机|工业除湿机|抽湿器|大型地下室车间仓库吊顶防爆除湿机|抽湿烘干房|新风除湿机|调温/降温除湿机|恒温恒湿机|加湿机-杭州川田电器有限公司 | 劳动法网-专业的劳动法和劳动争议仲裁服务网 | 老房子翻新装修,旧房墙面翻新,房屋防水补漏,厨房卫生间改造,室内装潢装修公司 - 一修房屋快修官网 | HDPE储罐_厂家-山东九州阿丽贝防腐设备 | 碳钢法兰厂家,非标法兰,定制异型,法兰生产厂家-河北九瑞管道 | 交流伺服电机|直流伺服|伺服驱动器|伺服电机-深圳市华科星电气有限公司 | 低粘度纤维素|混凝土灌浆料|有机硅憎水粉|聚羧酸减水剂-南京斯泰宝 | 山东钢格板|栅格板生产厂家供应商-日照森亿钢格板有限公司 | 阳光1号桔柚_无核沃柑_柑橘新品种枝条苗木批发 - 苧金网 | 编织人生 - 权威手工编织网站,编织爱好者学习毛衣编织的门户网站,织毛衣就上编织人生网-编织人生 | 机床主轴维修|刀塔维修|C轴维修-常州翔高精密机械有限公司 | 一点车讯-汽车网站,每天一点最新车讯! | 碎石机设备-欧版反击破-欧版颚式破碎机(站)厂家_山东奥凯诺机械 高低温试验箱-模拟高低温试验箱订制-北京普桑达仪器科技有限公司【官网】 | 胶原检测试剂盒,弹性蛋白检测试剂盒,类克ELISA试剂盒,阿达木单抗ELISA试剂盒-北京群晓科苑生物技术有限公司 | 江苏皓越真空设备有限公司|