Meta 發表了 Llama 2,五大重點一次看懂

2023年7月19日

🚀 ChatGPT 求職工作術
想透過 ChatGPT 提升求職與工作效率嗎?《ChatGPT 高效求職與工作術》限時 46 折優惠中👉 前往上課
Meta 開源 Llama 2 大型語言模型
Meta 開源 Llama 2 大型語言模型

什麼是 Llama 2

Llama 就像 GPT 一樣是大型語言模型 (LLM),可以用來生成文字、程式碼等。在先前第一代模型時,因為開源所以掀起討論,這次第二代不僅開源,還開放商用。Llama 的中文發音類似「拉馬」,而 Llama 2 中文發音類似「拉馬兔」。

OpenAI 完蛋了嗎?

Llama 2 模型七百億個參數,光是訓練模型的成本就超過兩千萬美元 (更別說人力資源的投入)。從結果來說,目前在文字生成的比分接近 GPT-3.5 (但在程式碼生成上還有段差距)。目前看起來 OpenAI 還不會完蛋 (推特上一些造謠的看看就好),畢竟 GPT-4 還是強大不少。不過值得關注 Meta 的開源路線,與 OpenAI 的閉門路線,長期發展哪個會有比較好的成果。

可以微調 (fine-tuning)

目前 ChatGPT 只用到 2021 年的資料,之後的就會亂答的狀況。Llama 2 則有開放微調,讓你在已經訓練好的模型基礎上 (不用自己先花兩千萬美元訓練),進一步調整,讓輸出能夠更符合你的預期。跟 GPT-3.5 類似的結果,同時可以微調,可說是 Llama 2 的一大賣點。

品質 (quality) 與安全是關鍵

這次 Meta 發布 Llama 2 可說誠意滿滿。比起先前 OpenAI 發表 GPT-4 並沒有真的談技術細節,這次 Llama 2 的發表論文寫好寫滿,從模型細節、訓練細節、硬體選擇都講了。這篇發表談到訓練資料品質與基於人類反饋的強化學習 (RLHF) 是提升回覆質量的關鍵。此外發表很大篇幅著重在安全議題上,感覺這兩點應該會是接下來各家模型商都會著重的面向。大家要做微調,資料品質先顧好呀!

微軟 Azure 或成最大贏家

這次 Meta 發布 Llama 2 的同時,也宣布微軟是優先選擇的合作夥伴。想要微調與部署 Llama 2 的人,可以直接上微軟的 Azure 平台。開源的 Llama 與閉門的 GPT 都收刮在 Azure 上,只能說微軟的 Azure 真的在這一波 AI 浪潮中最大贏家 (應證了我們兩個月前寫的相關分析文,有興趣的人我們會把那篇放在留言處)。

🧵 如果你想收到最即時的內容更新,可以在 FacebookInstagram 上追蹤我們