2 月 25 日消息，meta 在当地时间周五宣布，它将推出一种针对研究社区的基于人工智能 (AI) 的新型大型语言模型，与微软、谷歌等一众受到 ChatGPT 刺激的公司一同加入人工智能竞赛。
meta 的 LLaMA 是“大型语言模型 meta AI” (Large Language Model meta AI)的缩写，它可以在非商业许可下提供给政府、社区和学术界的研究人员和实体工作者。
该公司将提供底层代码供用户使用，因此用户可以自行调整模型，并将其用于与研究相关的用例。meta 表示，该模型对算力的要求“低得多”。
据介绍，该公司正在开发多种参数(7B、13B、33B 和 65B)的 LLaMA。其中，LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练，而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。
与其他大型语言模型一样，LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。为了这套模型，meta 从使用人数最多的 20 种语言中选择文本进行训练，重点是拉丁语和西里尔字母。
当然，与其他模型一样，LLaMA 也面临着偏见、有毒评论和幻觉的挑战，meta 还需要做更多的研究来解决这类语言模型中的不足。
meta 表示，LLaMA 作为一个基础模型被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。通过开源 LLaMA 的代码，其他研究人员可以更轻松地找到限制或消除这些问题的新方法。meta 还在本文中提供了一组评估模型偏差和毒性的基准评估标准，以显示模型的局限性并支持研究人员在这一关键领域的进一步研究。
[img]
值得一提的是，meta 在去年 5 月也曾推出过大型语言模型 OPT-175B。该项目同样也是针对研究人员的，这构成了其聊天机器人 blenterbot 新迭代的基础。
后来，该公司还推出了一款名为“卡拉狄加”(Galactica) 的模型，据称它可以撰写科学文章和解决数学问题，但其演示版本后来被下架，因为它反复生成“听起来很权威”的内容。
相关推荐：
realme C55 手机曝光：搭载联发科 Helio G85 芯片，运行安卓 13
Meta 推出 AI 语言模型 LLaMA，一个有着 650 亿参数的大型语言模型
Blackmagic 发布 ATEM Microphone Converter 转换器：支持 Television Studio HD8 切换台
不点拍照按键也能拍照！荣耀Magic 5全新技术曝光：堪比变魔术
奥迪诉蔚来ES6/ES8商标无效在欧洲被驳回 法院称未构成混淆的可能
俄罗斯发射无人驾驶飞船 代替受损的联盟 MS-22 接回国际空间站宇航员
国产架构的龙芯CPU可以跑QQ了！底层重写、与x86/Arm肩并肩
老外首次用上徕卡影像！小米13/Pro国际版发布：999欧元起
声明：《Meta 推出 AI 语言模型 LLaMA，一个有着 650 亿参数的大型语言模型》一文由排行榜大全（佚名 ）网友供稿，版权归原作者本人所有，转载请注明出处。如果您对文章有异议，可在反馈入口提交处理！
