近日,Facebook 母公司Meta 发布了人工智能大型语言模型(Large Language Model Meta AI)简称LLaMA。
扎克伯格在社交媒体上称:”由 FAIR 团队研发的LLaMA模型是目前世界上水平最高的大型语言模型, 目标是帮助研究人员推进他们在人工智能领域的工作!“。
与其他大型模型一样,Meta LLaMA 的工作原理是将一系列单词作为“输入”并预测下一个单词以递归生成文本。
据介绍,Meta 正在开发多种参数(7B、13B、33B 和 65B)的 LLaMA。其中,LLaMA 65B 和 LLaMA 33B 在 1.4 万亿个 tokens 上训练,而最小的模型 LLaMA 7B 也经过了 1 万亿个 tokens 的训练。
另外LLaMA 模型接受了 20 种语言训练,包括拉丁语和西里尔字母语言,所需的计算能力远低于之前推出的大模型。
FAIR团队表示,LLaMA 目前尚未被应用在 Meta 的任何产品之中。
与”DeepMind“ 和 ”OpenAI“ 不同的是,LLaMA将会公开训练代码;
Meta 还计划将这项技术优先开放给 AI 研究人员,如果想使用 LLaMA 可以提交申请,审核通过就可以使用。