关闭广告

小扎官宣Code Llama重量级更新,新增70B版本,但还有能力限制

机器之心Pro8751人阅读



机器之心报道

编辑:蛋酱、陈萍

功能更强大的 Code Llama 70B 模型来了。

今天,Meta 正式发布 Code Llama 70B,这是 Code Llama 系列有史以来最大、性能最好的型号。



我们正在开源一个全新的改进版 Code Llama,包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明,编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪,并期待着将这些进展纳入 Llama 3 和未来的模型中。

Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本:

  • CodeLlama - 70B,基础代码模型;
  • CodeLlama - 70B - Python,专门面向 Python 的 70B;
  • Code Llama - 70B - Instruct 70B,它针对理解自然语言指令进行了微调。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具,免费用于研究和商业用途。

据 Meta AI 博客文章的介绍,Code Llama 70B 可比其他版本处理更多查询,这意味着开发人员可以在编程时向其提供更多提示,并且可以更加准确。

在 HumanEval 基准测试中,Code Llama 70B 的准确率达到了 53%,优于 GPT-3.5 的 48.1%,进一步接近 OpenAI 论文报告中 GPT-4 的 67%。



Code Llama 基于 Llama 2 构建,可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初,Meta 表示,Code Llama 的开源协议与 Llama 2 一样,免费用于研究以及商用目的,Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本,参数量分别为 7B、13B 和 34B。并且支持多种编程语言,包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括:

  • Code Llama,基础代码模型;
  • Code Llama-Python,Python 微调版;
  • Code Llama-Instruct,自然语言指令微调版。

其中,后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B,在代码任务上又提升了一个台阶。



Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成,托管在代码存储库 Hugging Face 上。

Meta 表示,其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中,Code Llama 70B 仍然存在明显不足。

比如有人发现,对于生成质数的请求,Code Llama 70B 无法完成:







也有人说,这一限制是为了避免某些不好的用途,比如生成非法质数。非法质数可以被用来表示一些禁止拥有或散布的资料,而依照美国的数位千禧年著作权法,散布这类程式是非法的。



参考链接:https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

拜登将在波兰发表俄乌冲突一周年讲话 为乌打气

澎湃新闻 浏览 31948

好家伙!鞠婧祎新剧开播,满屏一星差评,观众的理由出奇一致

不八卦会死星人 浏览 8722

金扫帚奖提名惹争议,被质疑全看人情公关,杨幂入围被撤就是先例

萌神木木 浏览 8848

瓦格纳高层疑遭"团灭" 俄撤回在白俄的瓦格纳士兵

红星新闻 浏览 10943

贪官连几十块钱都要 还向老板和公务员卖鸡蛋

上观新闻 浏览 63893

直击“长空之王”实弹射击现场

环球网资讯 浏览 12452

公司创始人被指打断妻子七根肋骨 被刑事立案后取保

上游新闻 浏览 71945

美媒称布林肯将在几周内访华?外交部回应

环球网资讯 浏览 12582

马斯克的X(推特)解雇了八成从事信任与安全工作的工程师

IT之家 浏览 8678

21岁女子被父亲安排嫁给姐夫 丈夫指责其不如姐姐贤惠

花点时间 浏览 72241

春夏就得穿裙子 这22条太美了!

春菇凉时尚穿搭记 浏览 15913

中国海警驱离侵闯黄岩岛近海菲海警船

界面新闻 浏览 8584

黄晓明自爆身体出问题,呼吁大家节食减肥一定要适度

趣看热点 浏览 22219

针对伊朗有关目标?以色列再对叙利亚发动导弹袭击

环球军事时报 浏览 22611

郑爽及其两工作室被限制消费 此前已被执行1.28亿

网易娱乐 浏览 12200

上海一女子5万元买劣质茶叶 被"踢"出厂家"高端"群聊

上游新闻 浏览 47193

每个普通打工人,都能在这件「劳保用品」上找到安全感!

YOKA网 浏览 7090

米体:尤文有意桑乔但球员需降薪,曼联要价4-5000万欧&可能打折

直播吧 浏览 6671

20万请曹姓明星带货3个月成交278元 公司起诉法院判了

都市快报橙柿互动 浏览 93316

苏罗维金去向成谜 俄官方刻意回避给事件"火上浇油"

直新闻 浏览 69379

70后女性最有效的减龄打扮,不显老不花哨,老了也是一枝花

静儿时尚达人 浏览 7050
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1