文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

离开OpenAI的大神卡帕西「开课了」:新项目日增千星,还是熟悉的min代码风

2024-11-30 02:04

关注

图片

但转眼,新项目就已上线GitHub,日增上千星的那种。

图片

还是熟悉的卡式配方:

74行Python代码搞定大模型标记化(tokenization)中常用的BPE(Byte Pair Encoding)算法,实现该算法的最小、最干净代码版本。

甚至:

图片

是不是有点快3万标星的nanoGPT内味儿了?

这波啊,还真是让网友们给猜着了:

Time to cook。

毕竟,Karpathy除了前特斯拉AI总监、OpenAI创始成员的title,最为网友所熟悉的,就是“AI领域大善人”、“擅长将复杂问题简单化的卡老师”这样的身份了(手动狗头)。

BPE代码最小化版本

还是具体来看一下,Karpathy老师这次又煮出了一锅什么样的饭。

图片

项目名minbpe已经说明一切:BPE算法的最小、最干净代码版本。

BPE(字节对编码)是随着GPT-2而流行起来的标记化算法。现在,包括GPT系列、Llama系列和Mistral在内,一众大模型都用到了这一算法来训练分词器。

BPE的主要优势在于:

而在minbpe这个项目中,Karpathy提供了两个Tokenizer(分词器),它们都可以执行分词器的3个主要功能:

具体而言,在basic.py中,minbpe用74行Python代码,完成了对直接在文本上运行的BPE算法的最简单实现。

图片

在regex.py中,minbpe实现的是一个正则表达式分词器,该分词器利用正则表达式进一步拆分输入的文本。

另外,在正则表达式分词器的基础之上,minbpe还在gpt4.py中提供了一个GPT4Tokenizer,可以准确在线tiktoken库中的GPT-4标记化。

注:tiktoken是一种快速BPE分词器。

图片

base.py则是一个基类,包含了训练、编码和解码的存根(stubs),提供了保存和加载的功能,并集成了一些常见的辅助工具函数。在实际应用中,开发者应该通过继承这个基类来实现具体的分词器功能。

Karpathy提到,他在霉霉的维基百科文本上尝试训练了两个主要的分词器。train.py在他的M1 MacBook上运行时间大概为25秒。

如果你还有什么不清楚的地方,别担心,卡老师已经计划要出视频了:

图片

Karpathy出走OpenAI,许多猜测指向他的“下一篇章”是大语言模型系统(LLM OS):

图片

如今正式工作还未揭示,但看样子Karpathy已经拾起了“教学育人”的副业,小伙伴们可以蹲起来了。

参考链接:https://github.com/karpathy/minbpe/

来源:量子位内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯