最近组织安排小编翻山越岭跨省出差,连续断更了2天创作,感觉错过了好多美好的东西。说实话出差长途还是比较累。想友友你们了,第一时间打开头条,发现好多友友私信小编,有的友友问小编还好吗?有的问小编咋不更新内容了?平时看你每日一更,突然没更新好文章内容有点不习惯,有的友友咨询小编私信怎么不回信息了等等,在这里非常感谢友友们对小编的关心和爱戴。
小编今天给大家分享7个登上热榜的 GitHub 开源项目,希望给友友们学习有所帮助。有空还是可以去研究研究,提升自身的技术广度。
全文大纲
- MiniGPT-4 迷你的GPT4
- Twitter 算法开源
- OpenAssistant 全球最大的 ChatGPT 开源替代品
- iPERCore 人体运动模仿算法
- ChatGPT_JCM -OpenAI管理界面
- chatgpt-mirai-qq-bot 基于 ChatGPT 的 QQ 机器人
- AnimatedDrawings 一款非常有趣的 AI 工具
MiniGPT-4 迷你的GPT4
Github:https://github.com/Vision-CAIR/MiniGPT-4
MiniGPT-4是一个具有图像理解能力的开源聊天机器人,基于+Vicuna-13B+LLM+和+BLIP-2视觉语言模型。研究团队首先在四张+Nvidia+A100显卡上用大约500万对图像文本对+MiniGPT-4进行了十个小时的训练。构建聊天生态系统更具挑战性且在经济上不可持续,但会对用户产生强烈的锁定效应。
相比ChatGPT,GPT-4展示出了非凡的多模态能力,它可以利用手写文本生成网站并且还能够识别出图片中的幽默元素。这些优秀的能力在以前的视觉语言模型中很难实现。**对于GPT-4惊人的多模态生成能力,其主要原因是使用了更先进的大型语言模型 (LLM)**。那么能否利用目前比较先进的大型LLM进行微调从而尽可能达到GPT-4的性能呢?那么今天给大家分享的这篇文章就从该角度出发,提出了MiniGPT-4,该模型在文本方面可以达到90% ChatGPT的能力,在视觉感知方面,同样具备与GPT-4的多模态功能。
项目作者认为,GPT-4 所实现的多模态能力,在以前的视觉 - 语言模型中很少见,因此认为,GPT-4 先进的多模态生成能力,主要原因在于利用了更先进的大型语言模型。
为了验证这一想法,团队成员将一个冻结的视觉编码器与一个冻结的 Vicuna 进行对齐,造出了 MiniGPT-4。
在MiniGPT-4训练阶段,作者提出了一种两阶段训练方法。在第一阶段,因为在大量对齐的图像-文本对上对进行模型预训练,以获取视觉语言知识。在第二阶段,使用较小但高质量的图像文本数据集对预训练模型进行微调,以增强模型的生成可靠性和可用性。
实验结果,发现 MiniGPT-4 拥有许多类似于 GPT-4 所展示的功能。 例如,MiniGPT-4 可以生成复杂的图像描述,根据手写文本指令创建网站,以及解释不寻常的视觉现象。
如下图:
Twitter 算法
Github:https://github.com/twitter/the-algorithm
2023年4月1号 埃隆·马斯克在个人Twitter上转发了其在GitHub开源Twitter的推荐算法。马斯克表示通过公开这些算法,来提升平台的透明度、增强用户、客户和媒体的信任。
马斯克履行诺言, Twitter 推荐算法开源了,该开源项目涵盖了推荐算法在内的许多推特源代码,包括用来控制用户在 For You 时间线上看到的推文的机制。
总的来说,Twitter的推荐算法是一个个性化推荐系统,主要运作在Twitter用户的“For You”界面。其每天会将约5亿条推文精简到1500条,再进一步筛选后推荐到不同用户的“For You”信息流上。
这个系统会预测用户最有可能与哪些用户互动,并且判断Twitter上有哪些热门的“社区”和推文。
这个系统如何判断以上的问题?主要通过两部分的数据:
- --用来训练机器学习模型的基础数据:即Twitter的大规模专有数据,包括用户数据、关注数据、推文内容数据以及互动数据等。
- --在为推文相关性打分时使用的排名信息:即用户偏好、历史行为和时间因素等。
要完成从5亿到1500的“精简”过程并不简单,共分为三个阶段:
- 候选源采集:从不同的推荐源获取最好的推文
- 推文排名:使用机器学习模型对每条推文进行排名
- 过滤筛选:应用启发式算法和过滤器,过滤掉用户屏蔽、不适合公开浏览以及已经浏览过的内容
其主要分为三个模块:
- DATA。数据部分主要是三大块:用户、推文、社交网络。
- FEATRUE。特征部分除了计算用户和推文的特征外,社交图中的社区发现特征等十分重要,另外还有一些信用和安全的特征。
- HOME MIXER。执行推荐的整个服务,基于scala,执行推文召回、粗/精排序、重/混排。
最后实现Timeline、Who to follow、Ads的三个任务,即给用户推文、推用户、推广告。
具体如下图:
OpenAssistant 全球最大的 ChatGPT 开源替代品
官网地址:https://open-assistant.io
Github:https://github.com/LAION-AI/Open-Assistant
2023年4月12日,Github上的热门话题是Open Assistant (简称 OA) ,它是由 LAION-AI 开发的基于聊天的开源助手。该项目的愿景是创建一个可以在单个高端消费类 GPU 上运行的大型语言模型。通过些修改,Open Assistant 还应该能够轻松地与其他第=方应用程序交万,以及从数据库和Internet 检索信息
Open Assistant 是一个旨在让每个人都能访问基于聊天的大型语言模型的项目,可以理解任务并与第三方系统交互。它可以动态检索信息来完成这些任务。该助手还被设计为易于扩展和个性化,并作为免费的 开源软件Q开发,支持 35 种语言。
特性
- 简单易用:Open Assistant提供了丰富的功能和工具,并且采用了简单的API接口,使得用户可以轻松地构建和定制自己的助理系统,无需深入了解复杂的技术细节。
- 多功能支持:Open Assistant支持多种功能,包括语音识别、自然语言处理、对话管理、任务执行等,可以用于构建不同领域的语音助手、智能对话系统、自动客服等应用。
- 开放源代码:Open Assistant是一个完全开源的项目,源代码托管在GitHub上,用户可以自由访问、使用、修改和分享,从而促进了项目的持续发展和社区的共享合作。
- 灵活定制:Open Assistant支持用户自定义对话流程、任务执行和响应策略,可以根据用户的需求进行灵活定制,实现个性化的助理系统。
- 大型社区支持:Open Assistant项目由LAION-AI团队维护,并且在GitHub上拥有一个活跃的社区,用户可以通过社区获得支持、参与讨论和分享经验,从而加速项目的发展和改进。
我们相信,通过这样做,我们将在语言创新方面掀起一场革命。就像稳定扩散帮助世界以新方式制作艺术和图像一样,我们希望 Open Assistant 可以通过改进语言本身来帮助改善世界。
Open Assistant 机器学习模型是由一家德国非营利组织 LAION 运营。近日,该组织官宣现在可以使用 OpenAssistant 模型、训练数据和代码,并将该模型称之为-全球最大的 ChatGPT 开源复制品。
OpenAssistant Conversations 数据集是通过 13000 多名志愿者的众包努力综合而来的。
这些数据是通过一个网络应用程序界面收集的,该界面将数据分为五个单独的步骤来收集:
- 提示、标记提示、添加回复消息作为提示或助理、标记回复以及对助理回复进行排序。
- 可以看到,这一数据集中最常用语言的占比,英语和西班牙语占比最多。中文 2.5%。
为了评估 OpenAssistant Conversations 数据集的有效性,研究者基于 Pythia 和 LLaMA 模型微调了一下 OpenAssistant 模型。
其中,包括指令调优的 Pythia-12B、LLaMA-13B 和 LLaMA-30B。在接下来的评估中,研究人员主要评估了 Pythia-12B 模型的性能。
与 ChatGPT 对打
为了评估 Pythia-12B 的性能,研究人员进行了一项用户偏好研究,将其输出与 gpt-3.5-turbo 模型的输出进行比较。
研究显示,OpenAssistant 的回复与 gpt-3.5-turbo(ChatGPT)的相对偏好率分别为 48.3% 和 51.7%。
行与不行,都得拉出来遛遛才知道。
iPERCore 人体运动模仿算法
Github:https://github.com/iPERDance/iPERCore
iPERCore 是人体运动模仿、外观迁移和新视图合成算法。只要输入一张照片、一段视频,就能让特朗普跟着明星偶像“唱、跳、Rap”!
给定一张或者多张人物 A 的图像,和一段人物 B 的视频,就可以通过动作迁移算法自动合成一段人物 A 做任务 B 动作的视频。
看看阿川老师模仿阿坤老师等人的舞姿:
ChatGPT_JCM -OpenAI管理界面
Github:https://github.com/202252197/ChatGPT_JCM
OpenAI管理界面,聚合了OpenAI的所有接口进行界面操作(所有模型、图片、音频、微调、文件)等,支持Markdown格式(公式、图表,表格)等
OpenAI 基于 BSD-3-Clause license 协议,免费且作为开源学习使用。并且不会有任何形式的卖号、付费服务、卖key等行为。谨防受骗。 项目使用Vue2进行开发,给大家提供一个方便使用的OpenAI web 管理界面,有好的建议和bug欢迎大家提出来,项目会一直开源和代码优化,方便对openai进行入门了解使用,后期会接入后端,实现更丰富的功能。
如下图:
chatgpt-mirai-qq-bot
官网:https://chatgpt-qq.lss233.com/
Github:https://github.com/lss233/chatgpt-mirai-qq-bot
一键部署!真正的 AI 聊天机器人!支持ChatGPT、文心一言、Bing、Bard、ChatGLM、POE,多账号,人设调教,虚拟女仆、图片渲染、语音发送 | 支持 QQ、Telegram、Discord 等平台
特性
- 图片发送
- 关键词触发回复
- 多账号支持
- 百度云内容审核
- 额度限制
- 人格设定
- 支持 Mirai、 go-cqhttp、 Telegram、Discord
- 可作为 HTTP 服务端提供 Web API
- 支持 ChatGPT 网页版
- 支持 ChatGPT Plus
- 支持 ChatGPT API
- 支持 Bing 聊天
- 支持 Google bard
- 支持 poe.com 网页版
- 支持 文心一言 网页版
- 支持 ChatGLM-6B 本地版
具体如下图:
AnimatedDrawings
Github:https://github.com/facebookresearch/AnimatedDrawings
2021 年的时候,Meta(前身是 Facebook)团队发布了一款非常有趣的 AI 工具,叫 Animated Drawings,它的牛逼之处,在于能借助人工智能技术,让儿童绘画作品动起来。
Animated Drawings 这款应用是个在线的演示项目,只需要上传孩子的涂鸦人物就可以轻松转变成好玩的动画片。儿童绘画具有奇妙的创造力,活力和多样性。我们专注于他们绘制的人物图中所有多样性的后果,因为我们开发了一种算法,通过自动动画将它们变为现实。它允许父母或监护人将儿童绘画转换为 33 种类型的动画,让卡通人物动起来、跑起来、跳起来,非常有趣。
不久前,Meta 团队正式将论文中的算法实现开源到了 GitHub,短短几天,项目 Star 数便突破 3100+,增长颇为迅猛。
最后
一台电脑,一个键盘,尽情挥洒智慧的人生;几行数字,几个字母,认真编写生活的美好;
一 个灵感,一段程序,推动科技进步,促进社会发展。