文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

值得推荐的8个Git/Github项目数据分析工具

2024-12-24 21:12

关注

GitHub API

首先要说的是Github的官方API,这是获取GitHub仓库详细的优秀方式。API非常好用,你可以使用curl或者其他任何语言打包库,获取仓库的所有信息(其他公共在线Git托管平台或者自建的Gitlab都有类似的API)。然而,讨厌的是Github对API的调用做了限制,每小时的请求数量是有限制的(匿名用户60次,授权用户5000次),如果你要分析大型项目(或对其中一些进行全局分析),则使用API​​并不是一个好的解决方案。但是,一般用来对个别构建专注于单个项目或贡献者的某种仪表板是不会受到影响的。

通过Github API,你基本上获得访问浏览项目Github仓库时看到的所有信息,但是对仓库的Git信息内部信息有限(例如,想知道在最近的一天修改了哪些代码行)。你需要clone 仓库后通过git命令才能获得完全信息。

GHCrawler

GHCrawler是由微软开发的一个健壮的GitHub API 爬虫,可遍历GitHub实体和消息,对其进行搜索和跟踪。如果要对某一组织或者项目的活动进行分析,则GHCrawler特别有用。GHCrawler也受Github API请求次数的限制,但是GHCrawler通过使用令牌池和轮换来优化API令牌的使用。GHCrawler支持命令行式调用,同时也支持一个Web端界面操作(ghcrawler-dashboard)

项目官方仓库:https://github.com/Microsoft/ghcrawler

GH Archive

GH Archive是一个开源的一个项目,用于记录公共GitHub时间轴,对其进行存档,并使其易于访问以进行进一步分析。GitHub Archive获取所有的GitHub events信息存储在一组JSON文件中,以便根据需要下载并脱机处理。

另外,GitHub Archive也可以作为公共数据集在Google BigQuery上使用。该数据集每小时自动更新一次,可以在几秒钟内对整个数据集运行任意类似SQL的查询。

项目官方网站:https://www.gharchive.org

GHTorren

和GH Archive类似,GHTorrent项目也用来监视Github公共事件时间表信息。对于每个事件,它都详尽地检索其内容和相互依赖性。然后将结果JSON的信息存储到MongoDB数据库,同时还将其结构提取到MySQL数据库中。

GHTorrent和GH Archive有点类似,两者区别是GH Archive旨在提供更详尽的事件集合,按小时频率获取信息。而GH Torrent则以更结构化的方式提供事件数据,以使更轻松地获取所有事件有关事件的信息,数据获取频率为月。

项目官方仓库:https://github.com/ghtorrent

Kibble

Apache Kibble是一套用于收集,汇总和可视化软件项目中活动的工具。Kibble架构由一个中央Kibble服务器和一组专门用于处理特定类型资源的扫描应用程序(一个git repo,一个邮件列表,一个JIRA实例等)并将已编译的数据对象推送到Kibble服务器。

[[286059]]

根据这些数据,可以自定义一个仪表板,其中包含许多显示项目数据的小部件(语言分类,主要贡献者,代码演变等)。从这个意义上讲,Kibble更像是一种工具,可以帮助创建项目数据信息展示Web端。

项目官方网站:https://kibble.apache.org/

CHAOSS

CHAOSS是Linux 基金会下项目,致力于创建数据析和指标定义以帮助一个健康的开源社区。CHAOSS计划项目有很多工具可以挖掘和计算项目所需的指标数据:

Augur是一个Python库、Flask Web应用程序和REST服务器,用于提供有关开源软件开发项目运行状况和可持续性的指标。目标是作为CHAOSS社区感兴趣的新指标的快速原型制作。

Cregit则专注于生成视图以可视化代码更改的出处

GrimoireLab Bitergia旗下迄今为止最成熟和雄心勃勃的工具。GrimoireLab的目的是提供一个开源平台实现:

几乎可以从任何与开源开发相关的工具(数据源)中收集自动和增量数据(源代码管理,问题跟踪系统,论坛等)

自动丰富数据以清理和扩展上面收集的数据(合并重复的身份,添加有关贡献者隶属关系,计算延迟,地理数据等的其他信息)

数据可视化,按时间范围,项目,存储库,贡献者等进行过滤搜索。

GrimoireLab使用Kibana在收集的数据之上提供所有这些出色的可视化效果。

CHAOSS项目官方网站:https://chaoss.community/

Sourced

Sourced自称为开发生命周期的数据平台。与以前的工具相比,它更多地关注项目的代码,而不是社区的协作。Sourced项目使用通用AST,可以实现与语言无关的方式对代码库细节查询。

在Sourced项目组织中,可以找到几个有趣的数据分析工具。包括:

go-git:用纯Golang语言编写的高度可扩展的git实现库。

[[286061]]

Hercule:Golang实现的对存储库的整个提交历史记录分析工具。

gitbase:Golang 实现的Git存储库SQL数据库接口。比如按年月和提交者的提交信息,可以使用如下Sql语句:

SELECT YEAR,

MONTH,

repo_id,

committer_email,

COUNT(*) AS num_commits

FROM

(SELECT YEAR(committer_when) AS YEAR,

MONTH(committer_when) AS MONTH,

repository_id AS repo_id,

committer_email

FROM ref_commits

NATURAL JOIN commits

WHERE ref_name = 'HEAD') AS t

GROUP BY committer_email,

YEAR,

MONTH,

repo_id;

项目官方网站:https://sourced.tech/

Github项目组织:https://github.com/src-d

Hubble

Hubble用于可视化GitHub Enterprise的协作、使用情况和运行状况数据。它致力于帮助大公司了解其内部组织,项目和贡献者如何一起分配和协作。

Hubble Enterprise由两个组件组成。更新器组件是一个Python脚本,它每天从GitHub Enterprise设备查询相关数据,并将结果存储在Git存储库中。docs组件是一个Web应用程序,用于可视化收集的数据,并由GitHub Pages托管。

官方项目托管地址:https://github.com/Autodesk/hubble

onefetch

最后提一个非常漂亮的命令行下的git项目信息可视化的工具,支持对50多种语言,提及它是因为它是用新兴的Rust语言编写的。

总结

本文我们列举一些对github/git进行数据挖掘的工具和项目。除了上面提及以下开源软件外,有一些商业化的工具也非常不错,比如Snoot和Waydev。

 

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯