文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

一文告诉你爬虫技术到底违不违法,怎么用才合法?

2024-12-03 06:17

关注

2019年,某公司主管人员张某、宋某、侯某和郭某,利用爬虫技术,非法爬取北京字节跳动服务器存储中的视频数据,被告人依法被判处有期徒刑9-10个月,并处罚金。

越来越多的案件,让开发者越发不安,爬虫也违法?公司要让我爬取数据,爬是不爬?爬吧?违法,不爬吧,也不好。

不仅仅是开发者,公司使用爬虫技术,也存在很多风险。

2012年,360搜索爬取百度旗下等多个网站内容,最终被裁定赔偿百度70万元;

2017年,秀淘非法抓取今日头条内容,被告被判九个月至一年不等的有期徒刑,并处罚金。

公司使用爬虫技术,怎么规避风险?也成了一个大难题。

[[395687]]

仔细研究爬虫相关案例,我们不难总结出,如何合法的使用爬虫技术,规避风险。

遵守Robots协议

Robots是网站和爬虫之间的君子协议,当网站拒绝爬虫访问,爬取数据时,可以在根目录下存放robots.txt文件,告诉爬虫不能爬取网站全部或部分指定内容。

[[395688]]

只要Robots中的内容,爬虫都不允许访问。360搜索爬取百度内容一案中,就是因为360违反Robots协议,最终才判赔70万元。

但是,网站没有该协议,不意味着能随意爬取数据,也有可能违法。

爬虫行为

开发者使用爬虫技术,如果请求频率过高,接近DDoS攻击的频率,一旦造成目标服务器瘫痪,这个就不是爬虫行为,而是黑客行为,必定要承担相应的责任。

反爬措施

如果目标网站已使用BotGuard爬虫管理等云产品,来控制和管理爬虫,或者使用了一些措施反爬,或者正常用户不能到达的页面。如果开发者强行突破以上这些措施,同样会被界定为黑客行为。

爬取内容

爬取的内容是一条高压线,绝对不能触碰。包括但不限于:

1.爬取用户信息谋利

2018年,新三板挂牌公司北京瑞智华胜科技股份有限公司,使用爬虫非法窃取用户个人信息30亿条,该公司及其关联公司6名犯罪嫌疑人被控制。

用户个人信息属于敏感信息,近几年打击力度越来越大,严禁使用爬虫爬取这些信息。

2.爬取商业数据

2018年,武汉元光科技有限公司法定代表人授意四名员工,非法爬取竞争对手数据,被判赔50万元。

很多公司为了获得竞争优势,会使用爬虫技术,爬取竞争对手的内容,但这一手段会构成不正当竞争。

3.爬取知识产权数据

爬取大量带有知识产权的数据,并且用于商业目的,属于违法行为。

不难看出,爬虫技术本身并不违法,关键在于使用的方式和目的。最后总结一下,爬虫爬数据有几个雷区,一是只能爬取公开数据,二是不能对目标业务和网站造成影响,三是目标网站的全部或部分内容没有使用反爬措施。



来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯