文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Google优化蜘蛛爬取和索引的技巧有哪些

2023-06-12 23:04

关注

今天就跟大家聊聊有关Google优化蜘蛛爬取和索引的技巧有哪些,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

由于google掌控者搜索市场的大部分的份额,所以应时时关注和听取它的一些动态。“Google发表了一篇叫做优化蜘蛛爬取和索引的技巧”,是不是该引起我们的注意呢?

文中内容高度强调可以提高你站点爬取的能力的一些技巧,下面是陈列的关于URL的具体的例子。
 
     “互联网是个大世界,时时刻刻都有新的内容被发表,创造,”Google 分析师Susan Moskwa说到。“Google 拥有无限的资源,所以当它面临几乎无限的在线的可利用的资源时,google的蜘蛛只有能力去找寻和爬取一部分的内容,而面对已经爬取了的内容,我们又只能索引一部分。”

 Moskwa说:“URL就像一座连接你站点和搜索引擎蜘蛛之间的桥梁,蜘蛛需要能够找到并通过这座桥梁(IE,找到并爬取你的URL)到达你的网站内容页,如果你的URL地址过于复杂或是太冗余,蜘蛛就要花费很多时间去跟踪并反跟踪自己爬取的脚印,如果URL地址被很好的组织着,并直接指向相关区域的内容,这样就不会爬取到空白或是重复的内容页了。”

 如果你想被Google更好的索引,你必须删除URL地址中用户具体信息。具体情况可浏览幻灯片。基本上URL的参数时不会改变网页的内容,所以这些参数应该要删除或是放入cookie中。这样就会减少很多URL指向同一个内容的数量,加快检索。(这里应该指的就是尽量使用静态地址,少产生一些用户自带的参数的重复URL)

Google说漫无目的的无限的空间和广度其实很浪费时间,所以对于那些是唯一地址的不管是过去的还是将来的url地址,最好有一个时间标志。例如example/2009/08//11/title

告诉Google那些网页可以忽略它不需要爬取。包括一些登陆的页面,联系方式,购物车和其他的页面,类似于要求用户去执行的行为,蜘蛛是无法识别操作的。可以通过使用robots.txt文件来实现。

最后,尽可能避免重复的内容。Google希望每一个内容页面都对应一个唯一的地址。当然他们不可能全部的识别出来,因此会有一些典型链接因素存在让你去鉴别哪些特定内容网页的URL更被人们喜爱。

看完上述内容,你们对Google优化蜘蛛爬取和索引的技巧有哪些有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注编程网行业资讯频道,感谢大家的支持。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯