如何让Spider抓取规模从日均30万提升至130万?

耗时:972 字 大约需要3分钟
受众:SEO玩家
你能收获:直观的了解SEO内链模块,在大型网站中的作用

最近操刀了一个项目
(其实是去年,没看错是去年,本文也是去年写好的,一直在草稿箱不敢发出来贻笑大方)
由于赶工期,我们把产品模块按优先级分批次上线,不少SEO模块都是在主流程完成后,单独开发上线。这样也给我们创造了一个机会:观察各个SEO模块或策略对项目的影响。
对于SEOer来说,我们都知道,搜索引擎的工作,需要经历3个步骤:爬行抓取——索引——排序

(图片出处:《这就是搜索引擎》)

所以,只有当网站大规模的网页均被搜索引擎抓取,才有可能获得可观的搜索引擎排名和流量,那么优化提升搜索引擎的抓取就显得尤为重要。

今天就来讲讲大规模提升搜索引擎爬行抓取的方法:内链

首先,什么是内链?通俗的讲,这是一个用于推荐网站内部网页的模块。其目的在于帮助用户发现网站的内容,辅助搜索引擎爬行、抓取网页。

内链模块长什么样?

以58同城为例https://cs.58.com/bomei/,通过列表页面底部内链规则,将网站大量的内容自动化、规则化链接起来

OK,废话不多,现在就直接上数据

一、趋势来看:

10月30日前,日均抓取规模平稳在为30W左右

10月31日上线内链模块,次日抓取规模新增20W

到第4日抓取规模增加到130W,较内链上线前,新增100W抓取

二、从搜索引擎来看:

新增的抓取,主要来自百度,也客观上反映出百度对待SEO策略的快速响应。

三、从抓取的状态码效果来看:

1.新增的抓取99%以上,响应码为200,属于正常抓取。

2.非200的抓取并未因为内链模块上线而增加。、

四、从抓取的耗时和大小分析:

1. 总抓取文件的大小和平均抓取大小快速增长;

2. 单个页面平均抓取耗时,并未因为抓取规模的增加而增加;

总体而言,内链模块很好的提升了spider的抓取效率,自然百度收录规模就获得了大规模的提升。1个月后收录规模从40万提升至120万+

————

文章预告:

1.从业6年,累计花费1.3亿广告费,我总结了这些经验教训

2.使用GTM+GA,0成本、高效打造网站转化漏斗模型

3.着陆页优化10条经验,把转化率从0.5%提升至5%

4.如何搭建效果广告监控体系,精准追踪你花的每一分钱

5.如何打造高效的SEO后台产品—TKD 内链 友链 CMS 聚合页

————————-

意犹未尽?

扫码添加我的个人微信

一起探讨PPC、SEO、新媒体、社群

未经允许不得转载:长沙SEM博客 » 如何让Spider抓取规模从日均30万提升至130万?

赞 (0) 打赏

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

微信扫一扫打赏