- 挂牌上市企业
- 60秒人工响应
- 99.99%连通率
- 7*24h人工
- 故障100倍补偿
根据抓取排行做调整 |
| 发布时间: 2012/9/23 15:27:41 |
|
在很多网站日志中，都能清晰的看到页面的抓取排行，URL的抓取排行，这些排行最能直接的反应网站的那些部分是最受蜘蛛欢迎的。如果出现了很多css或js的文件都被大量的访问，那么页面中这样的链接就大大浪费了权重，所以需要修改robots文件给予禁止。查看有些网站的日志，能明显的看到那些被过渡抓取，那些重点内容抓取的较少，这样观察之后就能做到心中有数，可以有的放矢。比如之前我的网站会莫名奇妙的多出一些抓取文件夹，而这些文件夹在网站中是并不存在的，所以要及时发现，并给予屏蔽。
另外，也偶尔也会出现一些500、206等状态码，这些都是日常的一些小问题引起的，不必过于担心。而如果大量集中的出现就说明服务器本身有问题，另外在根目录中尽量不要放置压缩文件，这样会被一些别有用心的人尝试下载网站的源码或者备份的数据。还有助于304状态码，这个说明也正常，是网站没有更新造成的。 定期查看网站的日志其实并不会占用我们太多的时间，但如果一直不查看，网站就会有很多的小问题我们无从知晓，或许友情连接我们做了，原创内容也更新了，外部链接也不停在发，但是排名却一直非常缓慢，那么这个时候就不妨看看你的日志，说不定问题就出在这里边。 本文出自：亿恩科技【www.enkj.com】 |
0371-60135900
京公网安备41019702002023号
香港服务器租用
美国服务器租用
电信骨干机房
联通骨干机房
