【网站地图】

【RSS订阅】

【热门标签大全】

搜索

避免“蜘蛛陷阱”的方法:避免“蜘蛛陷阱”的方法:内容如下:(1)采用session id的页面 有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户,访问站点的时候每个用户访问都会增加一次session id而加入到

避免“蜘蛛陷阱”的方法有哪些?

发布时间:2016-05-30 03:57   来源:未知  浏览量: 可多次放大或缩小字体:【缩小字体】【放大字体】
(1)采用session id的页面
    有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户,访问站点的时候每个用户访问都会增加一次session id而加入到URL中,同样蜘蛛的每一次访问也会被当做为一个新用户,每次蜘蛛来访问的URL中都会加入一个session id,这样就会产生了同一个页面但URL不同的情况,这种的一来会产生复制内容页面,造成了高度重复的内容页,同时也是最常见的蜘蛛陷阱之一。比如说有的网站的为了提高销售业绩,而进行弹窗会话等,比如说您好来自XXX地的朋友等。

(2)常识性的蜘蛛陷阱
    采用强制注册或登录才能访问的页面,这种的对于蜘蛛来说就相当为难了,因为蜘蛛无法提交注册,更无法输入用户名和密码登录查看内容,对于蜘蛛来说我们直接点击查看到的内容也是蜘蛛所能看到的内容。

(3)喜欢采用flash的站点
    之所以说是喜欢采用flash的站点是因为对于一些中小型企业来说,因为flash本身可以做很多种效果,尤其是放在导航上视觉效果强,所以不少企业站喜欢弄个flash来展示自己公司的实力,文化,产品等,甚至一些企业站点的网站首页就是一个flash,要么是在多长时间后通过flash跳转到另外一个页面,要么就是通过flash上的链接让用户自己点击后进入一个新的页面,但是对于蜘蛛来说一来是很难读取flash中的内容,所以蜘蛛也很难点击flash上的链接。

(4)动态URL
    在url中加入过多的符号或者网址参数等,这种蜘蛛陷阱我在url优化中曾经有提到,虽然说随着搜索引擎的的技术发展,动态url对于蜘蛛的抓取已经越来越不是问题了,但是从搜索引擎友好度上来讲,静态哪怕是伪静态url相对来说都比动态url要好,可以看下很多SEO同行对于url中的处理方式。

(5)框架
    在早期框架到处被泛滥使用,而现在框架网页很多网站已经很少使用了,一是因为现在随着各大CMS系统的开发问世,网站维护相对也越来越简单了,早期网站使用框架是因为对网站页面的维护有一定的便利性了,现在已经大可不必了,而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。

(6)JS
    虽然现在搜索引擎对于javascript里的链接是可以跟踪甚至在尝试拆解分析的,但是我们最好不要寄望于搜索引擎自己克服困难,虽然说通过js可以做一些效果不错的导航,但是css同样可以做到;为了提高网站对搜索引擎的友好度建议使网页能够更好的蜘蛛爬行,就尽量不要采用js,当然在seo中,js有一个好处就是站长不希望被收录的页面或者友情链接可以采用js。还有一种方法可以消除JavaScript 蜘蛛程序陷阱,即使用noscript标签。noscript标签是为不支持JavaScript 的浏览器提供备选的代码。蜘蛛程序不会执行JavaScript, 因此他们通过处理 noscript代码来代替。

(7)深层次的网页
    有的网页没有入口,而且距离网站的首页又很远,这种页面就相对较难被蜘蛛爬行到,当然对于那些权重高的网站可能会另当别论了。网站的页面要被收录,首先要需要基本的权重,首页的权重一般是最高的,然后首页的权重是可以传递到内页的,当内部页面的权重上升到可以被收录的门槛,页面就会被收录,按照这种理论,页面之间的权重传递是会递减的,因此,内页和首页的点击距离越近,越容易得到更多的首页权重传递。良好的网站结构可以让网站更多的页面被收录。

(8)强制使用cookies
    对于搜索引擎来说是相当于直接禁用了cookies的,而有些网站为了实现某些功能会采取强制cookies,比如说跟踪用户访问路径,记住用户信息,甚至是盗取用户隐私等,如果用户在访问这类站点时没有启用cookies,所显示的页面就会不正常,所以对于蜘蛛来讲同样的网页无法正常访问。

(9)各种形式的跳转
    对于301重定向相信很多seo童鞋已经非常熟悉了,但是对于其他302,或者meta refresh,javascript,flash等跳转,蜘蛛是很反感的,而且301也是不到万不得已的时候采用,任何跳转都会在一定程度上给蜘蛛的爬行带来障碍,所以你你懂得。

(10)robots.txt书写错误和各种各样的作弊手法
    比如说隐藏文字,隐藏链接等,采用伪装网页在判断来访者是蜘蛛还是普通浏览器者而显示不同的网页,使用默认错误的404页面等,同样会给蜘蛛带来爬行障碍。

(11)要求登录
    有些网站内容放在需要用户登录之后才能看到的会员区域,这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码,也不会注册。

【本文章标签】:蜘蛛陷阱【点击查看全站标签】
责任编辑:【妙庆SEO】
下一篇:没有了
【友情提示】:如果您觉得本文不错,请点击右边的分享按钮,分享给您的好友!
分享到:

推荐阅读

  • 收录以后要多久才能有排名?

  • 影响关键词排名的因素有100多种,而绝对不是收录后多长时间就可以有排名的问题!网站收录后不一定有排名,但是没有收录就肯定没有排名。...
  • 新网站不收录怎么办?

  • 从2012年以后百度对于新站的收录更加严格了,收录时间从1-3天变成了一周以内,有的甚至半个月才收录。原因主要有以下几点:1、域名原因2、内容原因3、空间原因4、外链原因等等...
  • 避免“蜘蛛陷阱”的方法有哪些?

  • 避免“蜘蛛陷阱”的方法:内容如下:(1)采用session id的页面 有的销售类站点为了分析用户的某些信息会采用会话ID来跟踪用户,访问站点的时候每个用户访问都会增加一次session id而加入到...
  • 影响网站收录的18个因素

  • 网站的收录是由空间、网站、内容、抓取量、页面质量决定的!阅读以下内容便可知道影响网站收录的18个因素!影响网站打开速度的因素有:机房问题、dns问题、cdn加速问题、服务器带宽等...
  • 排名和收录有关系吗?

  • 排名和收录没有直接的关系,但是收录能间接促进关键词排名!1、网站收录越多信用度就会越高2、网站的信用度越高、权重就会慢慢增加3、网站的权重会影响关键词排名...