robots.txt带来了google收录奇怪现象

黄金广告位 on sale...

在帮朋友制作的一个商城系统中，因为通过GG搜索引擎site:www.amwaycity.cn时发现，搜索引擎的结果，只收录了如下图类型的网址。

用了好几天的时间来制作完成了商城和新闻资讯发布系统的设计工作，却出现了搜索引擎上的困惑，为何只收录了标题，而对标题和描述未做收录呢，开始的时候，怀疑是自己对meta的描写写法有错，或是标签使用错误，经过查看各大主要门户站的写法，对于mate部分站点最好未加"/",部分网站的写法各有不同，有以下两种情况。

<meta name ="keywords" content="安利,苏州安利,安利产品,安利雅姿化妆品,安利纽崔莱,安利资讯，安利中国，纽崔莱">

<meta name ="keywords" content="安利,苏州安利,安利产品,安利雅姿化妆品,安利纽崔莱,安利资讯，安利中国，纽崔莱" />

标准的写法是加"/"但是为何搜索引擎未标准化的收录呢。经过查看，也未发现最基本的描述与关键字的html代码有问题。

然后怀疑是这个商城系统有问题，伪静态生成的shopex系统，因为是免费程序，自感可能会存在一些问题，但查看同样使用此程序的网站，未发现收录问题，然后对自己制作的dedecms系统做了一些动作，但是收录的时候却也同样的只收录了网址，不解，想来不是程序问题，于是程序问题怀疑排除。

在查看了更多站点的时候发现有， <meta name="Robots" content="index,follow" />的代码，但知道有与没有，并不影响收录的，这时候自己想起来，前段时间自己调整过自己的robots文件，查看了自己的http://www.amwaycity.cn/robots.txt文件后发现。

后面多了两条"Disallow: /"这是当时的失误，是准备增加一些不希望收录的文件夹，复制的两个"Disallow: /"，后来就忘记添上文件夹了，于是，应该就是GG收录奇怪现象的原因了。

但是这与之前GG公布的规则有些出入，公司的"Disallow: /"，解析应该是说整个站点的文件都禁止收录，但为何，还是收录，而有所不同的是，收录了网址，而未有标题与描述。

是否是GG对robots文件的处理的新形式呢？

经过调整，等等明天再看是否问题所在。

 百度，雅虎分别存在同样的现象：

另外在经过几天之后，在ＧＧ搜索：安利之城结果如下：

搜索：amwaycity的结果

如此的标题不同步，奇怪！！！

原创文章如转载，请注明：转载自海洋风@苏州SEO [ http://www.demoseo.cn/ ]
本文链接地址：http://www.demoseo.cn/Google-Panming/robots-txtdailailiaogoogleshouluqiguaixianxiang_152.html