当前位置:首页 >> 技术方案 >> 详情

百度对于robots.txt文件存在限制的网站进行提示

发布时间:2013-01-28   浏览次数:76次   作者:未知    标签:郑州seo 郑州seo推广 郑州网站推广

“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”

这是百度最近对robots.txt文件存在限制的网站,进行提示。看来百度也在不断的修改它的算法使之更人性化。以前的这个地方的提示是空的。说到这里可能有朋友会觉得百度怎么这样啊,人家不让他抓取他就应该不显示网址。这种说法是错误的,它的显示是因为其他地方有大量的链接指向这个网站,用的是某个关键词,这样的话,百度并没有去抓取那个网站,只是根据其他网站的描述给的而已。

 

不过这里我要问百度一句,淘宝网的标志为什么会有呢?你不抓取淘宝的网页怎么吧他的标志给找到了。此处省略五万字……