标签：robots协议

看一场数据战争：百度就“违反Robots协议”向360巨额索赔

搅局者360面临的巨额诉讼官司即将开庭。百度起诉奇虎360违反“Robots协议”（又称机器人协议或爬虫协议）抓取、复制其网站内容的....

站长新闻 · 2013-10-16

360无视robots协议 引发站长群体声讨

看似简单的“Robots协议”(爬虫协议)，却关乎所有网民的隐私乃至整个互联网安危。近日多家媒体曝光：360综合搜索“暴力式”打破行业底线，完全无视这一协议，强行抓取互联网信息及百度搜索结果。许多网站负责人及互联网行业资深人士均感到，行业面临巨大危机，纷纷发表声讨360的相关言论。

站长新闻 · 2012-09-05

评论:Robots协议的争论毫无意义

近期，由于国内互联网上出现了一个新的搜索引擎竞争者，关于搜索引擎是否应当遵守Robots协议的问题成为了业内人士讨论的热点。一些人宣称：Robots协议是搜索领域的行业规范，触犯Robots协议是没有底线的行为，不禁不合法，而且还会泄露用户隐私。

站长新闻 · 2012-09-04

robots协议对网站优化强烈分析

我们知道站长在进行网站优化地时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，来控制搜索引擎蜘蛛对网站内容地抓取，以及网站权重地分配问题，现在写这编文章在补充一点点知识!什么是robots.txt文件。

文章投稿 · 2012-04-09