虽然在robots文件中屏蔽了搜索引擎，但仍被收录。 为什么？
如果网站上的某些页面不想被搜索引擎捕获和收录，请使用设置了搜索引擎捕获规则的robots文件。 当新网站上线并处于测试阶段，或者添加了网页时，经常会出现这种情况。
虽然有些人可能会怀疑，但搜索引擎可能会滚动url页面，并在页面上出现内容，然后反馈给蜘蛛，否则可能不会被收录。 那么，robots屏蔽搜索引擎后，为什么还会被收录呢？

先说一下robots协议是做什么的吧。 既然是协议，那一定是双方同意并批准的规则。 这甲乙双方当然是网站和搜索引擎(或者搜索引擎蜘蛛)之间的协议。 robots文件放在根目录下，蜘蛛进入站点时首先访问该文件，检查是否无法在协议中抓住这些页面。 如果被禁止，就不能再抓了。
个人页面想去搜索引擎索引(收录)，但是收录时需要蜘蛛爬和抓，既然不抓，当然会认为这个页面不会被收录。 这样的思考是错误的，即使不被抓住也会被索引(收录)。 淘宝是典型的例子，网站上添加了禁止协议，最后被收录。 为什么这么说呢，因为百度从其他根平台推荐的外部链接知道这个网站，虽然禁止捕捉，但是可以根据标题和推荐链接的数据判断该页面相应的内容信息。
那么，关于robots的知识共享就到此为止。 有些人可能有疑问。 例如，既然robots无法阻止页面被收录，有什么方法禁止索引(收录)吗？ 确实有。 关于禁止方法，使用操作方法查看百度关于robots文件的讲义方法： https://Ziyuan.Baidu.com/college/course  info？ id=267页=12 # H2 _ article  _ title  28