为什么Robots被禁止后还可以收录索引？
SEO优化的许多细节像robots文件一样容易被忽略。如果网站的robots协议文件禁止搜索引擎蜘蛛，无论如何优化都不会被收录。
有时，搜索引擎不希望捕获特定内容并将robots.txt文件放入根目录，逻辑上蜘蛛首先读取该文件，然后根据robots协议捕获该内容。
但是搜索引擎是机器人。通常收集TXT无法收集的内容。不是因为机器人不遵守，而是从捕捉到索引需要时间来展示这个过程，当搜索引擎已经被抓住时，你会更新。那么以前抓住的东西不会那么快被清除，删除周期不规则，通常在算法更新后生效。但是很多站长发现蜘蛛不太遵守这个协议。

以下是几个初学者可能需要的信息。
1、机器人。txt怎么写？
各大搜索引擎的站长平台(英语：webmasters)有详细的说明和生成工具。
2、如何确认robots.txt是否有效？
站长平台上有一个用于捕捉robots.txt的工具和一个“捕捉工具”，用于验证页面是否正确捕捉。
3、如何通知搜索引擎robots.txt已更新？
如上所述，通过站长平台的捕捉工具重新捕捉就可以了(部分是“更新”)。
4.让搜索引擎抓住不应该抓住的内容怎么办？
5、禁止全站捕捉，如何更有效地工作？
有些搜索引擎索引不符合robots.txt。只有在展示的时候才会遵守。也就是说，即使robots.txt表示禁止捕捉，也会发现机器人在爬。
因此，如果是大目录或整个工作站禁止捕获，最好从服务器软件(如nginx)的代码片段中直接判断搜索引擎UA，然后返回错误代码。这样可以减少服务器的压力，一方面还可以禁止实际捕捉。