如何配置robots.txt文件以阻止除2个目录之外的所有目录
||
我不希望任何搜索引擎将我的大部分网站编入索引。
但是，我确实希望搜索引擎索引2个文件夹（及其子目录）。这是我设置的，但我认为它不起作用，我在Google中看到了要隐藏的页面：
这是我的robots.txt
User-agent: *
Allow: /archive/
Allow: /lsic/
User-agent: *
Disallow: /
没有找到相关结果
已邀请:
1 个回复
戒黑恳农
但是我怀疑可能为时已晚。页面被索引后，很难将其删除。唯一的方法是将其转移到另一个文件夹，或者仅通过密码保护该文件夹。您应该能够在主机CPanel中执行此操作。