我可以阻止蜘蛛通过某些GET参数访问页面吗？
|
我们有一个页面，可以选择将ID作为GET参数。如果提供了无效的ID，则该页面将引发错误并发出通知，提示某人正在错误地访问该页面。让ID生效的是，ID可以有效一段时间，然后失效。
我们遇到了一个问题，即搜索引擎机器人正在使用过期的过期ID来访问该页面。这意味着，每当我们抓到蜘蛛时，就会收到一堆“误报”警报。我很想有办法告诉机器人继续抓取页面，但不要使用GET参数-只需索引无参数页面即可。使用robots.txt文件或类似文件甚至可以远程实现吗？
注意：我知道解决此问题的最佳方法是更改页面的行为，并且实际上是在几周内发生。在此期间，我只是在寻找解决方案。
没有找到相关结果
已邀请:
2 个回复
铰齐插
镀建啼
编辑以澄清这一点：这将导致蜘蛛忽略GET字符串中id = blah的所有URL，这不会神奇地“剥离” id =部分。但是，这实际上是您想要的，因为没有\“？id = \”参数的普通URL返回要索引的数据。