ASP.Net如何允许Searchbots(google)跳过免责声明页面
||
我正在创建一个ASP.NET网站,它强迫用户接受免责声明。当他们接受免责声明时,将设置cookie和会话。在每个页面请求上都会触发检查以查看会话或cookie是否存在。
我们希望允许Google和其他Searchbot在不接受免责声明的情况下对所有页面进行索引/爬网。
最好的方法是什么?我唯一能想到的就是将ѭ0选中,但是我不确定应该寻找的女巫值吗?
没有找到相关结果
已邀请:
2 个回复
炬卤遁蝎变
当然,任何伪装成Google的人现在也可以跳过免责声明。 我不会称其为伪造-但不能保证Google是否喜欢
倪蕊悲潍
专门为谷歌它是
您也可以尝试网址删除请求服务