php脚本超时
|
我已经修改了一个基本的网络爬虫，以收集指向站点的链接列表，该列表可能会成千上万个。我遇到的问题是，一旦尝试运行该脚本，该脚本就会超时通过一个基于浏览器的浏览器，我在上一个问题中提到了该问题，我问脚本在同时运行到许多进程时也可能会导致我杀死运行它的服务器时出现问题。
我该如何解决这些问题，还是应该使用开源搜寻器，如果可以，我应该使用哪个搜寻器，因为我找不到足够具体的东西，因为phpDig站点关闭了：/
上一个问题
没有找到相关结果
已邀请:
1 个回复
倪蕊悲潍
命令将其添加到队列中以在后台运行。 碰巧的是，我为linux作业队列编写了一个PHP包装类，如果您选择沿该路线运行，可从我的github帐户获取该包装类。