robots非标准扩展协议
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:
User-agent:
*Crawl-delay:10
来源：360站长平台
本文由网络搜索发布，不代表本站立场，如有侵权请联系站长删除。
投稿信箱
956558536@qq.com
文档附件24小时内上线
内容不反对人民不反对党
Crawl-delay 指令:几大抓取工具支持Crawl-delay参数，设置为多少秒，以等待同服务器之间连续请求，如:
User-agent:
*Crawl-delay:10
来源：360站长平台
本文由网络搜索发布，不代表本站立场，如有侵权请联系站长删除。
956558536@qq.com
文档附件24小时内上线
内容不反对人民不反对党