1、什么是robots协议？robots协议全称“网络爬虫扫除规范”，又称爬虫协议、机器人协议等，它规则着搜索引擎抓取网站时所能抓取的内容，是网络爬虫匍匐网站时第一个要拜访的文件；坐落网站的根目录下，文件名是robots.txt 。2、robots协议的效果是什么？①robots协议用于维护网站的隐私，能够避免自己网站重要信息的走漏；②一起，robots协议也......
