robots优化

近段时间墨染分享网站优化相关的教程越来越少了，主要还是忙其他项目，导致每天没有过多的时间。今天抽时间给大家聊聊网站优化中关于robots文件的一些常见的疑问。 一、什么是robots，robots有什么用？ 在讲解robots之前先给大家介绍一下什么是robots。借用百度百科的解释robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬…