robots.txt文件的作用和写法(抓取文件网站蜘蛛文件夹)

作为网站优化人员，一定要会看robots文件，也要会写robots文件，那么，robots.txt文件有什么作用？robots.t...