robots 和谈（也称为爬虫和谈 、和谈爬虫轨则 、若何机械人和谈等）也就是钞缮 robots.txt ，网站经由过程robots和谈陈述搜刮引擎哪些页面可以抓取 ，和谈哪些页面不盼看被抓取 。若何
搜刮引擎蜘蛛主动访谒互联网上的钞缮网页井掉落踪掉落踪网页信息 ，它在访谒一个网站时 ，和谈起首会搜检该网站的若何根目次下可否含有robots.txt的文本文件，该文件次要用来限制搜刮引擎蜘蛛在网站上的钞缮抓取局限 。这时辰可以在网站中成立一个robots.txt ，和谈在文件中声明该网站中不盼看被搜刮引擎收录的若何网页或指定搜刮引擎收录的网页 。比如，钞缮在百度中搜刮“淘宝”，和谈会看到图4-7所示的若何信息 ，也就是钞缮说淘宝樊篱了百度的抓取 。
但凡来讲 ，robots.txt文件存放在网站的根目次下 。举例来讲 ，当搜刮引擎蜘蛛访谒一个网站（如 http://www.abc.com） ，起首会搜检该网站中可否存在http://www.abc.com/robots.txt这个文件，假定蜘蛛找到这个文件，它就会屈就这个文件的内容 ，来断定它访谒权限的局限 。
寄看 ：
当网站包含不盼看被搜刮引擎收录的内容时 ，才需求在网站根目次设置robots.txt文件 。相反 ，网站假定没有阻拦搜刮引擎收录的内容 ，请勿创建robots.txt文件 。
2. robots.txt文件的写法
robots.txt文件的写法多种多样 ，不合的写法所起到的感染也各不不异 ，上面具体引见几种robots.txt文件的经常独霸写法 。
（1）准予全数搜刮引擎访谒
准予全数搜刮引擎访谒的robots.txt文件写法为 ：
User-agent: *Disallow:
User-agent: *Allow: /
User-agent: *”中“*”是一个通配符 ，它代表全数搜刮引擎品种 。
（2）阻拦全数搜刮引擎访谒
阻拦全数搜刮引擎访谒的robots.txt文件的写法为 ：
User-agent: *Disallow: /
User-agent: *Allow:
（3）阻拦全数搜刮引擎访谒网站中的部分网页
阻拦全数搜刮引擎访谒网站中的部分网页 ，这里用 a 、b 、c 目次来庖代阻拦搜刮引擎访谒的网页部分，其robots.txt文件写法为：
User-agent: *Disallow: /a/Disallow: /b/Disallow: /c/
假定是准予搜刮引擎访谒网站中a 、b 、c目次的网页内容 ，其robots.txt文件写法为 ：
Allow: /a/Allow: /b/Allow: /c/
（4）阻拦某个搜刮引擎的访谒
阻拦某个搜刮引擎的访谒时 ，这里用 w 来庖代被阻拦访谒的搜刮引擎 ，其robots.txt文件写法为 ：
User-agent: wDisallow: /
或是 ：
User-agent: wDisallow: /d/*.htm
在 Disallow ：后背加 /d/*.htm 的意思是阻拦访谒/d/目次下的全数以”.htm”为后缀的URL ，包含子目次。
（5）只准予某个搜刮引擎的访谒
只准予某个搜刮引擎的访谒 ，这里用e来庖代这个搜刮引擎 ，其robots.txt文件写法为 ：
User-agent: eDisallow:
在Disallow ：后背不必加任何内容 ，意思是仅准予e访谒该网站 。
（6）独霸”＄”限制访谒URL
独霸”＄”限制访谒URL时 ，其robots.txt文件写法为 ：
User-agent: *Allow: .htm＄Disallow: /
意思是仅准予访谒以”.htm”为后缀的URL 。
（7）阻拦访谒网站中全数的静态页面
阻拦访谒网站中全数的静态页面时的robots.txt文件写法为 ：
User-agent: *Disallow: /*?*
（8）阻拦搜刮引擎抓取网站上全数图片
阻拦搜刮引擎抓取网站上全数图片 ，这里以F庖代某搜刮引擎 ，其robots.txt写法为 ：
User-agent: FDisallow: .jpg＄Disallow: .jpeg＄Disallow: .gif＄Disallow: .png＄Disallow: .bmp＄
意思是只准予引擎抓取网页 ，阻拦抓取任何图片（严格来讲 ，是阻拦抓取jpg 、jpeg 、gif 、png 、bmp格式标图片） 。
（9）只准予搜刮引擎抓取网页和．gif格式图片
只准予搜刮引擎抓取网页和．gif格式图片 ，这里以E来庖代某搜刮引擎，其写法为：
User-agent: EAllow: .gif＄Disallow: .jpg＄Disallow: .jpeg＄Disallow: .png＄Disallow: .bmp＄
意思是只准予抓取网页和gif格式图片，禁尽予抓取其他格式图片。
关注微信
