您可独霸 robots.txt 文件独霸抓取对象可以访谒您网站上的谷歌哪些文件 。robots.txt 文件应位于网站的搜刮根目次下。是引擎优化以，对网站 www.example.com ，立并robots.txt 文件的提交路途应为 www.example.com/robots.txt
。robots.txt 是谷歌一种屈就遨游器消弭标准的纯文本文件，由一条或多条轨则构成。搜刮每条轨则可阻拦或准予特定抓取对象抓取照顾网站的引擎优化指定文件路途下的文件。除非您在 robots.txt 文件中另行指定，立并不然全数文件均隐式准予抓取 。提交

上面是谷歌一个包含两条轨则的复杂 robots.txt 文件 ：

User-agent: Googlebot

Disallow: /no谷歌bot/

User-agent:

*

Allow: /

Sitemap: http://www.example.com/sitemap.xml

以下是该 robots.txt 文件的含义 ：

1 、名为 Googlebot 的搜刮用户代办代办代办代理不克不及抓取任何故 http://example.com/no谷歌bot/ 开首的网址。

2、引擎优化其他全数用户代办代办代办代理都可抓取全数网站。立并不指定这条轨则也不妨 ，提交下场是一样的；默许行动是用户代办代办代办代理可以抓取全数网站。

3
、该网站的站点地图文件路途为 http://www.example.com/sitemap.xml 。

如需搜检更多示例
，请参阅语法部分。

成立 robots.txt 文件的根本绳尺

要成立 robots.txt 文件并使其在一样往常气候下具有可访谒性和合用性，需求完成 4 个法度圭表类型：

1、成立一个名为 robots.txt 的文件 。

2、向 robots.txt 文件添加轨则。

3、将 robots.txt 文件上传到您的网站。

4
、测试 robots.txt 文件 。

成立 robots.txt 文件

您几近可独霸肆意文本编辑器成立 robots.txt 文件。比如，Notepad 、TextEdit 、vi 和 emacs 可用来成立有效的 robots.txt 文件
。请勿独霸文字措置软件，因为此类软件但凡会将文件保管为专驰名目，且大年夜大年夜约会向文件中添加非预期的字符（如弯引号），多么大年夜大年夜约会给抓取对象带来问题。假定保管文件时展示照顾琐细提示，请务必独霸 UTF-8 编码保管文件。

格式和职位轨则 ：

● 文件必须定名为 robots.txt。

● 网站只能有 1 个 robots.txt 文件
。

● robots.txt 文件必须位于其要独霸到的网站主机的根目次下。比如 ，若要独霸对 https://www.example.com/ 下全数网址的抓取 ，就必须将 robots.txt 文件放在 https://www.example.com/robots.txt 下，必定不克不及将其放在子目次中（比如 https://example.com/pages/robots.txt 下）。假定您不竭定若何访谒本身的网站根目次，或需求照顾权限才调访谒，请与网站托管处事供给商联络
。假定您没法访谒网站根目次 ，请改用其他樊篱编制（比如元标识表记标帜）。

● robots.txt 文件可独霸到子网域（比如 https://website.example.com/robots.txt）或非标准端口（比如 http://example.com:8181/robots.txt）。

● robots.txt 文件必须是采取 UTF-8 编码（包含 ASCII）的文本文件。Google 大年夜大年夜约会忽视不属于 UTF-8 局限的字符，从而大年夜大年夜约会招致 robots.txt 轨则有效。

向 robots.txt 文件添加轨则

轨则是关于抓取对象可以抓取网站哪些部分的声明。向 robots.txt 文件中添加轨则时
 ，请屈就以下绳尺：

● robots.txt 文件包含一个或多个组 。

● 每个组由多条轨则或指令（呼唤）构成，每条指令各占一行 。每个组都以 User-agent 行开首，该行指定了组合用的方针
。

● 每个组包含以下信息 ：

* 组的合用对象（用户代办代办代办代理）

* 代办代办代办代理可以访谒的目次或文件。

* 代办代办代办代理没法访谒的目次或文件 。

● 抓取对象会按从上到下的按序措置组 
。一个用户代办代办代办代理只能婚配 1 个轨则集（即与响独霸户代办代办代办代理婚配的首个最具体组） 。

● 琐细的默许假定是：用户代办代办代办代理可以抓取全数未被 disallow 轨则樊篱的网页或目次。

● 轨则分辨大年夜小写。比如 ，disallow: /file.asp 合用于 https://www.example.com/file.asp，但不合用于 https://www.example.com/FILE.asp。

● # 字符展示诠释的最早处 。

Google 的抓取对象支撑 robots.txt 文件中的以下指令：

● user-agent: [必须，每个组需含一个或多个 User-agent 条目] 该指令指定了轨则合用的主动客户端（即搜刮引擎抓取对象）的称号。这是每个轨则组的首行内容
。Google 用户代办代办代办代理列表中列出了 Google 用户代办代办代办代理称号。 独霸星号 (*) 会婚配除各类 AdsBot 抓取对象以外的全数抓取对象 ，AdsBot 抓取对象必须了了指定 。比如：

# Example 1: Block only Googlebot

User-agent: Googlebot

Disallow: /

# Example 2: Block Googlebot and Adsbot

User-agent: Googlebot

User-agent: AdsBot-Google

Disallow: /

# Example 3: Block all but AdsBot crawlers

User-agent:

*

Disallow: /

● disallow: [每条轨则需含起码一个或多个 disallow 或 allow 条目] 您不盼看用户代办代办代办代理抓取的目次或网页（绝对根网域而言） 。假定轨则援引了某个网页
，则必须供给不雅不雅不雅不雅鉴赏器中展示的无缺网页称号 。它必须以 / 字符开首；假定它援引了某个目次 ，则必须以 / 标识表记标帜末尾
。

● allow: [每条轨则需含起码一个或多个 disallow 或 allow 条目] 上文中提到的用户代办代办代办代理可以抓取的目次或网页（绝对根网域而言） 。此指令用于更调 disallow 指令 ，从而准予抓取已阻拦访谒的目次中的子目次或网页
。对单个网页，请指定不雅不雅不雅不雅鉴赏器中展示的无缺网页称号
 。对目次，请用 / 标识表记标帜停止轨则。

● sitemap: [可选，每个文件可含零个或多个 sitemap 条目] 照顾网站的站点地图的职位
。站点地图网址必须是无缺限制的网址；Google 不会假定存在或搜检可否存在 http、https、www、非 www 网址变体
。站点地图是一种用于指使 Google 应抓取哪些内容的志向编制，但真实不必于指使 Google 可以抓取或不克不及抓取哪些内容 。具体体味站点地图。 示例：

Sitemap: https://example.com/sitemap.xml

Sitemap: http://www.example.com/sitemap.xml

除 sitemap 以外的全数指令都支撑独霸通配符 * 展示路途前缀
、后缀或全数字符串。

与这些指令均不婚配的即将被忽视。

如需有关每个指令的无缺声明 ，请参阅 Google 对 robots.txt 圭表类型的诠释页面 。

上传 robots.txt 文件

将 robots.txt 文件保管到筹算机后，您便可以将其供给给搜刮引擎抓取对象。没有一个不合对象可以辅佐您完成这项工作，因为若何将 robots.txt 文件上传到网站取决于您的网站和处事器架构。请与您的托管公司联络，或在托管公司的文档中举办搜刮；比如，搜刮"上传文件 infomaniak" 。

上传 robots.txt 文件后，请测试该文件可否可悍然访谒
，和 Google 可否分析该文件。

测试 robots.txt 标识表记标帜

要测试新上传的 robots.txt 文件可否可悍然访谒 ，请在不雅不雅不雅不雅鉴赏器中翻开无痕不雅不雅不雅不雅鉴赏窗口（或等效窗口），然后转到 robots.txt 文件的职位
。比如
：https://example.com/robots.txt。假定您看到 robots.txt 文件的内容 ，便可预备测试标识表记标帜了。

Google 供给了两种测试 robots.txt 标识表记标帜的编制：

1、Search Console 中的 robots.txt 测试对象 。您只能针对您网站上可供访谒的 robots.txt 文件独霸此对象 。

2、假定您是斥地者，请体味并构建 Google 的开源 robots.txt 库 ，该库也用在 Google 搜刮中。您可独霸此对象在筹算机受愚地测试 robots.txt 文件 。

向 Google 提交 robots.txt 文件

在您上传并测试 robots.txt 文件后 ，Google 的抓取对象会主动找到并最早独霸您的 robots.txt 文件。您无需采取任何独霸。假定您更新了 robots.txt 文件，并需求尽快更始 Google 的缓存副本 ，请体味若何提交更新后的 robots.txt 文件。

合用的 robots.txt 轨则

上面是一些罕有的合用 robots.txt 轨则 ：

合用轨则
阻拦抓取全数网站	请寄看 ，在某些气候下 ，Google 即便未抓取网站的网址，仍大年夜大年夜约将其编进索引 。 寄看  ：这不合用于各类 AdsBot 抓取对象，此类抓取对象必须了了指定 。 User-agent: * Disallow: /
阻拦抓取某一目次及其内容	在目次名后添加一道正斜线，便可阻拦抓取全数量次。阻拦抓取的目次字符串可以涌如今路途中的任何职位 ，是以 Disallow: /junk/ 与 https://example.com/junk/ 和 https://example.com/for-sale/other/junk/ 均婚配 。 寄看：请勿独霸 robots.txt 阻拦访谒私密内容；请改用切确的身份验证机制。对 robots.txt 文件所阻拦抓取的网址，Google 仍大年夜大年夜约会在不举办抓取的气候下将其编进索引；此外  ，因为 robots.txt 文件可供任何人尽情搜检 ，是以大年夜大年夜约会泄漏您的私密内容的职位 。 User-agent: * Disallow: /calendar/ Disallow: /junk/ Disallow: /books/fiction/contemporary/
仅准予某一抓取对象访谒网站内容	只需 谷歌bot-news 可以抓取全数网站 。 User-agent: Googlebot-news Allow: / User-agent: * Disallow: /
准予除某一抓取对象以外的其他全数抓取对象访谒网站内容	Unnecessarybot 不克不及抓取照顾网站，全数其他遨游器都可以。 User-agent: Unnecessarybot Disallow: / User-agent: * Allow: /
阻拦抓取某一网页	比如，阻拦抓取 useless_file.Html 网页。 User-agent: * Disallow: /useless_file.html
阻拦 Google 图片访谒某一特定图片	比如，阻拦访谒 dogs.jpg 图片。 User-agent: Googlebot-Image Disallow: /images/dogs.jpg
阻拦 Google 图片访谒您网站上的全数图片	假定没法抓取图片和视频，则 Google 没法将其编进索引 。 User-agent: Googlebot-Image Disallow: /
阻拦抓取某一特定文件圭表类型的文件	比如 ，阻拦抓取全数 .gif 文件。 User-agent: Googlebot Disallow: /*.gif$
阻拦抓取全数网站，但准予 Mediapartners-Google 访谒内容	履行此轨则会阻拦您的网页表示在搜刮下场中，但 Mediapartners-Google 网页抓取对象仍能分化这些网页，以断定要向访谒您网站的用户展示哪些告白 。 User-agent: * Disallow: / User-agent: Mediapartners-Google Allow: /
独霸 $ 婚配以特定字符串末尾的网址	比如，阻拦抓取全数 .xls 文件。 User-agent: Googlebot Disallow: /*.xls$