什么是WordPress robots.txt？如何编辑？(编辑,WordPress,robots,txt.....)

答案：WordPress的robots.txt是指导搜索引擎爬虫抓取页面的“君子协定”，通过SEO插件或FTP可编辑，核心指令包括User-agent、Disallow、Allow和Sitemap，用于阻止低价值页面、保护敏感区域、引导站点地图，优化抓取预算；需避免Disallow:/、不阻CSS/JS、确保语法正确，使用Google Search Console验证效果，注意缓存影响，且robots.txt非安全屏障，仅对合规爬虫有效。

WordPress的

robots.txt

解决方案

理解

robots.txt

WordPress默认会生成一个虚拟的

robots.txt

wp-admin

wp-includes

一个自定义的

robots.txt

• 阻止某些低价值页面（如搜索结果页、某些标签存档页、开发中的页面）被索引，避免“稀薄内容”问题。
• 引导爬虫找到你的XML站点地图，确保重要页面能被发现。
• 在网站迁移或开发阶段，临时阻止整个站点被抓取。
• 优化抓取预算（Crawl Budget），尤其对于大型网站，让爬虫把精力放在最重要的内容上。

编辑

robots.txt

User-agent

*

Disallow

Allow

Disallow

Sitemap

举个例子：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /category/uncategorized/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap_index.xml

这段代码的意思是：对所有爬虫（

User-agent: *

wp-admin

wp-includes

tag

admin-ajax.php

为什么我的WordPress网站需要一个自定义的robots.txt文件？

老实说，WordPress自带的那个虚拟

robots.txt

燕雀光年

一站式AI品牌设计平台，支持AI Logo设计、品牌VI设计、高端样机设计、AI营销设计等众多种功能

68

查看详情

比如说，你的网站可能有很多分类页、标签页，甚至是内部搜索结果页。这些页面往往内容重复度高，或者内容质量相对较低，如果全部被索引，可能会稀释你网站的整体SEO权重，甚至被Google判定为“稀薄内容”。这时候，一个自定义的

robots.txt

还有，如果你在开发一个新功能，或者有一个测试环境，你肯定不希望这些半成品或内部页面被搜索引擎收录。一个简单的

Disallow: /

在WordPress中编辑robots.txt有哪些常见方法和注意事项？

在WordPress里编辑

robots.txt

1. 使用SEO插件（最推荐且最安全）：

   • Yoast SEO：在WordPress后台，进入“SEO” -youjiankuohaophpcn “工具” -> “文件编辑器”，你就能看到并编辑

     robots.txt
     文件。如果没有，它会提示你创建。
   • Rank Math：路径是“Rank Math” -> “通用设置” -> “编辑 robots.txt”。它提供了一个简洁的文本框，可以直接输入你的指令。
   • SEOPress：类似地，通常在“SEO” -> “工具”里找到

     robots.txt
     编辑选项。 这种方法的好处是，插件通常会帮你处理一些基础的语法检查，而且操作都在WordPress后台完成，非常方便。对于大多数非技术背景的用户来说，这是最佳选择。

2. 通过FTP或文件管理器直接修改： 如果你更偏爱“手动挡”，可以通过FTP客户端（如FileZilla）连接到你的网站服务器，或者使用主机控制面板提供的文件管理器。

   • 找到你WordPress安装的根目录（通常是

     public_html
     或

     www
     ）。
   • 如果根目录下已经有

     robots.txt
     文件，直接编辑它。
   • 如果没有，就新建一个名为

     robots.txt
     的纯文本文件，然后上传到根目录。 这种方法直接、有效，但风险也更高。一旦语法出错，或者不小心阻止了关键资源，可能会对SEO造成严重影响。它会覆盖WordPress生成的虚拟

     robots.txt
     。

3. 通过

   functions.php
   （不建议新手尝试）： 理论上，你也可以通过修改主题的

   functions.php
   文件来动态生成或修改虚拟

   robots.txt
   的内容。这通常涉及使用

   do_robotstxt
   或

   robots_txt
   这样的过滤器。但这属于高级开发范畴，一旦代码出错，可能导致网站白屏，而且每次主题更新都可能需要重新处理，非常不推荐。

注意事项：

• 别犯“Disallow: /”的错误：这是最致命的错误，意味着你告诉所有爬虫“别来我的网站了”。除非你真的想让网站从搜索引擎上消失，否则千万别这么做。我见过一些人因为这个错误，网站流量瞬间归零。
• 不要阻止CSS/JS文件：Google现在非常强调“移动优先索引”，它需要能够抓取和渲染你的CSS和JavaScript文件，才能正确理解你的页面布局和用户体验。如果阻止了这些资源，Google可能会认为你的页面无法正常显示，从而影响排名。
• 语法要正确：

  User-agent
  、

  Disallow
  、

  Allow
  、

  Sitemap
  等指令都有固定的格式，一个小小的拼写错误或多余的空格都可能让文件失效。
• 理解虚拟与物理文件：如果你的网站根目录存在一个物理的

  robots.txt
  文件，那么WordPress生成的虚拟

  robots.txt
  就会被忽略。确保你只维护一个有效的

  robots.txt
  。
• 缓存问题：修改

  robots.txt
  后，网站的缓存插件（如WP Super Cache, LiteSpeed Cache）可能会导致更改不会立即生效。记得清除网站缓存。
• 不是安全措施：再次强调，

  robots.txt
  不是用来隐藏敏感信息的。它只是一个建议，不遵守规则的爬虫或直接访问URL的用户仍然可以访问被

  Disallow
  的页面。

如何验证我的robots.txt文件是否正确工作？

编辑完

robots.txt

1. 直接访问你的网站： 这是最简单、最直接的方法。在浏览器中输入

   yourdomain.com/robots.txt
   （将

   yourdomain.com
   替换为你的实际域名），你就能看到搜索引擎爬虫实际读取到的

   robots.txt
   文件的内容。确保这里显示的是你期望的指令。

2. Google Search Console (GSC) 的Robots.txt测试工具： 这是我个人最信赖的工具，也是最权威的验证方式。

   • 登录你的Google Search Console账户。
   • 在左侧导航栏找到“设置” -> “抓取统计信息” -> “打开robots.txt测试工具”。
   • GSC会自动加载你网站当前的

     robots.txt
     内容。你可以在这里直接修改内容进行测试，或者输入某个URL，看看Googlebot是否被允许抓取该URL。
   • 这个工具会明确告诉你，某个特定的URL是“允许”还是“已禁止”被抓取，并指出是哪条

     Disallow
     指令导致了禁止。这对于排查问题非常有用。

3. 检查Google Search Console的“索引 > 页面”报告： 在GSC中，你可以查看“索引 > 页面”报告。这里会显示哪些页面被索引了，哪些没有，以及没有被索引的原因。如果你的

   robots.txt
   成功阻止了某些页面，你可能会在“已排除”部分看到“被robots.txt阻止”或“因'noindex'标记而排除”的条目（尽管

   robots.txt
   和

   noindex
   是不同的机制，但结果都是不被索引）。这需要一些时间来反映，因为Google需要重新抓取你的网站才能看到

   robots.txt
   的变化。

4. 使用

   site:
   搜索操作符： 在Google搜索框中输入

   site:yourdomain.com disallowed-page-path
   ，比如

   site:example.com/tag/wordpress/
   。如果这个页面被

   robots.txt
   成功阻止，那么它应该不会出现在搜索结果中。如果出现了，那说明你的

   robots.txt
   可能没有生效，或者Google还没有重新抓取到最新的

   robots.txt
   文件。

记住，

robots.txt

robots.txt

以上就是什么是WordPress robots.txt？如何编辑？的详细内容，更多请关注资源网其它相关文章！