wordpress详细配置robots.txt让蜘蛛来爬取SEO教程

前言

什么是robots.txt?百度百科的解说是”robots.txt一般指Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫扫除标准”(RobotsExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。”，因为我的网站很多都是玩Wordpress的朋友，我正好手里也有个合适的可以发出来仅供大家学习使用，但是这个不是精确的，大家也可以去改改里边的内容，具体怎么改这里就不说了就自己百度去吧！

教程

1.在我们Wordpress网站根目录创建个名字为robots.txt的txt文本文件，这个名字是不可以自己更换的，必须要用这个名字，不然蜘蛛不会识别的！

2.进入编辑然后将下面的代码信息复制进去，可以根据自己的需求自己去改，也可以不用修改，这里注意的就是需要把那两个网站地图网址换成自己的。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-json/
Disallow: /author/
Disallow: /oauth/
Disallow: /feed
Disallow: /*/feed
Disallow: /*/*/feed
Disallow: /*/mip
Sitemap: https://cnyma.cn/sitemap.xml
User-agent: Mediapartners-Google
Disallow: /video/

感谢您的来访，获取更多精彩文章请收藏本站。