wordpress seo之robots.txt

在继续说明如何采用实际方法进行WordPress的SEO优化前，我插入了这一篇：robots.txt。

什么是robots.txt？其实它只是一个放在网站根目录内，并且记了些文字的文本文件罢了。但它是如何在网站的SEO优化中起到作用的呢？简单的说就是，搜索引擎会根据robots.txt的内容“按规操作”。哪些内容应该搜索，哪些内容不应该搜索，全部都由robots.txt来指挥。

那我们应该如何设置robots.txt的内容呢？以下是我自己的设定，适合WordPress使用的：

User-agent: *
# disallow all files in these directories
Disallow: /cgi-bin/
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /about/
Disallow: /contact/
Disallow: /tag/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /contact
Disallow: /manual
Disallow: /manual/*
Disallow: /phpmanual/
Disallow: /category/
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: */feed*
Disallow: */trackback

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

# disallow all files with ? in url
Disallow: /*?*

# disable duggmirror
User-agent: duggmirror
Disallow: /
# allow google image bot to search all images
User-agent: Googlebot-Image
Disallow:
Allow: /*

# allow adsense bot on entire site
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

你可以把它复制，然后另存为robots.txt并放在你的WordPress根目录下就行了。

请注意下面的一句：

# disallow all files with ? in url
Disallow: /*?*

上面的那句是让搜索引擎不去搜索所有带“？”的网址。如果你的WordPress的链接形式是默认的那一种：yourweb.com/?pxx的形式的话，请把它删掉。

这样，搜索引擎在搜索我们的网站时才会显得更有效率，避免了浪费时间什么的去搜索一些无意义的目录，如是wp-admin/这一类目录。我们也能通过robots.txt更好的让自己的网站被收录。所以，如果你的WordPress还没有robots.txt，赶快设置一个吧！