一.更有效地使用robots.txt文件

1.用robots.txt限制抓取文件

robots.txt该文件主要用于告知搜索引擎它们是否有权抓取你网站的特定部分。

文件必须严格命名为robots.txt,并放在网站的根目录下。

你可能不希望你网站上的一些页面被捕获，也许这些页面出现在搜索结果中对用户没有多大用处。如果你想防止搜索引擎捕获这些页面，谷歌网站管理员工具中有一个非常有用的robots.txt生成器，它可以帮助您生成此文件。需要注意的是，如果你的网站使用子域名，而你不想被捕获的一些网页恰好在特定的子域名下，你需要为子域名创建一个单独的robots.txt文件。如果你想了解更多关于的知识robots.txt建议您参考网站管理员帮助中心的使用信息robots.txt文件指南。

还有很多其他的方法可以保证你网站的一些内容不会出现在搜索结果中，比如给你的robots元标签加上“NOINDEX”标识,使用.htaccess文件加密需要保护的目录，并使用网站站长工具从搜索结果中删除被捕获的网页。

最佳使用方法：

1.使用更安全的敏感内容方法

你可能不会特别放心只是使用它robots.txt屏蔽敏感或保密的内容。其中一个原因是，如果网络上有一些链接链接到这些链接URL(如引用页日志)，搜索引擎仍有可能跟踪捕获您想要屏蔽的内容URL,当然，他们只会展示你的URL地址信息，而不显示标题或内容摘要。一些流氓搜索引擎可能不会有意识地遵守机器人排除标准，从而违反你robots.txt说明书。还有其他原因，比如好奇的用户可能会查看你robots.txt文件中的目录和子目录，以及你不想向外界展示的内容URL猜测.htacess文件对内容进行密码保护或对内容进行加密是的措施。

请注意避免：

允许在你的网站上捕获一些类似搜索结果的页面(用户不喜欢在离开一个搜索结果页面后进入另一个搜索结果页面，这对他们来说毫无价值)；允许大量自动生成.内容相同或极其相似的网页被捕获，用户会想:“这1万页几乎相同的网页真的应该出现在搜索引擎的索引中吗？”；允许因提供代理服务而产生的代理服务。URL被抓取。

二.谨慎使用rel=“nofollow”

1.用nofollow打击垃圾留言

如果您将某个链接“rel”属性设置成“nofollow”，这意味着你在向Google传达这样的信息：你不想要Google继续跟踪和捕捉这些特定链接所指向的页面，并且不想将其声誉传递给这些链接所指向的页面。实现这个效果其实很简单，你只需要rel=“nofollow”放置在链接的锚标签中。

我应该在什么情况下使用它？nofollow那怎么样？如果你的网站博客打开了信息功能，这些信息中包含的链接将将你的声誉传递给一些你根本不知道或无意推荐的网站。博客的留言本经常被垃圾留言打扰。

Nofollow这些用户生成的链接可以确保你不会将你最终积累的声誉传递给其他垃圾网站。

2.自动给留言板“设置为nofollow”

许多博客软件包会自动自动自动nofollow即使你不提供这样的自动功能，你也可以手动调整用户的信息。同样的情况也适用于您网站的其他内容，如留言簿.论坛.引用通知等。如果一些第三方(比如你的网站信任这个留言者)添加的链接得到你的肯定，那么你就没有必要使用这些链接nofollow。但是，必须明确的是，如果你链接到某些人，Google如果你认为这是一个垃圾网站，你自己网站的声誉也会受到影响。网站管理员中心为您提供了更多关于如何防止垃圾留言的建议，如使用CAPTCHAs(输入验证码链接)和启用留言监控功能等。

3.使用特定内容或页面上的所有链接nofollow

Nofollow另一个目的是，当你写一篇文章并引用一个网站时，你不想把你的声誉传递给它。例如，你正在写一篇关于垃圾留言的博客文章，并计划揭露一个最近经常在你的博客上恶意留言的网站。为了提醒其他网站保持警惕，你把网站的链接包含在你的文章中；但是，你显然不想把你网站的声誉传递给这个邪恶的网站。然后在这个时候使用它nofollow再合适不过了。

如果自己还是没学会或者没有专业知识的人员，速推车是一个非常可靠的选择。它不仅使用最专业的工具和设备，而且技术团队的水平在中国也处于领先地位。无论哪种类型的工作都能胜任。有兴趣了解私信我