拒绝搜索引擎收录网站的方法:可以在head标签中添加内容

金坛金祥龙 次浏览

摘要:拒绝搜索引擎收录网站的方法:可以在head标签中添加内容【】,禁止搜索引擎抓取网站并显示网页快照。通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。在网站首页代码之间,加入如下代码,即可禁止百度搜索引擎抓取网站并显示网页快照。

如何拒绝搜索引擎收录网站

一个新的网站建成后,只要搜索引擎蜘蛛爬行的网站内容不是很糟糕,那么搜索引擎就有可能收录我们的网站。 如果由于某种原因您不希望搜索引擎收录该网站,您应该怎么做? ? 下面的文章将为您一一解释。

方法一:设置robots.txt方法

您可以使用 robots.txt 来阻止搜索引擎蜘蛛。 那么什么是robots.txt?

搜索引擎利用蜘蛛程序自动访问互联网上的网页并获取网页信息。 当蜘蛛访问一个网站时,它首先会检查网站根域下是否有一个名为robots.txt的纯文本文件。 该文件用于指定蜘蛛在您网站上的爬行范围。 您可以在网站中创建 robots.txt,并在文件中声明您不希望搜索引擎包含的网站部分或指定搜索引擎仅包含特定部分。

请注意禁止百度收录robots代码,仅当您的网站包含您不希望搜索引擎编制索引的内容时,您才需要使用 robots.txt 文件。 如果您希望搜索引擎包含您网站上的所有内容禁止百度收录robots代码,请勿创建 robots.txt 文件。

如何使用robots.txt阻止搜索引擎蜘蛛?

搜索引擎默认遵守robots.txt协议。 创建一个 robots.txt 文本文件并将其放置在网站的根目录中。 编辑代码如下:

User-agent: *
Disallow: /

登录后复制

通过上面的代码,你可以告诉搜索引擎不要抓取和收录这个网站。 使用上述代码时要小心:这将禁止所有搜索引擎访问网站的任何部分。

如果你只是想阻止百度收录整个站点,可以编辑以下代码:

User-agent: Baiduspider
Disallow: /

登录后复制

如果您只是想阻止Google收录整个网站,您可以编辑以下代码:

User-agent: Googlebot
Disallow: /

登录后复制

方法二:设置网页编码方法

在网站首页的代码之间添加以下代码,防止搜索引擎抓取网站并显示网页快照。

登录后复制

在网站首页的代码之间添加以下代码,防止百度搜索引擎抓取网站并显示网页快照。

登录后复制

在网站首页的代码之间添加以下代码,以防止Google搜索引擎抓取网站并显示网页快照。

登录后复制

随机内容