摘要:有时,我们可能希望自己的网站避开搜索引擎的索引。如此一来,当百度蜘蛛访问您的网站时将遵循此规定,避免对违规页面进行收录处理。最终,我们可通过百度站长平台于站内进行设置以实现不受百度搜索引擎收录之效果。如此一来,百度搜索引擎便无法访问及收录您的网页。
随着信息时代的来临,我们愈发重视个人隐私与数据安全。有时,我们可能希望自己的网站避开搜索引擎的索引。在此,我将为您提供关于如何在百度上实现这一点的相关信息。
第一点:robots.txt文件
首先,可通过指定 robots.txt 文件向搜索引擎传达不愿纳入索引的页面列表。请于网站根目录创建命名为“robots.txt”的文本文档,输入如下内容:
User-agent: Baiduspider
在上述配置中如何禁止百度收录,"User-Agent"之后请输入相应搜索引擎的名称;而在"Disallow"参数后粘贴需要拒绝被搜索引擎抓取的网址路径信息。如此一来,当百度蜘蛛访问您的网站时将遵循此规定,避免对违规页面进行收录处理。
第二点:HTML头部meta标签
次之,可通过为网页的HTML头区配置meta标签以告知搜索引擎对此页面暂时不作索引操作。只需将以下代码嵌套于相应标签之中即可:
如此一来,当百度的搜索引擎爬行至相应网页时,便能识别到此项标记,并取消对该页的索引入库处理。
第三点:使用robots协议
除了通过在网站页头设定meta标签外,亦可通过在每个网页HTTP响应头上加入robots协议指令传递给搜索引擎,要求其避免收录此网页。详细做法为:于服务器响应之时,在HTTP头顶部掺入如下信息即可。
X-Robots-Tag: noindex
如此操作后如何禁止百度收录,百度爬虫检索此页面时将读取此响应头部内容并避免对此页面进行索引。
第四点:使用百度站长平台
最终,我们可通过百度站长平台于站内进行设置以实现不受百度搜索引擎收录之效果。具体操作如下,首先登陆百度站长平台并添加您的站点;随后在站内设置之中寻找“蜘蛛访问”选项,将其中的“蜘蛛屏蔽”选为“禁用”即可。如此一来,百度搜索引擎便无法访问及收录您的网页。