摘要:不被百度蜘蛛抓取的问题百度抓取
由于此前利用百度统计对Github进行DDos攻击,Github屏蔽了百度蜘蛛对Github Pages的抓取和收录。 这对于使用Github Pages的国内用户来说无疑是一个巨大的打击。
我也不例外。 这两天尝试了各种方法,不过Google的方法还是不错的。 昨天下午提交的站点地图今天上午已包含在内。 对于百度百度域名收录,我也搜索了很多方法,主要有以下几种:
1.使用CDN
事实证明,这是没有用的。
2.使用镜像将百度蜘蛛解析到镜像服务器。 第一步是在 Github 上创建一个新项目。 这应该不是一个大问题。 由于我们都使用Github Pages,所以这一步就不再重复了。接下来,第二步是在coding.net中导入Github的项目
导入项目
第三步是启用编码的页面服务。 coding的pages服务和Github的pages服务的区别在于,coding使用的分支是master或者coding-pages,而Github使用的分支是master和gh-pages。 为了统一,建议使用master分支。
设立分公司
PS:编码的陷阱:分支与github不同。 自定义域名需要银卡会员以上才能开通。 银卡会员需要填写账户信息才能开通(注:无论是否必填,都必须填写后才能以银卡会员身份开通)。 自定义域名编码有问题。 金卡会员及以上可以跳过。 如果您是银卡会员,编码将首先被定向到编码提供的页面,然后重定向到您的自定义域名,除非是。 。 。
除非你在底部添加Hosted bycodingpages,第4步,为gitpush添加多个源
git remote set-url --add --push origin ****
分别将****替换为自己对应的Github和编码项目地址。
之后使用 git push origin master 将本地更改同步提交到Github并编码。
至此,镜像网站部分应该已经完成了。 如有遗漏,请自行研究。 嗯嗯~
第五步,通过DNSPod解析域名。
添加CNAME解析,将pages.coding.me解析为百度,其余解析为github.io。
有人可能会问,为什么不直接使用编码页呢? 鉴于服务的稳定性以及Github强大的CDN加速,我们暂时没有这方面的计划。
添加域名解析
我之所以采用这个方案,是因为我比较了一下,发现它更靠谱。 说一下我的对比过程。 我使用阿里云进行域名解析。 不过百度的决议似乎不太支持,所以放弃了七牛云。 等待CDN加速,由于域名还没有注册,所以直接通过了百度云的免费CDN加速,但是效果不是很好。 缓存设置有点作弊,所以我放弃了,不再挣扎了。
不知道有没有人理解这种感觉百度域名收录,我差点哭了。 好了,就这样了,观察几天看看有没有问题。 如果没有问题的话,这篇文章就可以结束了。 如果仍然存在问题,几天后您可能就看不到这篇文章了。 又笑又哭。 。 。 。
百度抓取
本文首次出现在 Yuri 的博客上