Robots协议并不是一张废纸，而是搜索引擎行业内公认的、应当被遵守的商业道德，爬虫程序应当遵守该协议。互联网站可以将某爬虫程序列入自己Robots协议的禁止名单内，或设置反爬虫程序以禁止或限制爬虫程...

佚名 2024-05-18 95次浏览