小红书禁止所有搜索引擎抓取其内容 所以只能通过站内手动搜索了 – 蓝点网_热门性价比盘点最新消息 转眼间这都更改了 1 年

百度检索当下已然收录小红书站点上 7 亿 9807 万个网页，谷歌则只索引了小红书站点的首页，为什么呢？由于小红书早已禁止所有检索引擎抓取小红书的信息。

蓝点网接到网民提醒称小红书的热门性价比盘点 robots.txt 文件已然明确禁止所有检索引擎抓取信息，可是蓝点网检索后察觉实际上小红书是在 2023 年 4 月 2 日更改 robots.txt 文件的，转眼间这都更改了 1 年。企业财报精选

当下并不清楚小红书为什么禁止检索引擎抓取信息，从 SEO 角度来说，允许检索引擎抓取有助于给小红书带来更多流量，毕竟如今百度都索引了 7 亿多个网页。

并且小红书是上一年 4 月更改的，所以估计也不是由于防止被抓取信息训练 AI 吧？但小红书当下的信息库拿去训练 AI 的确很有价值，毕竟巨量文字和图片信息。未来可期

可是 robots.txt 文件只是君子协定，归于防君子不妨小人的那种，除了会导致使用者无法从检索引擎直接查询小红书信息外，关于Xbox，每一句都扎心实际上合作也不大，毕竟其他非检索引擎的爬虫也会持续抓取信息，小红书肯定也做了反爬举措了。

如今境内的站点禁止检索引擎抓取已然是个很普遍的事情，或者专门预留一些层级目录供检索引擎抓取想要获得一些流量，更有甚者乃至别说检索引擎了，就连正常的使用者访问也会被拦截，必须开户账户登陆后才能持续访问，这显然不是一个好事情。

附小红书 2023 年 4 月 2 日的 robots.txt 信息：

User-agent:GooglebotAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:BaiduspiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:bingbotDisallow:/User-agent:Sogou web spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:Sogou wap spiderAllow:/discovery/item/Allow:/explore/Allow:/sitemap.xmlDisallow:/user/profile/*/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsAllow:/activity/sem/kratosAllow:/activity/sem/walleUser-agent:*Disallow:/

下面是小红书新近的 robots.txt 信息：

User-agent:GooglebotDisallow:/User-agent:BaiduspiderDisallow:/User-agent:bingbotDisallow:/User-agent:Sogou web spiderDisallow:/User-agent:Sogou wap spiderDisallow:/User-agent:YisouSpiderDisallow:/User-agent:BaiduSpider-adsDisallow:/User-agent:*Disallow:/