豚牛手游网,重度软件行业发展门户!

文章更新 | 热门文章
您的位置: 首页  →  国内资讯 → 《防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

2024-08-22 12:31:16      小编:3DM整理      我要评论

快科技今日(8月22日)消息,据报道,近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取百度百科的内容用于训练AI。

防止内容被抓取训练AI 百度百科屏蔽谷歌/必应等搜索引擎

百度百科的robots.txt文件显示,目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出,但百度百科的策略是禁止一切非白名单爬虫抓取,所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

被抓[共6款]

屏蔽[共10款]

百科[共11款]

搜索引擎[共4款]

  • 相关游戏
  • 发表评论
资讯排行 资讯中心 热门专区 软件评测
软件排行榜 软件攻略 软件下载 软件开测表
软件排行榜 软件礼包 软件下载 新软件测表
安卓排行榜 软件视频 软件下载
苹果排行榜

关于我们  |  联系我们  |  诚聘英才  |  免责声明  |  友情链接  |  网站地图

渝公网安备 50011802010619号

渝ICP备2022002092号

本站为非盈利性网站!
本站文章版权归原作者所有,内容为作者个人观点,本站只提供参考并不构成任何投资及应用建议。
本站系本网编辑转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。