近期不少人工智能技术业者被指责以不当方式，撷取大量网站内容、影片作为其人工智能模型训练使用，而人工智能技术初创Anthropic更被指控以其ClaudeBot爬虫机器人挖掘大量网站内容，甚至在短短4小时内就针对特定网站访问超过350万次，就连iFixit网站内容也在一天时间内被取用超过100万次。

　　而Anthropic在后续则强调尊重各网站在robots.txt所建立限制描述，并且强调会在日后通过调整爬虫机器人抓取资料频率，借此降低影响不同网站的存取流量负载。

　　除了影响网站流量负载，甚至造成运营成本增加等负担，版权内容被不当取用，成为人工智能模型训练基础等情况，同样也是目前许多网站抗议人工智能技术业者的原因，例如先前OpenAI等业者被指责在未经授权情况下大量取用新闻集团、Vox Media、金融时报和Reddit网站内容，而后续则是通过签署合作授权协议方式达成共识。

　　针对此次爬虫机器人大量抓取其网站内容的情况，iFixit网站执行长Kyle Wiens表示愿意与Anthropic洽谈基于商业合作的授权协议，让双方需求可以达成共识。

　　位于澳大利亚提供自由工作者媒合工作需求的Freelancer，稍早由首席执行官Matt Barrie表示其公司网站在短短4小时内被ClaudeBot爬虫机器人挖掘大量网站内容，而iFixit网站执行长Kyle Wiens更表明ClaudeBot爬虫机器人不仅挖掘其网站内容，更导致服务器系统受影响。

　　在此之前，不少网站经营者开始通过在网页端robots.txt加入避免爬虫机器人存取的限制描述，但不少人工智能技术业者所设计爬虫机器人则是直接绕过相关限制，藉此大量存取网站内容，使得许多网站运作流量负载受到影响。

关键词：Anthropic 爬虫机器人

免责声明：市场有风险，选择需谨慎！此文仅供参考，不作买卖依据。