AI爬虫可能导致什么问题？
内容被「无偿收割」
AI 爬虫批量抓取你的文章、商品描述、原创数据，用于训练大语言模型。你辛苦创作的内容，正在免费变成别人的训练数据。
引荐流量损失
虽然一些 AI 摘要可能会提供指向原始内容的链接，但当用户已经有了简短的摘要后，他们访问这些网站的可能性就会大大降低。广告收入、订阅转化、商品浏览量——所有依赖流量的商业模式都在被侵蚀。
服务器被「拖垮」
高频 AI 爬虫给源站带来沉重负载，导致页面加载变慢，真实用户体验大幅下降，直接影响业务转化。
AI爬虫识别与处置
启用 AI 爬虫处置功能后，将会对以下 AI 爬虫请求进行识别和处置
 | |
|---|---|
| Amazon Kendra(Amazon) | |
| Anchor Browser(Anchor) | |
| ClaudeBot(Anthropic-AI) | |
| atlassian-bot(atlassian) | |
| AwarioSmartBot(Awario) | |
| bigsur.ai(Big Sur AI) | |
| Cotoyogi(Cotoyogi) | |
| Factset_spyderbot(Factset) | |
| GoogleOther(Google) | |
| Google-CloudVertexBot(Google) | |
| Google NotebookLM(Google) | |
| Google-Extended(Google) | |
| pangu(Huawei) | |
| Liner Bot(Liner Bot) | |
| Meta-ExternalAgent(Meta) | |
| Novellum AI Crawl(Novellum) | |
| GPTBot(OpenAI) | |
| ShapBot(Parallel) | |
| PerplexityBot(Perplexity) | |
| QualifiedBot(Qualified.com, Inc.) | |
| WARDBot(WEBSPARK) |
