Brave将超300亿网页搜索索引出售给AI公司并遭纽约时报起诉

纽约时报等媒体起诉Brave未经许可抓取超300亿网页并将其索引出售给AI公司。Brave通过Brave Search API向Cohere、Mistral、Perplexity以及Anthropic等公司提供搜索索引，且其爬虫不声明独立的User-Agent，导致网站管理者无法在robots.txt中单独屏蔽Brave而不影响Google抓取。