网上的 AI bot 已经比人多了。马来西亚企业该怎么做

网络安全公司 HUMAN Security 上周发布报告：网上的 AI bot 和自动化流量，数量已经超过真人用户。

2025 年自动化流量的增速接近人类流量的 8 倍。AI agent 流量按年暴涨 7,851%。报告统计到的 AI 流量当中，OpenAI 的爬虫占 69%，Meta 占 16%，Anthropic 占 11%。

如果你在马来西亚经营一个公司网站，2026 年的 AI bot 流量会实实在在影响你的分析数据和你的主机账单。

2026 年的 AI bot 流量：你一半的访客可能不是人

最让我们意外的一点：很多 AI 爬虫不执行 JavaScript。它们直接从你的 HTML 抓内容，不会触发 Google Analytics，也不会触发任何基于 tag 的追踪工具。

你的 GA4 后台可能显示每天 500 个访客，而你的服务器实际处理了 1,500 个请求。那部分带宽你照付，但在分析工具里看不到。

对用 shared hosting 的马来西亚企业来说（大部分中小企业都是），这就麻烦了。bot 流量越多，网页越慢，账单越高。更糟的是，你现在的营销决策，可能就建立在错的数据上。

客户项目里我们碰过。有一个电商网站，服务器 CPU 使用率半年内翻倍，GA4 的流量却一动不动。原因是 AI 爬虫每天来敲几千次门。

这个问题，大部分文章答了等于没答。我们直接说。

挡掉训练用的爬虫，留下搜索用的爬虫。 bot 和 bot 不一样。有些抓你的内容去训练 AI 模型（你什么都拿不到）。有些收录你的内容，让它出现在搜索结果和 AI 回答里。挡错了，你就从搜索里消失。

一张快速对照表：

想看实例的话，我们自己的 robots.txt 就是这样设的。放行 Googlebot、GPTBot（为了 ChatGPT 搜索）和 PerplexityBot，封锁 CCBot、Bytespider 这类纯训练爬虫。

这件事不需要企业级的安全预算。做好下面几步，效果已经够用：

1. 检查你的 robots.txt。 对只为训练而抓取的爬虫加上 disallow 规则：

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

记住：robots.txt 是请求，不是墙。守规矩的 bot 会听，不守规矩的照样进来。

2. 看服务器日志。 你的主机面板（cPanel、Plesk）里有原始访问日志。找 GPTBot、ClaudeBot、Bytespider 这类 user-agent 字符串。每天几千个请求？那就是你看不见的流量。

3. 用 Cloudflare 的免费版。 Cloudflare 有个免费的 “AI Audit” 工具，能看到哪些 AI bot 来过你的网站，一键就能挡掉。对大多数马来西亚中小企业来说，这是最省事的做法。

4. 把服务器数据和 GA4 对一对。 如果主机后台的流量比 GA4 多出一大截，多出来的那部分多半是 bot，不是你的分析工具出 bug。这就是现在的常态。

马来西亚的 Cyber Security Act 2024 要求被指定的关键基础设施营运者维持自身的数字安全。大部分中小企业不直接受管，但方向很清楚：对所有企业的网络安全要求都在往上走。

不少马来西亚中小企业用的是本地供应商的低价主机配套，带宽有上限。AI 爬虫把带宽吃掉，等于你在为永远不会下单的流量付钱，再加上企业本来就在面对的云端成本上涨。

不过反过来也成立。如果你的公司出现在 ChatGPT、Perplexity 或 Google 的 AI Overviews 里，那就是一条新的曝光渠道。全部挡掉，这条路你就没了。放行什么、挡掉什么，要想清楚再做。

如果你在跑电商网站或 web app，值得认真做一次审查。我们帮客户做过 bot 管理设置，留下有用的爬虫，其余的过滤掉。这和我们之前写的云端安全基本功是连着的。还没做网络安全设置？现在就是开始的好理由。

想知道 AI 流量对你的生意有什么影响？找我们聊聊，我们给你老实的判断，不推销。

本文引用的是公开资料。马来西亚网络安全义务的最新要求，请咨询有资格的法律专业人士。