别把 AI 当银弹：单次推理 500ms 起步，盘点那些常见的认知误区

发现不少人有个误区，以为在业务里接个大模型也就是多打一次 HTTP 请求的事，甚至动不动就想把高并发接口的核心逻辑交给 LLM 处理。

前几天测了一下，哪怕是在内网跑本地小模型，单次推理 P99 延迟也直接飙到了 85ms 左右，并发稍微一压，GPU 显存被打满后直接超时报错。而同样复杂的逻辑，用 Go 手写个规则引擎走 AST 解析，P99 也就 1.3ms，0 allocs/op。

AI 是很强，但它目前根本不是低延迟、高确定性系统的银弹。把它塞进在线同步链路，纯粹是嫌降级熔断写得太少。

好奇大家现在在生产环境用 AI，都是老老实实走异步 Job / 消息队列，还是真有勇士敢直接挂在对外的同步 API 上？你们能接受的 P99 阈值是多少？来对一下数据。