企业内部部署模型后,通常需要关注四件事:服务能否正常返回结果,响应时间是否满足业务要求,现有算力还能承载多少请求,以及模型输出能否用于后续业务。知识库问答比较关心首字等待时间,批量抽取更关心单位时间内完成了多少条,Agent 则需要关注多次模型调用以后整项任务的结果。不同业务共用一个模型实例时,实例的资源可以一起看,业务表现需要分开统计。
Table of contents
监控数据从哪里取
| 关注点 | 数据来源 | 主要指标 |
|---|---|---|
| 服务可用性 | 应用调用端、API 网关、通过业务入口发起的探测请求 | 调用量、超时率、限流和服务错误、探测成功率 |
| 响应速度 | 应用调用端、vLLM 或 SGLang 推理引擎 | 应用和引擎各自的首字时间、排队耗时、Prefill 耗时、输出速度 |
| 并发与资源 | 推理引擎、GPU 采集服务(如 DCGM Exporter) | 运行和等待请求数、输出吞吐、KV Cache 占用、抢占次数、每张卡的显存和利用率 |
| 业务结果 | 业务服务、工具执行日志、业务评测集 | 首次成功率、重试后成功率、任务耗时、抽样正确率 |
Prometheus 可以定期采集这些服务暴露的指标,Grafana 用于按时间、实例和业务场景对照查看。一次具体任务涉及哪些模型调用和工具执行,需要在应用中用任务 ID 关联日志,跨服务时也可以用 Trace。请求 ID 只用于查询单次调用,把它作为 Prometheus 标签会为每个请求生成独立的时间序列。
服务可用性
可用性从调用方统计。以实际发出的调用为分母,分别计算超时、限流、服务错误和流式传输中断的比例。网关日志适合看错误集中在哪个实例或路由。对于流式接口,服务可能已经发送了 HTTP 200,之后连接才中断,这部分需要由客户端记录。
Prometheus 的 up 表示采集端能否读取目标的指标接口。对于调用量较少的内部应用,即使一段时间没有业务请求,也可以从业务使用的网关定时发送一个小请求,使用相同的鉴权和模型路由,检查能否在约定时间内收到有效输出。如果指标接口可读、探测请求却一直超时,排查范围仍然包括网关、路由和推理服务。反过来,实际请求能正常完成、只有 up 变为 0,应优先检查采集目标和网络连接。
响应时间
首字响应时间(TTFT)需要明确测量位置。应用端从发起模型请求算到收到第一个有效输出,引擎侧记录请求进入服务后的处理时间。判断知识库问答的实际等待体验,还要考虑发起模型请求之前的检索耗时。若只采集引擎指标,检索、网关缓冲以及网络传输造成的延迟都可能遗漏。
以 vLLM 为例,可以将首字耗时(time_to_first_token_seconds)、排队耗时(request_queue_time_seconds)和输入处理耗时(request_prefill_time_seconds)放在同一时间范围内看。文中的引擎指标以 vLLM 为例,省略 vllm: 前缀,计数器在 Prometheus 暴露的名称通常带 _total 后缀,查询时以部署版本的 /metrics 输出为准。几种常见情况的判断方式如下。
| 观测到的变化 | 进一步核对 |
|---|---|
| 应用与引擎的首字时间同时变长,排队耗时也上升 | 查看该实例的到达请求量和等待请求数。如果只有部分实例积压,应先看流量分配。 |
| 首字变慢,排队耗时稳定,Prefill 耗时增加 | 查看每条请求的输入 Token 数。知识库召回的文档变多、Agent 携带的历史消息变长,都会增加输入处理量。 |
| 首字稳定,但完整回答变慢 | 同时看输出 Token 数和每个请求的平均输出 Token 间隔(request_time_per_output_token_seconds,TPOT)。回答变长与生成速度下降对应不同的处理方向。 |
| 引擎耗时稳定,业务页面变慢 | 用同一条请求的记录对照检索完成、发出模型请求、收到首段内容和页面展示的时间,定位应用侧或传输环节的延迟。 |
线上可以按场景看 P50、P95 和对应时段的样本数。两个环节各自的 P95 可能来自不同请求,不能相减来估算网关或检索耗时。低流量时,直接查看几条慢请求的记录通常更有用。
并发容量与 GPU 资源
判断一张卡还能承载多少业务,推理引擎的数据比单看 GPU 利用率更直接。对同一模型实例,同时观察到达请求数、等待请求数(num_requests_waiting)、单位时间完成的请求数和生成的 Token 数。入口网关能提供到达量,引擎的 generation_tokens_total 计数器在同一时段的每秒增量可作为输出吞吐。输入输出长度分布接近时,如果到达量增加、输出吞吐仍在增长,且排队和响应时间满足要求,说明这档负载仍可承载。如果吞吐已经趋于稳定,而队列持续积压、首字时间超过业务要求,就需要检查具体受限的资源。
显存占用要结合两处数据。DCGM Exporter 采集整张 GPU 的显存使用量和利用率,推理引擎记录为模型分配的 KV Cache 有多少正在使用。在 vLLM 中,kv_cache_usage_perc 的值为 1 表示缓存块已全部占用。引擎可能在启动时就预留大块显存,因此卡上显存长期处于高位时,仍可能有足够的缓存块接收新请求。
如果等待请求增加、缓存占用长期接近上限,同时抢占计数(num_preemptions_total)持续增加,应重点看活跃序列数和请求长度。相同的十个并发,长文档分析会比短文本抽取占用更多缓存。若这段时间业务开始传入完整对话历史,缩短输入后可以用同一批请求复测排队和任务质量。若输入长度和业务量都符合预期,才有依据评估增加实例或更换大显存硬件。
单机多卡还要区分部署方式。独立实例分别处理请求时,应按实例比较队列和吞吐,单个实例积压可能是负载分配不均。张量并行时,一个请求会用到多张卡,应查看参与推理的每张卡。固定负载下,某张卡时钟下降、温度或设备错误异常,比整个节点的平均利用率更有排查价值。
业务任务的成功率
输出返回以后,只有业务服务知道结果能否使用。以结构化抽取为例,调用超时可以在模型客户端统计,JSON 解析和字段类型错误可以在 Schema 校验处统计,金额是否取自正确字段则需要和原始单据核对。这三处的分母分别是调用次数、进入校验的响应数和实际核对的样本数。只记录 API 成功率,会漏掉后两类问题。
对于 Agent,一项任务可能多次调用模型和工具。应用侧需要关联每次模型调用、工具选择、参数校验和执行结果,并在任务结束时记录总耗时、是否完成以及是否转人工。一次任务首次调用失败、重试后完成,任务应计为一次成功,同时保留第一次失败及重试开销。最终成功率稳定,但首次成功率下降、平均调用次数上升,往往比最终失败率更早反映工具描述、Prompt 或模型版本变化带来的影响。
知识库答案是否有依据、抽取字段是否正确,适合按场景做抽样复核。保留模型版本、Prompt 版本和评估样本数,才便于比较两次调整的效果。如果服务错误率和推理耗时都很稳定,只有某个场景的抽样正确率下降,应先复核该场景的输入、检索结果和模型输出。
告警依据
可用性告警可以依据业务入口持续探测失败或实际调用错误率上升。性能告警应依据具体场景的时间要求,知识库看首字等待,后台批处理看截止时间内的完成量,Agent 看整项任务的耗时和成功率。延迟和失败率都应同时考虑持续时间与样本数,避免一条慢请求触发低流量系统的高分位告警。
队列、KV Cache 和 GPU 利用率主要用来解释业务指标的变化。比如首字时间已超过要求,告警中带上模型、实例、同期请求量和等待队列,比只报告“显存占用 90%”更便于处理。如果使用的是只提供 API 的一体机,应用侧仍然能够监控可用性、响应时间和任务结果。需要进一步区分排队、缓存或硬件瓶颈时,再向供应商获取对应时段的实例数据。
总结
企业内部的模型服务,监控重点取决于它承担的业务。知识库问答要看有多少请求超时、首字要等多久,也要抽样检查回答是否有文档依据。Agent 则要看整项任务的成功率和完成时间,并保留中间的重试记录。否则,原来一次就能完成的任务,现在调用三次才成功,在报表上仍然只体现为一次成功。
业务指标出现变化后,再结合推理引擎和 GPU 的数据判断原因。同一模型、输入输出长度相近时,如果请求增加后吞吐不再增长、队列持续积压,才有依据进一步评估算力是否充足。如果推理耗时稳定,只有某类任务的正确率下降,则应从该场景的输入、Prompt 和工具调用记录查起。保留选型和部署时的压测结果与业务样本,后续更换模型或增加实例时,就能在相同负载下比较响应时间、吞吐和任务质量。