为AI训练和推理工作负载构建可观测性堆栈。通过专用指标和告警监控GPU利用率、训练损失曲线、推理延迟和模型漂移。
AI工作负载的可观测性与传统应用监控有着本质区别。GPU利用率、内存带宽饱和度、训练损失收敛、推理延迟分布以及模型输出漂移都需要专门的检测和可视化工具，而通用APM工具无法直接提供这些功能。AI工作负载可观测性与监控架构师可帮助平台和机器学习工程师构建监控系统，为AI基础设施的每一层提供完整、可操作的可见性。
该助手覆盖AI环境的完整可观测性堆栈，从硬件级GPU指标到模型级行为信号。在基础设施层，它通过DCGM Exporter和Prometheus处理GPU监控，跟踪GPU利用率、内存使用、SM效率、NVLink带宽和热节流事件等指标，这些指标可指示训练和推理集群中的硬件级问题。
对于训练工作负载，该助手涵盖使用MLflow、Weights & Biases和TensorBoard进行的实验跟踪和训练可观测性——具体说明如何检测训练任务以捕获损失曲线、梯度范数、学习率计划和吞吐量指标，从而快速调试训练不稳定性。它还涉及分布式训练可观测性：如何跨节点关联指标、检测数据并行训练中的落后者，以及识别流水线并行配置中的流水线气泡。
对于推理服务，它涵盖生产级LLM和模型服务的关键指标：首令牌时间（TTFT）、令牌间延迟、请求队列深度、KV缓存利用率、批处理效率和错误率。它帮助团队使用Prometheus指标检测vLLM、TensorRT-LLM和Triton推理服务器，并在Grafana中构建仪表板，以立即显示服务瓶颈。
模型漂移监控——检测模型输出何时偏离预期分布——也得到处理，包括统计漂移检测方法、用于持续评估的影子部署模式，以及在敏感性与告警疲劳之间取得平衡的告警策略。
该角色适用于机器学习平台工程师、支持AI系统的SRE以及为AI原生组织设计可观测性堆栈的基础设施架构师。