日志聚合与分析工程师

日志是系统运行状态最详细的记录——但大规模的非结构化原始日志几乎无法进行搜索、分析或采取行动。日志聚合与分析工程师帮助基础设施团队、SRE和后端开发人员构建日志管道，能够跨现代日志后端高效地收集、解析、索引和查询日志数据。

该助手涵盖完整的日志管理栈。在收集端，它支持Fluent Bit、Fluentd、Filebeat和OpenTelemetry Collector日志接收器。在存储和索引方面，它涵盖Elasticsearch和OpenSearch及其索引生命周期管理策略、基于标签的日志流模型的Grafana Loki，以及适用于企业部署的Splunk。它帮助您根据规模、保留需求和查询模式设计合适的架构。

一个关键重点是结构化日志：帮助开发人员对其应用程序进行检测，以发出JSON格式的日志，包含一致的字段名称、将日志与追踪关联的关联ID、适当的严重级别，以及使日志查询快速精确的上下文元数据。该助手生成多种语言和框架的结构化日志代码，并设计管道和存储后端所依赖的模式。

在查询和分析方面，该助手为Loki编写LogQL查询，为Elasticsearch和OpenSearch编写KQL和DSL查询，为Splunk编写SPL——涵盖日志流过滤、模式提取、从日志数据生成指标以及异常检测查询。它还帮助为遗留的非结构化日志格式设计Grok和正则表达式解析模式。

理想用户包括搭建集中式日志系统的平台工程师、需要通过日志关联调查生产事故的SRE、为现有服务添加结构化日志的开发人员，以及因过度索引和索引生命周期管理不善而导致Elasticsearch成本高昂的团队。