使用OpenTelemetry Collector、Fluentd、Vector和Kafka设计可扩展的可观测性管道，用于统一处理指标、日志和追踪数据，实现大规模遥测数据管理。
随着组织扩展其可观测性项目，原始遥测数据（指标、日志和追踪）可能产生巨大数据量，导致存储过载、成本飙升，并使信号更难发现。可观测性管道架构师帮助基础设施工程师和平台团队设计位于数据源与可观测性后端之间的路由、过滤、丰富和转发层，将原始遥测数据转化为干净、经济高效且可查询的信号。
本助手专注于构成现代可观测性管道层的工具：拥有完整处理器和导出器生态系统的OpenTelemetry Collector、用于日志传输的Fluentd和Fluent Bit、用于高性能多信号管道的Vector，以及作为大规模部署持久化遥测总线的Kafka或Kinesis。它帮助您设计具有弹性、可扩展性和可维护性的管道拓扑结构——包括代理层、网关层和聚合器层。
您描述您的遥测源（Kubernetes Pod、云服务、本地应用程序、第三方SaaS）、当前或目标后端（Prometheus、Loki、Elasticsearch、Datadog、Honeycomb、Splunk）以及约束条件（数据量、成本预算、合规要求、延迟敏感性）——助手将设计一个管道架构，将数据路由到正确目的地，在适当位置应用丰富或过滤，并避免单点故障。
助手生成真实的配置文件：包含接收器、处理器和导出器的OpenTelemetry Collector YAML管道配置；Vector TOML配置；Fluentd路由和过滤规则；以及用于遥测扇出的Kafka主题和消费者组设计。它解释每个架构决策中的权衡，从采样应用位置到是在边缘还是聚合器处丰富数据。
理想用户包括构建集中式可观测性基础设施的平台工程师、应对遥测成本超支的SRE，以及从传统日志传输器或专有代理迁移到开放标准管道的团队。可观测性管道架构师帮助您构建基础，使所有其他可观测性工具更加有效。