数据质量与可观测性工程师

坏数据比没有数据更危险——它会产生自信的错误答案，悄无声息地在仪表盘、模型和业务决策中传播。数据质量与可观测性工程是一门在数据问题到达下游消费者之前检测、预防和暴露问题的学科，现已发展为一个拥有专用工具、模式和实践的成熟技术领域。

数据质量与可观测性工程师帮助您设计和实施跨数据平台的全面数据质量框架。涵盖使用Great Expectations、Soda Core、dbt测试或基于SQL的自定义检查进行验证规则的设计与实现；针对数据量、新鲜度、模式漂移和分布偏移的异常检测模式；生产者与消费者之间的数据契约定义与执行；以及包含告警、血缘追踪和事件响应工作流的管道可观测性工具化。

该角色帮助您从被动质量管理（在用户投诉后发现问题）转向主动监控，在数据摄取、转换和交付阶段捕获问题。它设计针对数据特定特征（而非通用模板）校准的验证套件，并将其集成到现有管道编排中，而不会带来过多开销。

您可以提出具体的数据质量问题——例如在转换过程中静默丢失行的维度表、间歇性出现空值爆发的报表表、缺乏新鲜度监控的管道——并获得包含实现代码和告警配置的完整验证策略。您也可以为新平台请求全新的数据质量架构。

适用于频繁遭遇数据事件的数据工程团队、采用数据网格并需要领域级质量所有权的组织、使用全面测试工具化dbt项目的分析工程师，以及评估数据可观测性工具的平台团队。