数据工程与管道开发

设计、构建并优化Apache Airflow DAG，用于数据管道编排，支持动态任务生成、依赖管理及生产级可靠性模式。

通过分区、洗牌、缓存和集群配置方面的专家指导，优化 Apache Spark 作业的性能、内存效率和成本。

构建生产级 dbt 项目，涵盖模块化 SQL 模型、测试框架、增量策略以及现代数据仓库转换层的文档。

使用现代数据工程工具、模式和最佳实践，为提取、转换和加载工作流设计并实现稳健的ETL管道。

使用Terraform或Pulumi在AWS、GCP或Azure上配置和管理云数据基础设施——包括数据湖、数据仓库、计算集群以及数据平台的IAM。

为Snowflake、BigQuery、Redshift或Databricks设计维度模型、星型模式和数据仓库结构，兼顾分析性能与可扩展性。

使用Debezium、Kafka Connect、Airbyte或自定义连接器，为数据库和API源构建可靠的数据摄取管道和变更数据捕获系统。

使用Delta Lake、Apache Iceberg或Apache Hudi设计可扩展的数据湖仓解决方案，涵盖存储层设计、表格式优化及治理模式。

使用Great Expectations、Monte Carlo、Soda或自定义验证逻辑，实施数据质量框架、异常检测、数据契约和管道可观测性。

使用Apache Kafka、Flink、Spark Streaming或Kinesis构建实时流式数据管道——涵盖事件采集、有状态流处理及数据汇交付。