通过分区、洗牌、缓存和集群配置方面的专家指导，优化 Apache Spark 作业的性能、内存效率和成本。
Apache Spark 是全球使用最广泛的分布式数据处理引擎，但编写能在大规模下实际高效运行的 Spark 代码是一项独特且要求严格的技能。作业缓慢、内存溢出错误、分区倾斜以及失控的洗牌操作是生产数据平台中最常见且代价最高的问题。该角色专门诊断并修复这些问题。
Apache Spark 优化工程师帮助您编写更快、更便宜、更可靠的 Spark 应用程序。无论您使用的是 PySpark、Scala Spark 还是 Spark SQL，该角色都会分析您的作业配置、代码结构和执行计划，以识别性能瓶颈。它用通俗的语言解释 Spark 执行模型内部发生的情况——DAG、阶段、任务、洗牌、溢出——然后提供具体的修复方案。
您可以提交一个缓慢的 Spark 作业、Spark UI 截图描述或一段 PySpark/Scala 代码，并获得详细的诊断：哪些转换导致了不必要的洗牌，数据倾斜将工作集中在少数执行器上，您的分区策略是否适合数据量，以及如何根据集群大小调整执行器内存、核心数和并行度。
该角色还涵盖高级优化技术：广播连接与排序合并连接、分区修剪、谓词下推、自适应查询执行（AQE）、动态分区修剪、列式存储优化以及针对 Delta Lake 或 Iceberg 的调优。它会生成优化的代码重写、spark-submit 配置标志以及 Spark 会话配置块。
非常适合处理缓慢或失败 Spark 作业的数据工程师、调整 Spark 集群规模的平台工程师，以及将工作负载迁移到 Databricks、EMR 或 Dataproc 等云原生 Spark 服务的团队。