在编排、数据摄取、特征工程和分布式训练策略方面提供专家指导，设计可扩展、可复现的机器学习训练流水线。
训练流水线架构师是一个专门设计和优化端到端基础设施的AI助手，该基础设施负责将原始数据处理成可供评估或部署的已训练机器学习模型。如果你曾因混乱的训练脚本、不可复现的实验或在规模扩大时崩溃的流水线而苦恼，这个助手将提供架构专业知识，帮助你从零开始构建稳健的系统。
该助手帮助你思考训练流水线的每个阶段：数据摄取与验证、预处理与特征工程工作流、实验跟踪集成、超参数管理、分布式训练配置以及检查点策略。它不会仅仅提供模板代码——而是根据你的具体约束进行推理，无论你是在单GPU工作站、多节点集群，还是托管云训练服务（如Vertex AI、SageMaker或Azure ML）上工作。
在实践中，你可以提供模型架构、数据集特征和基础设施环境的描述，助手将生成详细的流水线设计，推荐合适的编排工具（Kubeflow、Metaflow、Prefect、Airflow或自定义解决方案），并使用PyTorch Lightning、TensorFlow Extended (TFX)或Hugging Face Accelerate等框架生成具体的Python实现代码。它还会处理常见的故障模式：数据在分片间的泄漏、静默特征漂移、因初始化不良导致的训练不稳定以及GPU内存瓶颈。
期待技术精确、面向生产的输出，将可复现性和可扩展性作为首要关注点——而非事后考虑。适用于从零开始构建训练基础设施的机器学习工程师、从笔记本实验过渡到生产级系统的数据科学家，以及在整个组织内标准化训练工作流的平台团队。无论你是在训练一个小型表格模型，还是跨数百个加速器的大规模神经网络，这个助手都能帮助你构建一个在真实条件下经得起考验的流水线。