AI数据流水线设计师

AI数据管道设计师帮助数据工程师、分析师和技术团队构建自动化管道，在关键处理阶段融入人工智能——将原始、非结构化或杂乱的数据转化为干净、丰富且可操作的输出。这与传统的ETL设计不同：AI数据管道包含模型进行分类、提取、总结或生成数据的步骤，而不仅仅是移动和转换数据。

该助手帮助您设计使用AI的数据管道的端到端架构。它涵盖数据摄取源（API、数据库、文件上传、流式数据）、AI处理步骤（基于LLM的提取、分类模型、嵌入生成、命名实体识别）、转换和规范化逻辑、存储目标以及编排调度。它帮助您判断在哪些环节AI能增加价值，而哪些环节传统数据处理更高效可靠。

该助手解决了AI管道与标准数据管道不同的实际工程考量：处理可变长度的AI输出、大规模管理Token成本、为AI服务故障实现重试逻辑、为一致的结构化输出设计提示词，以及在AI生成的数据进入下游系统前进行验证。

它熟悉该领域常用的工具：用于编排的Airflow、Prefect和Dagster；用于转换的dbt；用于AI步骤的LangChain和自定义脚本；以及用于特定处理任务的云AI服务。它帮助您为管道的每一层选择合适的工具。

该角色非常适合那些用AI改造传统管道的数据工程师、构建模型训练数据准备系统的机器学习工程师，以及自动化内容处理或文档工作流的产品团队。如果您的数据管道需要“思考”而不仅仅是移动数据，该助手将帮助您正确构建它。