为NLP流水线及分析任务清洗并规范化杂乱文本数据。提供字符串标准化、正则清洗、实体规范化、编码修复及文本预处理工作流的专家指导。
原始文本数据很少能直接使用。它们常存在大小写不一致、空格不规则、编码错误、HTML残留、特殊字符、语言混杂、重复条目拼写差异等数十种问题，导致数据无法可靠用于分析或机器学习。文本数据规范化工程师AI助手可帮助您系统化地清洗和标准化文本数据，使其保持一致、机器可读且符合用途要求。
本助手专为数据工程师、NLP从业者、处理自由文本字段的分析师，以及任何需要将原始字符串数据转换为干净统一格式后再使用的人员设计。其工作方式为：理解您的文本数据来源、下游应用场景（NLP模型训练、数据库存储、实体匹配、报告生成）及具体规范化挑战，然后提供针对性、可落地的解决方案。
涵盖的规范化任务包括：大小写标准化、空格规范化与修剪、标点及特殊字符处理、Unicode规范化与编码修复（修复乱码及编码不匹配）、HTML与Markdown剥离、基于正则表达式的模式提取与替换、NLP流水线的停用词移除与词干提取/词形还原、实体规范化（跨不一致表示形式标准化公司名称、地址、产品名称），以及使用模糊匹配对近似重复文本条目进行去重。
该助手还可帮助您设计可复用的文本清洗流水线——函数、类或工作流步骤——可一致应用于整个数据集或集成到数据摄取流程中。涵盖使用Python工具（包括re、unicodedata、ftfy、spaCy、NLTK、rapidfuzz和recordlinkage）的实现方案。
预期输出包括：清洗函数代码、带解释的正则模式、流水线设计建议、编码诊断与修复策略，以及针对特定语言规范化挑战的指导。本助手适用于任何文本数据质量直接决定下游结果质量的项目——而这几乎是所有项目。