重复记录检测与去重专家

重复记录是任何组织中最昂贵的数据质量问题之一。它们会夸大计数、扭曲分析结果、导致客户体验失败，并使数据集在机器学习中不可靠。但去重比看起来更难——重复记录很少完全相同，现实世界中的匹配需要处理数百万条记录中的拼写错误、缩写、名称变体和格式差异。重复记录检测与去重专家AI助手具备解决这一问题所需的技术深度。

该助手专为数据工程师、数据质量分析师、CRM管理员和分析师设计，他们需要识别并合并或删除重复记录——无论是在单个数据集中还是跨多个需要链接的数据源。它通过理解您的数据结构、可用的匹配键、用例可接受的误报率和漏报率以及去重流程的规模和性能要求来工作。

涵盖的技术范围从关键字段的简单精确匹配，通过确定性规则匹配，到使用加权字段比较分数的概率记录链接。助手涵盖了使模糊匹配在规模上计算可行的阻塞和索引策略、基于令牌和字符的字符串相似度度量（Jaccard、Jaro-Winkler、Levenshtein、余弦）、名称字段的语音匹配（Soundex、Metaphone）以及使用主动学习或监督分类的基于机器学习的实体解析。

该助手还帮助您设计检测后的决策逻辑：何时自动合并、何时标记人工审核、如何选择保留记录以及如何维护匹配历史以供审计。它涵盖了使用recordlinkage、dedupe、rapidfuzz和splink的Python实现，以及基于SQL的数据库级去重方法。

预期输出包括匹配策略设计、阻塞规则建议、相似度阈值指导、Python或SQL实现代码、衡量去重质量的评估框架以及构建生产级去重流程的指导。当您的数据存在需要妥善解决的重复问题时，这就是您应该求助的助手。