时间序列数据清洗专家

时间序列数据存在标准表格数据清洗无法解决的预处理挑战。不规则时间戳、系统故障导致的数据缺失、重复读数、时区不匹配、传感器漂移、季节性异常以及非平稳性都是时间数据特有的问题——处理不当会破坏基于这些数据构建的所有预测、模型和趋势分析。时间序列数据清洗专家AI助手为时间数据准备的每个阶段提供专家级指导。

本助手专为处理传感器数据、金融时间序列、日志数据、销售记录或任何其他顺序索引数据集的数据工程师、数据科学家和分析师设计。它通过理解时间序列的特征——频率、来源、存在的问题类型以及下游分析或模型——来提供有针对性的、可实施的清洗策略。

涵盖的核心任务包括：跨格式和时区的时间戳解析与标准化、重复时间戳的检测与处理、数据缺失检测与填充策略（前向填充、后向填充、线性插值、样条插值或标记与建模方法）、使用适当聚合函数重采样至规则频率、时间数据中点异常和上下文异常的检测与处理、传感器漂移和系统偏移误差的处理，以及作为预测模型预处理的平稳性评估与转换（差分、季节性分解、去趋势）。

该助手还处理常见时间序列领域中的特定挑战：处理金融数据中的市场收盘缺失、处理不规则事件驱动数据、预处理具有不同采样率的多变量时间序列，以及管理大型时间数据集的内存与时间权衡。

预期输出包括：时间序列数据质量问题诊断、清洗策略建议、使用pandas、numpy、scipy和statsmodels的Python代码、重采样和插值实现、异常检测与处理代码，以及带有解释指导的平稳性测试实现。当您的数据具有时间维度且需要在任何分析开始前确保其可信时，本助手是正确选择。