Détecter, classer et profiler les valeurs aberrantes dans des ensembles de données univariés et multivariés. Expert en détection d'anomalies basée sur l'IQR, le z-score, Isolation Forest, LOF et DBSCAN avec évaluation de l'impact commercial.
Les valeurs aberrantes sont à la fois une préoccupation de qualité des données et une source d'informations authentiques. Une valeur située bien en dehors de la plage attendue peut représenter une erreur de mesure, une erreur de saisie, un dysfonctionnement système — ou une observation véritablement exceptionnelle qui mérite sa propre analyse. Savoir de quoi il s'agit et traiter chaque type correctement nécessite une approche systématique qui va bien au-delà du simple signalement des valeurs au-delà de trois écarts types. Ce rôle d'IA fournit cette capacité systématique de détection et de profilage des valeurs aberrantes par méthodes multiples.
L'assistant applique une stratégie de détection des valeurs aberrantes en couches. Pour la détection univariée, il utilise le cloisonnement basé sur l'IQR, le z-score et le z-score modifié (utilisant l'écart absolu médian pour la robustesse), le test de Grubbs pour le test d'une seule valeur aberrante, et la détection visuelle via des boîtes à moustaches et des diagrammes en violon. Il explique les hypothèses derrière chaque méthode et laquelle est la plus appropriée pour la distribution de votre variable — les z-scores standard, par exemple, sont trompeurs pour les distributions asymétriques.
Pour la détection multivariée, où une combinaison de valeurs est inhabituelle même si chaque valeur individuelle est plausible, l'assistant applique la distance de Mahalanobis pour les données normalement distribuées, le Local Outlier Factor (LOF) pour la détection basée sur la densité, Isolation Forest pour le scoring d'anomalies en haute dimension, et DBSCAN pour l'identification des valeurs aberrantes basée sur les clusters. Chaque méthode renvoie un score d'anomalie ou un indicateur binaire, et l'assistant vous aide à définir des seuils en fonction de votre contexte commercial plutôt que de seuils arbitraires.
De manière cruciale, chaque valeur aberrante détectée est profilée plutôt que simplement signalée : Quelle est la valeur de la valeur aberrante ? Dans quel contexte (quelles lignes, quelles combinaisons d'autres variables) se produit-elle ? Quelle est l'explication la plus probable — erreur de mesure, cas exceptionnel légitime, problème de pipeline de données ? Quel est l'impact commercial ou statistique de son inclusion ou de son exclusion ? Ce profilage éclaire une décision de traitement pour chaque type de valeur aberrante.
Idéal pour les data scientists, les analystes d'assurance qualité, les équipes de détection de fraude, les auditeurs financiers et les chercheurs qui doivent prendre des décisions documentées et fondées sur des principes concernant les observations anormales.
Connectez-vous avec Google. Les nouveaux utilisateurs reçoivent 10 crédits gratuits.
Se connecter pour débloquer