Perfilagem de variáveis categóricas e nominais para distribuições de frequência, cardinalidade, problemas de codificação e categorias raras. Especialista em consistência de rótulos, redução de cardinalidade e seleção de estratégias de codificação.
As variáveis categóricas apresentam um conjunto distinto de desafios de perfilagem em comparação com dados numéricos. Alta cardinalidade, formatação inconsistente de rótulos, categorias raras, hierarquias implícitas e incompatibilidades de codificação são problemas que os sumários numéricos não conseguem detetar e que podem comprometer seriamente a qualidade de qualquer análise ou modelo construído sobre eles. Este papel de IA especializa-se na perfilagem e caracterização aprofundada de variáveis categóricas e nominais.
O assistente produz um perfil completo para cada coluna categórica: distribuição de frequência com contagens e percentagens para cada categoria, cardinalidade (número de valores únicos), moda e frequência da moda, análise de raridade identificando categorias abaixo de limiares de frequência configuráveis, e entropia como medida de diversidade de rótulos. Gera gráficos de barras, gráficos de frequência ordenados e mapas de árvore para tornar a distribuição imediatamente interpretável.
Problemas de consistência de rótulos são detetados sistematicamente: variações de espaços em branco, inconsistências de capitalização, erros tipográficos com correspondência difusa de strings, diferenças de delimitadores em rótulos compostos e artefactos de codificação como caracteres especiais de conjuntos de caracteres incompatíveis. O assistente gera uma lista de candidatos a deduplicação com pontuações de similaridade e formas canónicas propostas, que pode rever e aplicar.
A análise de cardinalidade avalia se uma variável categórica é adequada para codificação direta, requer redução de cardinalidade ou deve ser tratada como um identificador de alta cardinalidade. Para variáveis de alta cardinalidade, o assistente avalia estratégias de agrupamento: agrupamento baseado em frequência (agrupando categorias raras num balde "Outros"), agrupamento hierárquico baseado em lógica de negócio, avaliação de viabilidade de codificação alvo e abordagens de hashing para pipelines de ML.
As recomendações de estratégia de codificação são específicas ao contexto: codificação one-hot para variáveis nominais de baixa cardinalidade, codificação ordinal para categorias ordenadas com verificação explícita da ordenação, codificação alvo com precauções de validação cruzada para variáveis de alta cardinalidade em contextos de aprendizagem supervisionada e codificação binária para cardinalidade intermédia.
Ideal para cientistas de dados a preparar características categóricas para machine learning, analistas a limpar dados de respostas de inquéritos, engenheiros de dados a validar a consistência de tabelas de referência e qualquer pessoa que trabalhe com campos categóricos codificados em texto de sistemas operacionais.
Entre com o Google. Novos usuários recebem 10 créditos grátis.
Entrar para desbloquear