Detecção de anomalias
Resumo
Aprenda a usar estatísticas e aprendizado de máquina para detectar anomalias nos dados. Como parte fundamental da ciência de dados e da teoria da inteligência artificial, o estudo e a aplicação de como identificar dados anormais podem ser aplicados à aprendizagem supervisionada, análise de dados, previsão financeira e muitas outras indústrias. Entender a teoria e a intuição por trás desses métodos é uma parte essencial das ferramentas e da base de conhecimentos dos desenvolvedores e pesquisadores modernos.
Este curso oferece conhecimento prático das seguintes habilidades:
- A teoria e os métodos usados para detecção de anomalias, do básico ao avançado
- Derive modelos de detecção baseados em profundidade e proximidade
- Use muitos tipos de dados de streaming em tempo real para abstrações de várias dimensões.
- Implemente esses tipos de modelos usando uma coleção de laboratórios Python*
O curso é estruturado para aproximadamente 8 semanas de apresentações e exercícios. Cada semana requer aproximadamente duas horas para ser concluída.
Pré-requisitos
Programação em Python*
Cálculo
Álgebra linear
Conhecimentos básicos de estatística
Semana 1
Comece a entender por que e como detectar anomalias nos dados.
- Defina vários tipos de anomalias
- Discuta as aplicações da detecção de anomalias
- Explique as estatísticas e matemática necessárias
Semana 2
Aprenda como construir com base na teoria da probabilidade e na geometria para identificar anomalias.
- Descrever modelos probabilísticos para detecção de anomalias
- Aplique análise de valores extremos e técnicas baseadas em ângulo
- Use o Python para realizar a detecção de anomalias em dados unidimensionais e bidimensionais
Semana 3
Veja como usar modelos lineares em vez de modelos probabilísticos e geométricos.
- Aplique modelos de regressão linear e análise de componentes principais
- Use máquinas de vetores de suporte (SVMs - Support Vectors Machines) para detecção de anomalias
Semana 4
Explore como usar métodos adicionais com base na distância para identificar dados anormais.
- Descrever métodos baseados em proximidade e o Fator de Anomalia Local (LOF - Local Outlier Factor)
- Aplique o algoritmo k vizinhos mais próximos (KNN - k-Nearest Neighbors) e clusterização k-means
Semana 5
Aprenda a trabalhar com problemas difíceis que envolvem dados multidimensionais.
- Entenda as dificuldades com problemas multidimensionais.
- Aplique o método de subespaço com o recurso bagging e o algoritmo Isolation Forest
Semana 6
Descubra como usar modelos de aprendizado supervisionado e como trabalhar com classificações.
- Implemente algoritmos de aprendizado sensíveis ao custo
- Aplicar métodos de reamostragem e reforço adaptativos
Semana 7
Explore como classificar dados temporais e de streaming.
- Implemente controle estatístico de processo
- Aplicar detecção de anomalias de streaming usando modelos autorregressivos
Semana 8
Meça o desempenho de um sistema de detecção de anomalias.
- Avalie diferentes técnicas e tipos de detecção de anomalias
- Realize a análise em uma ampla variedade de detecção de dados