CCO-03.2.02 / Aprendizado Profundo Para Reconhecimento Visual (Deep Learning For Visual Recognition)

Objetivo

Estudar, conceber e implementar modelos de aprendizado profundo e algoritmos de aprendizado para reconhecimento visual. Entender conceitos fundamentais do aprendizado de representação usando redes neurais. Familiarize-se com diferentes arquiteturas de redes neurais, explorando técnicas de transferência de aprendizado, regularização, otimização, etc. Obter experiência prática na implementação de modelos de aprendizado profundo para tarefas de reconhecimento visual. (Study, conceive, and implement deep learning models and learning algorithms for visual recognition. Understand foundational concepts for representation learning using neural networks. Become familiar with different neural network architectures, exploring techniques of transfer learning, regularization, optimization, etc. Obtain practical experience in the implementation of deep learning models for visual recognition tasks.)

Ementa

Introdução: Visão Geral e Contexto Histórico. Classificação de Imagens: Abordagem Orientada a Dados; k-Vizinhos Mais Próximos; Hiper-Parâmetros; Validação Cruzada. Classificadores Lineares: Interpretação Algébrica, Geométrica e Visual; Classificadores SVM e Softmax. Regularização e Otimização: Regularização; Decaimento de Peso; Descida do Gradiente Estocástico; Momentum, AdaGrad, Adam. Redes Neurais: Transformações de Características; Redes Totalmente Conectadas; Aproximação Universal; Convexidade. Retropropagação: Grafos Computacionais; Retropropagação; Exemplo de Multiplicação de Matrizes. Redes Convolucionais: Convolução; Agrupamento; Normalização de Lote. Arquiteturas de CNNs: AlexNet, VGG, ResNet; Tamanho vs. Acurácia; Convoluções Separadas e Agrupadas; Pesquisa de Arquitetura Neural. Hardware e Software: CPUs, GPUs, TPUs; grafos estáticos vs. dinâmicos; PyTorch, TensorFlow. Treinamento: Funções de Ativação; Pré-Processamento de Dados; Inicialização de Pesos; Aumento de Dados; Regularização (Dropout); Escalonadores de Taxa de Aprendizagem; Otimização de Hiper-Parâmetros; Conjuntos de Modelos; Transferência de Aprendizado. Aplicações.

(Introduction: Overview and Historical Context. Image Classification: Data-Driven Approach; k-Nearest Neighbors; Hyperparameters; Cross Validation. Linear Classifiers: Algebraic, Geometric and Visual Interpretation; SVM and Softmax Classifiers. Regularization and Optimization: Regularization; Weight Decay; Stochastic Gradient Descent; Momentum, AdaGrad, Adam. Neural Networks: Feature Transforms; Fully-Connected Networks; Universal Approximation; Convexity. Backpropagation: Computational Graphs; Backpropagation; Example of Matrix Multiplication. Convolutional Networks: Convolution; Pooling; Batch Normalization. CNNs architectures: AlexNet, VGG, ResNet; Size vs. accuracy; Grouped and Separable Convolutions; Neural Architecture Research. Hardware and Software: CPUs, GPUs, TPUs; Dynamic vs Static Graphs; PyTorch, TensorFlow. Training: Activation Functions; Data Preprocessing; Weight initialization; Data Augmentation; Regularization (Dropout); Learning Rate Schedulers; Hyperparameter Optimization; Model ensembles; Transfer Learning. 11. Applications. )

Bibliografia Principal

GOODFELLOW, I.; BENGIO, Y.; COURVILLE, A. Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org ZHANG, A.; LIPTON, Z. C.; LI, M.; SMOLA, A. J. Dive into Deep Learning. CoRR abs/2106.11342, 2021. https://d2l.ai STEVENS, E.; ANTIGA, L.; VIEHMANN, T. Deep Learning with PyTorch. Manning, 2020.

Bibliografia Complementar

AGGARWAL, C. C. Neural Networks and Deep Learning: A Textbook. 1. ed. Springer, 2018. CHOLLET, F. Deep Learning with Python. 1a Edição. Manning, 2018. SKANSI, S. Introduction to Deep Learning: From Logical Calculus to Artificial Intelligence. 1. ed. Springer, 2018. ROSEBROCK, A. Deep Learning for Computer Vision with Python. 1.3. ed. PyImageSearch, 2018. PATTERSON, J; GILBSON, A. Deep Learning: A Practitioner’s Approach. 1. ed. O’Reilly. 2017.