05 de maio às 14h00
Programa Doutoral | Ciência de Computadores
Provas | Weakly Supervised Multimodal Explanations for Medical Image Classification
Estudante | Isabel Cristina Rio-Torto de Oliveira
Data: 05 de maio
Hora: 14h00
Local: Auditório FC6 029
Presidente:
Miguel Tavares Coimbra
Professor Catedrático
Faculdade de Ciências da Universidade do Porto
Arguentes:
Mauricio Reyes
Associate Professor
ARTORG Center for Biomedical Engineering Research, University of Bern (Suiça)
Ana Catarina Fidalgo Barata
Professora Auxiliar
Instituto Superior Técnico, Universidade de Lisboa
Vogais:
Francesco Renna
Professor Auxiliar
Faculdade de Ciências da Universidade do Porto
Luís Filipe Pinto de Almeida Teixeira (Orientador)
Professor Associado
Faculdade de Engenharia da Universidade do Porto
Resumo:
Os modelos de aprendizagem profunda têm demonstrado um sucesso notável na análise de ima gens médicas, alcançando ou até superando o desempenho humano. No entanto, a sua falta de interpretabilidade continua a ser uma barreira crítica à adoção na prática clínica. A investigação em inteligência artificial explicável tem crescido para enfrentar este desafio. A maioria dos méto dos explora explicações visuais post-hoc, uma vez que são fáceis de aplicar e não requerem novo treino dos modelos. Contudo, estes métodos apresentam limitações críticas: destacam quais as características relevantes, mas não explicam porquê, são frequentemente difíceis de interpretar, e a sua fidelidade ao modelo é incerta. Além disso, diferentes utilizadores (por exemplo, médicos vs. pacientes) têm necessidades e preferências distintas, pelo que os métodos de explicabilidade de vem ser capazes de se adaptar e gerar diferentes modalidades de explicações. Embora os métodos de inteligência artificial explicável melhorem a interpretabilidade, muitas vezes aumentam o custo da anotação, especialmente no caso de explicações baseadas em conceitos ou explicações em lin guagem natural. Para esta última modalidade, depender inteiramente da supervisão de anotações feitas por humanos pode até inviabilisar a fidelidade das explicações. Esta tese aborda estes de safios através de dois objetivos principais: (i) desenvolver alternativas às explicações visuais post hoc para a classificação de imagens médicas, e (ii) alcançar este objetivo sem aumentar o custo de anotação, recorrendo a aprendizagem fracamente supervisionada. Para tal, o trabalho explora múltiplas modalidades de explicação e introduz novos métodos que equilibram interpretabilidade, escalabilidade e desempenho preditivo. Em primeiro lugar, investigamos métodos de explicação visual in-mmodel, incluindo mecanismos de atenção e arquiteturas intrinsecamente interpretáveis, como as redes B-cos, fornecendo o primeiro estudo sistemático da sua utilidade em classificação de imagem médica. Embora os mapas de atenção e mapas B-cos ofereçam interpretabilidade localizada, os resultados revelam limitações importantes relativamente à fidelidade e ao desem penho nas tarefas de classificação. Em segundo lugar, é proposto um novo paradigma para expli cações baseadas em conceitos através do CBVLM, que transforma Modelos Visão–Linguagem de Grande Escalao em modelos baseados em conceitos. Operando sob supervisão fraca (Aprendiza gem emContexto), o CBVLM reduz significativamente os custos de anotação, superando os mod elos de referência tradicionais em diversos conjuntos de dados médicos. Em terceiro lugar, a tese avança a investigação sobre geração de explicações em linguagem natural ao introduzir o WeN LEX, um modelo fracamente supervisionado capaz de gerar explicações textuais fiéis e adaptadas ao público-alvo. É de notar que o WeNLEX melhora tanto a explicabilidade como o desempenho preditivo quando integrado no treino do modelo. Finalmente, a tese apresenta o DeViL, um mod elo capaz de gerar explicações visuais e textuais, através do treino com pares imagem–legenda, produzindo mapas de saliência a partir de qualquer vocabulário e descrições em linguagem natural das características do modelo. Em conjunto, estas contribuições demonstram que a inteligência artificial médica explicável pode ser alcançada sem pipelines de anotação dispendiosos, através da utilização estratégica de supervisão fraca e explicações multimodais.