Notícias: Notícia

App Lepilens: identificação de borboletas em fotografias

No âmbito da unidade curricular “Projeto” do 3º ano da Licenciatura em Ciência de Computadores, Tomás Mamede, orientado pelos docentes Luís Lopes e Eduardo Marques, desenvolveu a aplicação Lepilens para iOS e Web. A aplicação emprega Deep Learning para identificar as espécies de borboletas representadas em fotografias obtidas pelos utilizadores. Na sua versão actual, essa identificação está restrita às espécies de borboletas diurnas presentes em Portugal, embora algumas destas mesmas espécies possam ser encontradas por toda a Europa.

 

Para além de ajudar os utilizadores a identificar as borboletas que registam com as suas fotografias, a Lepilens tem também como objectivo ajudar a mapear as distribuição destes insectos no território nacional, propondo-se assim como uma plataforma de Citizen Science. A importância dos dados assim obtidos não deve ser subestimada. As borboletas desempenham um papel essencial nos ecossistemas, como polinizadores e como alimento para outros animais em todas as fases de seu ciclo de vida. As suas interações complexas com plantas e outros seres vivos torna-as particularmente sensíveis a perturbações no equilíbrio dos ecossistemas. Assim, o conhecimento da evolução das suas populações ao nível do país serve assim como um indicador importante da saúde do nosso ambiente.

 

O trabalho envolveu a construção de um “data set” que inclui todas as borboletas portuguesas, o treino de uma CNN (Convolutional Neural Network) capaz de efetuar de forma automática a classificação taxonómica de imagens de borboletas e a análise da performance da CNN. O modelo extraído da rede neuronal foi depois embebido numa aplicação Web que permite aos utilizadores submeter imagens que são depois classificadas. Uma descrição detalhada do trabalho pode ser encontrada aqui.

 

Apesar da unidade curricular ter terminado em julho, a colaboração entre os docentes e o estudante manteve-se.

 

“Havia muito que podíamos fazer com o projeto e eu sentia vontade de continuar. Em junho do ano passado quando venci o WWDC Swift Student Challenge da Apple, parte do prémio foi a possibilidade de fazer parte do Apple Developer Program, que permite colocar aplicações na App Store. O projeto forneceu-me a ideia que precisava para fazer uma aplicação que pudesse colocar na App Store.” - refere Tomás Mamede

 

Durante o verão, o estudante começou o desenvolvimento da aplicação para iOS, que lançou na App Store da Apple a 24 de novembro de 2020, juntamente com uma versão Web, que pode ser utilizada em qualquer dispositivo. Apesar de, até ao momento, a versão Web ser apenas capaz de realizar classificação de imagens, na versão iOS a equipa foi mais longe.

 

“Na aplicação para iOS tivemos a oportunidade de pôr no smartphone do utilizador mais do que uma simples ferramenta de classificação. A aplicação iOS tem uma interface bonita e elegante, desenvolvida com cuidado e pormenor que inclui mais funcionalidades. Permite ao utilizador criar um verdadeiro catálogo de observações com vários detalhes, como por exemplo, a localização, e utilizar o GPS para criar um autêntico mapa de explorador.” - explica Tomás Mamede.

 

Tanto a versão iOS como a versão Web da aplicação utilizam o mesmo modelo de Machine Learning. O modelo foi construído usando a ferramenta AutoML Vision da Google, que integra a Google Cloud Platform. Por outro lado, o “data set” utilizado no modelo foi construído a partir de imagens recolhidas de várias fontes, sendo que a grande parte das imagens são provenientes do data set do iNaturalist publicado no GBIF (Global Biodiversity Information Facility). A fase de tratamento de dados foi muito importante para identificar imagens de fraca qualidade, mal classificadas e que não enquadravam devidamente o objeto de estudo. O modelo de Machine Learning final foi treinado com mais de 22 mil imagens e tem uma precisão média de 90%.

 

“Apesar de já existirem aplicações capazes de efetuar classificação taxonómica, este trabalho é mais uma prova de conceito que mostra claramente o poder das redes neuronais, neste caso, para a classificação de imagens. As borboletas, à partida, não são um objeto de estudo fácil. Apesar de muitas espécies terem uma morfologia diferente, existem também outras que diferem entre si em detalhes muito subtis. Conseguir que o modelo consiga capturar esses detalhes e distinguir essas espécies é um dos maiores desafios na classificação.” - refere a equipa.

 

Segundo a equipa do DCC os próximos passos neste trabalho poderão passar por estender o modelo para acomodar também mariposas (espécies nocturnas) e usar redes neuronais desenvolvidas de raíz e optimizadas para o caso de estudo para treinar o “data set”.

 

 

Também lhe pode interessar

22/06/20

WWDC Swift Student Challenge da Apple

Aluno do DCC vence prémio

03/08/20

Método pioneiro que usa IA para identificação de aves

Docente e aluna do DCC fizeram parte do estudo