Mostrar código-fonte de Identificação Taxonómica em Biologia usando Inteligência Artificial

<span style="font-size:8pt"><b>Referência : </b> Lopes, L. M. B., Marques, E. R. B., (2022) ''dentificação Taxonómica em Biologia usando Inteligência Artificial'', [https://rce.casadasciencias.org Rev. Ciência Elem.], V10(4):050
<br>
<span style="font-size:8pt"><b>Autores</b>: <i>Luís M. B. Lopes e Eduardo R. B. Marques</i></span><br>
<span style="font-size:8pt"><span style="font-size:8pt"><b>Editor</b>: <i>[[Usu&aacute;rio:Jntavar|João Nuno Tavares]]</i></span><br>
<span style="font-size:8pt"><b>DOI</b>: <i>[[https://doi.org/10.24927/rce2022.050 https://doi.org/10.24927/rce2022.050]]</i></span><br>
<html><a href="https://rce.casadasciencias.org/rceapp/static/docs/artigos/2022-050.pdf" target="_blank">
                <img src="https://rce.casadasciencias.org/static/images/layout/pdf.png" alt="PDF Download"></a></html>
----

== Resumo ==

Neste artigo apresentamos o projeto ''Biolens'' cujo objetivo é permitir a identificação automática de espécies biológicas a partir de fotografias usando técnicas de inteligência artificial. O ''Biolens'' disponibiliza uma aplicação ''Web'' que atualmente permite a identificação de espécies de libélulas e libelinhas, borboletas diurnas e noturnas, e plantas. Adicionalmente, uma aplicação piloto ''iOS'' integra esta funcionalidade com o registo e disseminação de avistamentos de espécies de borboletas diurnas.



<html>
 <p class='mainText'>A ubiquidade dos telemóveis, a sua capacidade computacional e a elevada qualidade
dos sensores fotográﬁcos que os equipam abrem imensas possibilidades à participação
dos cidadãos em atividades cientíﬁcas, um conceito designado por Ciência Cidadã
(<em>Citizen Science</em>). É neste contexto que surge o Biolens</html><ref><html>LOPES, L. B. <em>et al.</em>,
<em><a class="a-link" target="_blank"
                href="https://rubisco.dcc.fc.up.pt/Biolens/">Biolens</a></em>, <em>DCC/FCUP</em>.</html></ref><html>, um projeto para classiﬁcação
automática de imagens de espécies biológicas usando técnicas de inteligência artiﬁcial.</p>

  <p class='mainText'>A aplicação <em>Web</em> desenvolvida pelo projeto sugere uma identificação taxonómica
para um animal ou planta cuja fotografia é carregada pelo utilizador. Assim, um utilizador
pode não só recolher informação relevante sobre uma espécie (por exemplo, fotografia,
data, local), mas tem também a possibilidade de saber, em geral com um grau de confiança
elevado, qual o nome científico do animal ou planta que acabou de registar. Atualmente,
a aplicação inclui modelos de classificação para diferentes grupos taxonómicos da fauna
e flora de Portugal: libélulas e libelinhas (<em>Dragonlens</em>), borboletas diurnas (<em>Lepilens</em>) e
noturnas (<em>Mothlens</em>) e plantas (<em>Floralens</em>) (FIGURA 1). O trabalho foi iniciado com o desenvolvimento
do Lepilens</html><ref><html>MAMEDE, T.,
<em><a class="a-link" target="_blank"
                href="https://www.dcc.fc.up.pt/~edrdo/supervision/tmamede_lepidoptera.pdf">On using Deep Learning for Automatic Taxonomic Identification of Butteries</a></em>, <em>UC de Projecto, Lic. Ciência
de Computadores</em>. 2020.</html></ref><html><sup>,</sup> </html><ref><html>MAMEDE, T.,
<em><a class="a-link" target="_blank"
                href="https://apps.apple.com/pt/app/lepilens/id1536347698?l=en">Lepilens iOS app</a></em>, <em>Apple Store</em>. 2021.</html></ref><html>. Posteriormente, foram desenvolvidos o <em>Mothlens</em>, <em>DragonLens</em>,
e, mais recentemente, o <em>FloraLens</em></html><ref><html>FILGUEIRAS, A.,
<em><a class="a-link" target="_blank"
                href="https://repositorio-aberto.up.pt/handle/10216/145701">FloraLens: a deep learning model for portuguese ora</a></em>, <em>Dissertação de mestrado</em>. 2022.</html></ref><html><sup>,</sup> </html><ref><html>MARQUES, M.,
<em><a class="a-link" target="_blank"
                href="https://repositorio-aberto.up.pt/handle/10216/130189">A Portuguese Flora Identification Tool Using Deep Learning</a></em>, <em>Dissertação de mestrado</em>. 2020.</html></ref><html>.</p>

<br>
<figure class="image-medium">
    <img src="https://rce.casadasciencias.org/static/images/articles/2022-050-01.jpg">
</figure>
<figcaption>FIGURA 1. As classes taxonómicas atualmente suportadas pelo projeto <em>Biolens</em>.
</figcaption>
<br>

  <p class='mainText'>Como foi referido, a identificação taxonómica das imagens recorre a ferramentas de inteligência
artificial, nomeadamente de <em>machine learning</em>, cujo objetivo é “ensinar” conceitos aos
computadores por forma a que estes possam reter esse conhecimento e aplicá-lo noutros
contextos.</p>

  <p class='mainText'>No caso concreto do projeto Biolens, utilizam-se redes neuronais profundas (<em>deep learning</em>)
que tentam simular em computador a forma como o nosso cérebro aprende e sintetiza
conhecimento através de redes de neurónios que processam e trocam informação entre si.</p>

  <p class='mainText'>No caso do <em>Mothlens</em>, por exemplo, o processo de aprendizagem passa por fornecer
ao computador um conjunto de imagens de mariposas com a respetiva classificação
taxonómica correta (indicada ou verificada por especialistas). Este conjunto funciona
como uma referência para a rede neuronal aprender as diferenças e semelhanças entre
as espécies representadas. Depois de um processo de treino, tipicamente bastante
intensivo em termos computacionais e que pode demorar várias horas ou mesmo dias,
a configuração final da rede designada por <em>modelo</em>, sintetiza o conhecimento adquirido.
O modelo pode então receber imagens de mariposas e responder com sugestões de
identificação taxonómica (FIGURA 2).</p>

<br>
<figure class="image-medium">
    <img src="https://rce.casadasciencias.org/static/images/articles/2022-050-02.jpg">
</figure>
<figcaption>FIGURA 2. Criação do conjunto de treino, treino da rede neuronal profunda e geração do modelo de classiﬁcação.
</figcaption>
<br>

  <p class='mainText'>Os modelos fornecidos pelo Biolens foram treinados usando os serviços da Google
Cloud, mais concretamente a plataforma <em>Google AutoML</em></html><ref><html><em><a class="a-link" target="_blank"
                href="https://cloud.google.com/vision/automl/docs">Google Cloud</a></em>, <em>AutoML Vision Documentation</em>.</html></ref><html> e a biblioteca <em>open-source
TensorFlow</em> para <em>machine learning</em></html><ref><html>ABADI, M. <em>et al.</em>,
<em><a class="a-link" target="_blank"
                href="https://www.usenix.org/system/files/conference/osdi16/osdi16-abadi.pdf">TensorFlow: a system for large scale machine learning</a></em>, <em>USENIX</em>, 265—283. 2016.</html></ref><html>. A arquitectura das redes neuronais derivadas pelo
<em>Google AutoML</em> é especificamente dirigida à utilização em dispositivos com recursos
computacionais limitados</html><ref><html>TAN, M. <em>et al.</em>,
<em><a class="a-link" target="_blank"
                href="https://openaccess.thecvf.com/content_CVPR_2019/papers/Tan_MnasNet_Platform-Aware_Neural_Architecture_Search_for_Mobile_CVPR_2019_paper.pdf">Mnasnet: Platform-aware neural architecture search for mobile</a></em>, <em>IEEE</em>, 2820—2828. 2019.</html></ref><html>, não só computadores com recursos modestos, mas também
dispositivos como telemóveis ou tablets da forma discutida mais abaixo. Isto permite,
por exemplo, que a aplicação <em>Web</em> do <em>Biolens</em> esteja alojada numa máquina virtual com
apenas 4 GB de RAM e 2 CPUs.</p>

<p class='mainText'>As imagens utilizadas no treino das redes neuronais foram extraídas de conjuntos
de dados (<em>datasets</em>) publicados no <em>Global Biodiversity Information Facility</em> (GBIF) por
plataformas de ciência cidadã bem conhecidas: o <em>iNaturalist</em></html><ref><html>INATURALIST CONTRIBUTORS,
<em><a class="a-link" target="_blank"
                href="https://www.gbif.org/dataset/50c9509d-22c7-4a22-a47d-8c48425ef4a7">iNaturalist Research-grade Observations</a></em>, <em>GBIF.org</em>.</html></ref><html>, o <em>Observation.org</em></html><ref><html>VRIES, H. & LEMMENS, M.,
<em><a class="a-link" target="_blank"
                href="https://www.gbif.org/dataset/8a863029-f435-446a-821e-275f4f641165">Nature data from around the World</a></em>, <em>GBIF.org</em>.</html></ref><html> e o
<em>Pl@ntNet</em></html><ref><html>OUARD, A. A. <em>et al.</em>,
<em><a class="a-link" target="_blank"
                href="https://www.gbif.org/dataset/7a3679ef-5582-4aaa-81f0-8c2545cafc81">Pl@ntNet observations</a></em>, <em>GBIF.org</em>.</html></ref><html>. Além de dados disponíveis via GBIF, para o <em>FloraLens</em> empregamos ainda
o conjunto de imagens de excelente qualidade, identificadas por especialistas, do projeto
<em>FloraOn</em></html><ref><html>SOCIEDADE PORTUGUESA DE BOTÂNICA,
<em><a class="a-link" target="_blank"
                href="https://flora-on.pt/">Flora-On: Flora de Portugal Interactiva</a></em>.</html></ref><html> da <em>Sociedade Portuguesa de Botânica</em>. Para o Lepilens e Mothlens foram
utilizados outros repositórios com fotografias para as quais a classificação havia sido
validada por especialistas, em particular o Lusoborboletas</html><ref><html>PIRES, P.,
<em><a class="a-link" target="_blank"
                href="https://www.lusoborboletaspt.com/">Lusoborboletas: borboletas de Portugal</a></em>.</html></ref><html>.</p>

  <p class='mainText'>A aplicação <em>Web</em> do <em>Biolens</em> alberga os modelos supracitados para identificar de forma
automática imagens de animais ou plantas submetidas por utilizadores. Para cada
imagem, a aplicação selecionada gera uma lista de sugestões de identificação ordenadas
por ordem decrescente de confiança. Estes resultados são apresentados aos utilizadores
numa página web gerada dinamicamente e guardados numa base de dados no
servidor, juntamente com a imagem e a data de submissão (FIGURA 3). Isto é possível
graças ao uso dos modelos gerados pelo <em>Google AutoML</em> na variante <em>TensorFlow Lite</em>,
um formato otimizado para a utilização em dispositivos com recursos computacionais limitados,
não só computadores com recursos modestos, mas também dispositivos como
telemóveis ou tablets da forma discutida mais abaixo.</p>

  <p class='mainText'>A aplicação <em>Web</em> é albergada num computador servidor modesto com apenas 4 GB de RAM
e 2 CPUs.</p>

<br>
<figure class="image-medium">
    <img src="https://rce.casadasciencias.org/static/images/articles/2022-050-03.jpg">
</figure>
<figcaption>FIGURA 3. A arquitetura da aplicação <em>Web Biolens</em>.
</figcaption>
<br>

  <p class='mainText'>Naturalmente, os modelos são falíveis. Defeitos de construção no conjunto de treino,
imagens mal identificadas no dito conjunto ou imagens de baixa qualidade submetidas
pelos utilizadores finais, por exemplo, podem levar a que os modelos produzam
sugestões incorretas. Os resultados devem por isso ser encarados como “sugestões
informadas” e não como identificações definitivas, as quais devem sempre passar pelo
crivo de um ou mais especialistas humanos (FIGURA 4).</p>

  <p class='mainText'>No seguimento do desenvolvimento da aplicação <em>Web Biolens</em>, exploramos também a
possibilidade de oferecer o <em>Biolens</em> através de uma aplicação móvel.</p>

<br>
<figure class="image-medium">
    <img src="https://rce.casadasciencias.org/static/images/articles/2022-050-04.jpg">
</figure>
<figcaption>FIGURA 4. Interface da aplicação <em>Web Biolens</em> e exemplo de classiﬁcação de imagem.
</figcaption>
<br>

  <p class='mainText'>Apesar das aplicações <em>web</em> poderem ser utilizadas em telemóveis ou <em>tablets</em> através de
um <em>browser</em>, uma aplicação móvel poderia fornecer um conjunto extra de funcionalidades
ao utilizador (por exemplo: utilização <em>online</em>, manutenção de um registo de avistamentos
no dispositivo). O conceito foi concretizado para apenas um dos modelos do <em>Biolens</em>, no
caso o <em>Lepilens</em>, com o desenvolvimento de uma aplicação para <em>iOS</em> (FIGURA 5).</p>

<br>
<figure class="image-medium">
    <img src="https://rce.casadasciencias.org/static/images/articles/2022-050-05.jpg">
</figure>
<figcaption>FIGURA 5. Interface da aplicação <em>iOS</em>.
</figcaption>
<br>

  <p class='mainText'>A aplicação permite que fotografias obtidas com o telemóvel ou carregadas de outros
dispositivos ou da <em>Web</em>, possam ser identificadas pelo modelo <em>Lepilens</em>. Ao contrário da
aplicação <em>Web</em>, a aplicação <em>iOS</em> funciona sem necessidade de ligação à Internet, uma
situação comum para quem realiza trabalho de campo. Assim sendo, todos os avistamentos
de borboletas são documentados, com data e hora, coordenadas GPS do local e
notas opcionais do utilizador, e guardados numa base de dados <em>SQLite3</em>. Uma vez ligado
à <em>internet</em>, o utilizador poderá optar por descarregar esses dados para o seu próprio computador
ou contribuir com eles para uma plataforma existente, por exemplo, o <em>iNaturalist</em>
ou o <em>Observation.org</em>.</p>

  <p class='mainText'>A arquitetura da aplicação móvel permite que seja facilmente estendida para incluir os
restantes modelos suportados pelo <em>Biolens</em>. Este trabalho, ainda que menos criativo e mais
sistemático, faz parte dos planos futuros de desenvolvimento do projeto.</p>

<br>

  <p class='mainText'><strong>Agradecimentos</strong></p>

  <p class='mainText'>Os autores gostariam de expressar o seu agradecimento pela preciosa ajuda recebida
dos especialistas Eduardo Marabuto, Pedro Pires e Ernestino Maravalhas (grupo <em>Facebook</em>
“Lepidoptera (Borboletas) em Portugal”), Albano Soares (grupo <em>Facebook</em> “Libélulas
e Libelinhas de Portugal”), Miguel Porto (Sociedade Portuguesa de Botânica) e Henrique Alves (Parque Biológico de Gaia). Os recursos computacionais da <em>Google Cloud</em>
utilizados foram parcialmente disponibilizados ao abrigo da iniciativa Google <em>Cloud Research
Credits Program</em>.</p>

</html>

---- <br>Criada em 17 de Novembro de 2022<br> Revista em 17 de Novembro de 2022<br>Aceite pelo editor em 20 de Dezembro de 2022<br>
[[Category:Biologia]]