UM ESTUDO DA TRANSFERÊNCIA DE APRENDIZADO EMPREGANDO MODELOS DE APRENDIZADO PROFUNDO: APLICAÇÕES DE PROCESSAMENTO DE LINGUAGEM NATURAL

Resumo

Este estudo explorou o uso de LLMs, com foco no LLama 2, em ambientes de recursos limitados. Verificou-se que é possível ajustar esses modelos para tarefas de PLN, como classificação de texto, apesar das limitações de infraestrutura.
Técnicas como quantização e adaptação de pesos, junto com ferramentas como Google Colab e Hugging Face, reduziram os requisitos computacionais sem comprometer o desempenho. No entanto, o LLama 2 apresentou eficiência inferior ao esperado, sugerindo a necessidade de infraestrutura mais robusta.
A técnica RAG, ao integrar informações externas, foi eficaz, melhorando a precisão, especialmente em contextos educacionais.