Um novo artigo de pesquisa afirma que o GPT-4 pode superar os analistas humanos quando se trata de prever o futuro por meio da análise de demonstrações financeiras. O artigo, publicado em uma revista pré-impressa, descobriu em seus testes que o GPT-4 produziu melhores resultados em comparação com seus equivalentes humanos no curto prazo (um mês a seis meses). Ele alcançou 60,31% de precisão em suas previsões, em comparação com 56,7% dos analistas. No entanto, o artigo não sugeria que o modelo de inteligência artificial pudesse substituir os humanos.
Objetivo do trabalho de pesquisa
Publicado na revista Social Science Research Network (SSRN) em 54 páginas papel intitulado “Análise de demonstrações financeiras usando modelos multilíngues”, foi feita uma tentativa de compreender o papel que os modelos convencionais de inteligência artificial (IA) podem desempenhar na análise das demonstrações financeiras de uma organização e na previsão de seu desempenho no mercado de ações em um futuro próximo.
Tal análise sempre foi considerada muito complexa porque uma ampla gama de fatores pode influenciar o desempenho da empresa. Embora algumas empresas financeiras usem redes neurais artificiais (RNAs) para ajudar os indivíduos na análise, grandes modelos de linguagem (LLMs) não têm sido usados para esse fim. Os pesquisadores queriam ver se um LLM de última geração (SOTA), como o GPT-4, poderia ser uma adição valiosa a isso ou não.
O que o artigo de pesquisa do GPT-4 descobriu?
Os pesquisadores utilizaram demonstrações financeiras corporativas anonimizadas e padronizadas de acordo com o GPT-4 (para evitar preconceitos resultantes da menção do nome da empresa). Os pesquisadores usaram então dois métodos para testar a viabilidade do LLM. A primeira foi criar um prompt simples que orientasse o chatbot a analisar extratos e prever ganhos futuros. A segunda foi o uso de um prompt de “cadeia de pensamento” (CoT) que ensinou o modelo de IA a imitar os analistas financeiros.
O método CoT exigia que o GPT-4 identificasse tendências significativas, calculasse as principais métricas financeiras e formasse expectativas para ganhos futuros. Embora os prompts simples não tenham produzido resultados dignos de nota, os prompts do CoT alcançaram 60,31%, o que é superior à pontuação média dos analistas.
GPT-4 vs. analista humano
Foto: Artigo de pesquisa: Análise de demonstrações financeiras usando modelos multilíngues
“Descobrimos que o LLM se destaca em tarefas quantitativas que exigem intuição e raciocínio de nível humano. A capacidade de realizar tarefas em vários campos indica o surgimento da inteligência artificial geral”, afirma o artigo.
No entanto, os pesquisadores foram rápidos em apontar que os analistas GPT e os analistas humanos se complementam, e não substituem os primeiros. Especificamente, o artigo afirma que os LLMs têm uma vantagem em áreas onde as pessoas tendem a mostrar preconceitos e discordâncias. Da mesma forma, os seres humanos acrescentam valor quando a análise requer informações contextuais adicionais que provavelmente não estarão disponíveis nos dados financeiros.
