Tudo sobre Inteligência Artificial
Tudo sobre OpenAI
A confiança em inteligências artificiais para a indicação de fontes de pesquisa deve ser reavaliada. Um estudo recente analisou dois modelos proeminentes: o americano OpenAI o1 e o chinês DeepSeek R1. Os resultados indicam que, em termos de raciocínio e precisão de citações, a performance das IAs pode não corresponder às expectativas.
O teste denominado Reasons Benchmark avaliou a capacidade dos modelos em gerar citações e elaborar explicações a partir de frases isoladas. De acordo com dados compilados, o OpenAI o1 alcançou uma precisão de aproximadamente 65%, apresentando um raciocínio coerente, embora admita erros em 35% das situações. Em contraste, o DeepSeek R1 obteve apenas 35% de acertos, com uma taxa de alucinação próxima de 85%.
A discrepância nos resultados foi ainda mais evidente nas tarefas que exigiam a conexão de conceitos complexos, como inteligência artificial, bancos de dados e cognição humana. O OpenAI o1 demonstrou compreensão das relações e explicações claras sobre cada conexão. Por outro lado, o DeepSeek, embora eficiente, ainda enfrenta obstáculos no aprimoramento de seu raciocínio.
A precisão das citações é fortemente influenciada pela forma como a inteligência artificial processa a informação. Ao tentar analisar um parágrafo inteiro ou um texto completo, a IA tende a generalizar, negligenciando detalhes cruciais, o que resulta em resumos genéricos que podem não satisfazer a necessidade de informações precisas.
Essa situação ocorre devido ao treinamento dos modelos de linguagem, que são mais eficazes ao reconhecer padrões no início e no final dos textos, mas falham ao processar informações que estão mais centralizadas. Como resultado, a análise frequentemente se transforma em uma paráfrase sem foco, arriscando a combinação de ideias que não estão diretamente relacionadas.
Leia mais:
A ênfase em frases isoladas demonstrou a importância dessa abordagem para avaliar a capacidade de raciocínio dos modelos. Ao invés de resumir trechos extensos, as IAs precisaram identificar conceitos específicos e associá-los corretamente às fontes, revelando diferenças significativas na interpretação e conexão das informações.
OpenAI mantém vantagem no raciocínio
Embora o DeepSeek R1 tenha empatado com o OpenAI o1 em testes de matemática, programação e raciocínio científico, ainda apresenta lacunas em tarefas que exigem precisão nas citações. O desempenho do o1 foi mais consistente em conectar informações e justificar respostas.
Essa diferença entre os modelos reflete o contexto atual da competição no setor de inteligência artificial. Apesar do surgimento de novos concorrentes, a OpenAI permanece na vanguarda em termos de integração de conhecimento e capacidade de raciocínio, possivelmente devido ao volume e à qualidade dos dados utilizados no treinamento do o1.
A empresa também anunciou uma nova ferramenta de pesquisa avançada, que gera relatórios com citações e explica o raciocínio que fundamenta cada resposta. Ainda é prematuro avaliar o impacto dessa inovação entre pesquisadores, mas é evidente que a verificação das fontes sugeridas por qualquer IA deve ser uma prática constante.
