Tecnologia · Aberto para opiniões
Qual empresa terá o modelo de IA com melhor pontuação média nos benchmarks públicos MMLU e HumanEval até março de 2027?
Com o lançamento do ML4 pela Mistral e a disputa acirrada entre OpenAI, Anthropic e Google, o mercado de modelos de IA de… 81 opiniões, 35% OpenAI (GPT)
- OpenAI (GPT) — 35%
- Anthropic (Claude) — 22%
- Google (Gemini) — 20%
- Mistral (ML4) — 14%
- Outro modelo — 10%
Prazo: 31 de março de 2027 às 00:00 UTC · 81 opiniões
Regras de resolução
Com o lançamento do ML4 pela Mistral e a disputa acirrada entre OpenAI, Anthropic e Google, o mercado de modelos de IA de ponta está em transformação acelerada, tornando incerta a liderança em benchmarks objetivos.
Fonte: www.cnnbrasil.com.br
Perguntas frequentes sobre este evento
Como este evento é resolvido?
Resolução baseada nos resultados publicados nos benchmarks padronizados MMLU e HumanEval disponíveis em plataformas públicas como Papers With Code (paperswithcode.com). Considera-se a média aritmética das pontuações nos dois benchmarks até 31/03/2027.
Como funciona a pontuação?
Os pontos dependem da porcentagem de votos do seu lado no momento da sua opinião. Acertar rende 100 menos essa porcentagem. Errar desconta essa porcentagem.
Agora, OpenAI (GPT) tem 35% dos votos: quem entrar e acertar com essa opção ganha cerca de 65 pontos; quem errar perde cerca de 35.