3 modelos.
4 trabalhos de verdade.
o mesmo pedido, palavra por palavra, pra cada modelo, cada um na sua conversa, com esforço alto. nada de jogo nem demo bonita: o que a gente faz no dia a dia de uma agência de IA.
Fable 5.2xOpus 5.5xGPT-6 Astra
1🐀
o rato atrás do queijoa assinatura do RatoBench: uma animação feita só com códigoabrir o teste →2📄
a proposta comercialo briefing de uma padaria vira proposta de agênciaabrir o teste →3📊
a planilha bagunçada1.302 linhas cheias de erro viram um painel pra dona da lojaabrir o teste →4🎬
o vídeo de 15 segundosum reels anunciando a Ratoeira, feito em códigoabrir o teste →5⏱️💰
o placarquanto tempo cada um levou e quanto custou, teste por teste e somadover o placar →
⚠️ antes de tirar conclusão
- o custo é o da API, não o do plano. é o preço por token de cada modelo, vezes o que cada conversa gastou. quem usa no plano de assinatura (Claude, ChatGPT) não paga por token: lá o custo é quanto do teu limite cada um come.
- os preços vieram de agregadores. o preço por milhão de tokens de cada modelo saiu de sites que juntam essas tabelas, não das páginas oficiais da Anthropic e da OpenAI. pode ter diferença.
- os testes rodaram numa pasta de trabalho de verdade. com CLAUDE.md, skills e o contexto da nossa agência: o mesmo pros três, mas não é uma pasta vazia de laboratório.
- o painel da planilha do Fable não foi conferido contra o gabarito. o que ele diz ter corrigido está no teste 3, mas a gente não validou se ele acertou.
quer rodar esse tipo de teste no teu trabalho?
os três modelos rodaram lado a lado na Ratoeira, o portal onde o teu time e os agentes de IA (Claude Code, Codex e outros) trabalham na mesma tela.
conhecer a Ratoeira →