Claude vs ChatGPT: ¿Nos están vendiendo más inferencia?

Estaba revisando los benchmarks actuales de modelos de IA tras las últimas salidas y hay algo que no me cuadra. Anthropic está arriba del todo, pero también es el más caro y el que más tarda en resolver tareas. Si usas IA en tu pyme, esto afecta a tu factura.

Los benchmarks no traen grandes sorpresas

Anthropic lidera, y la diferencia con el segundo puesto no es grande. Entre los primeros no hay un salto enorme, pero lo que sí sabemos seguro es que el más caro es siempre Anthropic.

Mistral: un coste por tarea ínfimo

Miré también dónde se ha colocado Mistral, el modelo más potente que tenemos en Europa. Según el benchmark puntúa más o menos en la misma zona, salvo en uno. Y tiene un coste por tarea ínfimo.

Primero en puntuación, último en velocidad

Aquí viene lo que quería contaros: Anthropic está el primero, pero es el que más tarda en resolver las tareas. Eso me hace pensar si nos están ofreciendo, de forma puntual, un mayor gasto y uso de inferencia para posicionarse como los mejores.

Iteraciones: Codex gana de largo

Otro benchmark mide el número de iteraciones que necesita cada modelo para resolver una tarea. El mejor sin duda es GPT con Codex. En el lado contrario está Anthropic con Sonnet, y Opus queda algo mejor, pero nada bien posicionado frente a sus competidores reales, que ahora mismo son Gemini y ChatGPT.

“

Me pregunto si no nos estarán vendiendo más inferencia ahora mismo para resolver los problemas que luego en cierto momento querrán recuperar a base de coste

”

Qué haría yo

No afirmo que sea una estrategia deliberada: es una sospecha a partir de los datos. Pero mirar solo la puntuación es mirar la mitad del cuadro. Cuenta también cuánto cuesta cada tarea y cuántas iteraciones necesita.