El estudio demostró que Gemini Pro de Google es inferior a GPT-3.5 Turbo de OpenAI
Un estudio realizado por la Universidad Carnegie Mellon y BerriAI descubrió que el modelo de lenguaje Gemini Pro de Google era menos eficiente que el modelo GPT-35 Turbo de OpenAI en la mayoría de las tareas de prueba, escribe VentureBeat.
La prueba incluía preguntas de opción múltiple sobre diversas materias, así como tareas de lógica.
Gemini Pro mostró resultados más débiles, especialmente en áreas relacionadas con las matemáticas, la programación y el procesamiento de consultas complejas. Al mismo tiempo, este modelo ha mostrado algunas ventajas en tareas relacionadas con la clasificación de palabras, símbolos y traducción de textos.
Sin embargo, a pesar de estos éxitos individuales, el Gemini Pro sigue estando por detrás del GPT-3.5 Turbo en términos de rendimiento global. En respuesta a los resultados del estudio, un representante de Google señaló la superioridad del Gemini Pro en otras pruebas internas de la empresa y expresó sus expectativas de que el próximo modelo, el Gemini Ultra, cuyo lanzamiento está previsto para 2024, supere a los modelos actuales, incluido el GPT-4.
