Google afirma que su nueva IA Gemini supera al GPT-4 y a los expertos humanos

Según afirman, Gemini, el último modelo de inteligencia artificial de Google, ha alcanzado una sorprendente puntuación del 90 % en la prueba MMLU, superando las expectativas humanas que se sitúan en un 89.8 %.

Google ha lanzado un nuevo modelo de inteligencia artificial que, según la compañía, supera a sus predecesores. Se dice que Gemini supera tanto a GPT-4, el modelo de IA con el que funciona ChatGPT Plus, como a los expertos humanos en una serie de pruebas de inteligencia.

El consejero delegado de Google, Sundar Pichai, presentó Gemini en una conferencia el pasado mes de mayo. En aquel momento, el modelo aún estaba en desarrollo. Ahora, el modelo avanzado se ha hecho público. Google ha integrado una versión de Gemini en Bard, el chatbot online de la compañía. Desde la semana pasada, esta actualización está disponible, entre otros, para el público estadounidense. Todavía no se ha desplegado en Europa.

Tres versiones

Google ha creado tres versiones de Gemini, para diferentes aplicaciones. Las tres versiones (Nano, Pro y Ultra) tienen diferentes tamaños y, por tanto, diferentes capacidades.

Los modelos de inteligencia artificial aprenden gradualmente a hacer mejor su trabajo practicando con muchos datos de entrenamiento. Para ello, los modelos de IA utilizan un cierto número de parámetros. Estas son las variables que ajustan durante su proceso de entrenamiento para hacer predicciones cada vez mejores. Google no ha revelado el tamaño de Pro y Ultra. Por tanto, se desconoce el tamaño de su base de datos de entrenamiento y con cuántos parámetros trabajan.

De la versión más pequeña, Nano, sabemos más. Nano está diseñado para funcionar en smartphones. En realidad, el sistema consta de dos modelos: uno para teléfonos más lentos, con 1800 millones de parámetros, y otro para dispositivos más potentes, con 3250 millones de parámetros. Es difícil comparar las capacidades de los modelos de IA, pero se calcula que GPT-4 trabaja con 1,7 billones de parámetros y LLAMA-2, de Meta, con 70 000 millones.

Pruebas realizadas

La versión de gama media de Gemini Pro, supera a otros modelos de IA populares, como GPT-3.5 de OpenAI, con el que funciona la versión gratuita de ChatGPT. La versión Ultra, aún más potente, supera a todos los modelos de IA existentes, afirma Google.

La IA ha sido sometida a la prueba Massive Multitask Language Understanding, o MMLU. Se trata de una prueba estándar en este campo. En esta prueba, un modelo de IA tiene que realizar una amplia gama de tareas. Por ejemplo, se examina suconocimiento del mundo” para ver si es capaz de recitar datos sobre historia y geografía, si puede resolver sumas matemáticas y mucho más. También se tratan temas como el razonamiento lógico y los problemas morales en situaciones cotidianas. Géminis obtuvo un 90 % en la prueba.

Se espera que los expertos humanos obtengan un 89,8 %. Es la primera vez que una IA supera también a los humanos en la prueba MMLU. De este modo, Géminis también arrastró la mejor puntuación de todos los modelos de IA conocidos. En esta prueba, GPT-4 obtuvo un 87 %, LLAMA-2 un 68 % y Claude 2 de Anthropic un 78,5 %. Gemini también superó a sus competidores en otras ocho pruebas de referencia ampliamente utilizadas. También se dice que Gemini es mejor que los modelos anteriores a la hora de crear nuevo software. El año pasado, DeepMind lanzó un programador de IA llamado AlphaCode que, según la empresa, superaba al 50 % de los programadores humanos. Según la empresa, una versión actualizada de AlphaCode que funcione con Gemini superaría al 85 % de los programadores humanos.

Chatbot Bard

El modelo Pro de Gemini se integrará en Bard, el chatbot en línea de Google. La empresa afirma que lanzará otra versión de Bard, Bard Advanced, a principios del año que viene. Esta contará con el modelo Gemini Ultra, aún más grande.

La nueva versión de Bard está disponible en inglés desde la semana pasada en más de 170 países, pero todavía no en el Reino Unido y Europa. Sissie Hsiao, vicepresidenta de Google, explica que esto se debe a la normativa europea. “Tenemos que lidiar con las políticas locales y trabajar con los reguladores para asegurarnos de que cumplimos las leyes locales”, afirma. La nueva versión de Bard tampoco está disponible aún en otros idiomas, aparte del inglés.

Texto, sonido e imágenes

Eli Collins, vicepresidente de IA DeepMind de Google, afirma que Gemini es el mayor y mejor modelo de la empresa, así como el más ampliamente desplegable. Puede utilizarse para una amplia gama de tareas. Por ejemplo, mientras que muchos modelos actuales de IA se centran en el texto, Gemini se entrena con texto, imágenes y sonido. Por lo tanto, se le puede controlar proporcionándole datos de entrada en todos estos formatos, y también puede proporcionar sus datos de salida en estas formas.

Por ahora, en Bard solo se pueden utilizar indicaciones de texto. Google promete que las opciones de audio e imagen serán posibles “en los próximos meses”. En la conferencia, Google no puso a disposición de los asistentes versiones de Gemini para que las probaran, pero sí mostró demostraciones de cómo el modelo de IA resolvía problemas de tareas y funcionaba con entradas de vídeo en directo.

Collins afirma que Gemini aún está en fase de pruebas para determinar con exactitud el funcionamiento del modelo en distintos medios, idiomas y aplicaciones. “Todavía estamos intentando comprender todas las nuevas posibilidades de Ultra”, afirma.

Artículo Anterior Artículo Siguiente

Formulario de contacto