xAI abre el código de su potente modelo lingüístico Grok
xAI, propiedad de Elon Musk, ha publicado en GitHub el código fuente de su gran modelo lingüístico Grok-1, con 314.000 millones de parámetros, bajo licencia Apache 2.0 de código abierto.
La versión abierta incluye las ponderaciones básicas del modelo, la arquitectura de la red y otros componentes. Como se ha señalado, Grok-1 no ha sido especialmente optimizado ni censurado para tareas específicas como los sistemas de diálogo.
Esta semana, @xAI abrirá el código de Grok
– Elon Musk (@elonmusk) 11 de marzo de 2024
El modelo se entrenó durante cuatro meses, hasta octubre de 2023, para generar códigos, textos y respuestas a preguntas. La apertura del código permitirá a terceros investigadores y desarrolladores trabajar con el modelo.
A pesar de la apertura de las escalas y otros componentes, Grok-1 viene sin código de entrenamiento ni conjuntos de datos reproducibles.
Los pesos Grok ya están en Apache 2.0: https://t.co/9K4IfarqXK
Es más de código abierto que otros modelos de pesos abiertos, que suelen venir con restricciones de uso.
Es menos código abierto que Pythia, Bloom y OLMo, que vienen con código de entrenamiento y conjuntos de datos reproducibles. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
– Sebastian Raschka (@rasbt) 17 de marzo de 2024
Tras la compra de Twitter (X), Elon Musk ha criticado repetidamente el código cerrado de los modelos de IA de la competencia, como OpenAI. Ahora ha demandado a OpenAI, acusando a la empresa de violar el acuerdo de código abierto.
Publicar el código fuente es una práctica habitual para obtener comentarios y mejorar los modelos. Sin embargo, los más grandes prefieren mantener el código cerrado o conceder licencias limitadas, como es el caso de Meta’s Llama 2.
Tras el lanzamiento del chatbot Grok, basado en este modelo, se requería una suscripción de pago a X para acceder a él antes. Pero en las pruebas preliminares, no logró destacar frente a ChatGPT, Gemini y otros sistemas más avanzados.
