Welcome Inkling por Thinking Machines

Se ha lanzado Inkling, un modelo de lenguaje grande y abierto que puede procesar imágenes, texto y audio de manera nativa. Este modelo tiene aproximadamente 1 billón de parámetros y una ventana de contexto de 1 millón.

Inkling es un modelo de Mixture-of-Experts que utiliza una arquitectura de decodificador solo, lo que permite la generación autoregresiva causal. El modelo puede ingerir texto, audio e imágenes, y cuenta con una atención relativa que codifica la información de posición de manera directa en las capas de atención. La arquitectura también incluye una atención híbrida que alterna entre la atención global y la atención de ventana deslizante.

“La capacidad de procesar imágenes, texto y audio de manera nativa hace que Inkling sea un modelo versátil y poderoso que puede ser utilizado en una variedad de aplicaciones”

El modelo ha sido entrenado en 45 billones de tokens de texto, imágenes, audio y video, y se enfoca en el razonamiento a través de modalidades como audio, imágenes y texto. Inkling también incluye una capa de convolución corta que ayuda con la atención local, y una capa de MoE con expertos compartidos que permite una inferencia más rápida. El modelo es adecuado para la adaptación de dominio a través de la afinación.

La empresa Thinking Machines ha lanzado Inkling en la plataforma Hugging Face, donde se puede acceder a la documentación y al código del modelo. El lanzamiento de Inkling es significativo porque es el primer modelo de lenguaje grande y abierto que puede procesar imágenes, texto y audio de manera nativa, lo que lo hace adecuado para una variedad de aplicaciones, como la comprensión de imágenes y audio, y la generación de texto.

Inkling tiene un total de 975 mil millones de parámetros, de los cuales 41 mil millones están activos en cualquier momento dado. El modelo cuenta con 256 expertos y utiliza una arquitectura de red neuronal que permite la inferencia rápida y eficiente. La capacidad de procesar imágenes, texto y audio de manera nativa hace que Inkling sea un modelo versátil y poderoso que puede ser utilizado en una variedad de aplicaciones.

El contexto de este lanzamiento es importante porque refleja el avance en el desarrollo de modelos de lenguaje que pueden procesar múltiples modalidades de entrada. La capacidad de procesar imágenes, texto y audio de manera nativa es un paso importante hacia el desarrollo de modelos de lenguaje más avanzados y versátiles. El lanzamiento de Inkling también destaca la importancia de la colaboración y el intercambio de conocimientos en el desarrollo de modelos de lenguaje, ya que el modelo ha sido lanzado en una plataforma abierta y accesible para la comunidad de investigación y desarrollo.