BLOOM: el modelo de lenguaje multilingüe abierto más grande del mundo

Los modelos de lenguaje extenso (LLM) han tenido un impacto significativo en la investigación de IA. Estos potentes modelos generales pueden asumir una amplia variedad de nuevas tareas lingüísticas a partir de las instrucciones del usuario. Sin embargo, los laboratorios de investigación académicos, sin fines de lucro y de empresas más pequeñas tienen dificultades para crear, estudiar o incluso utilizar LLM, ya que solo unos pocos laboratorios industriales con los recursos necesarios y los derechos exclusivos pueden acceder a ellos por completo. Hoy, lanzamos BLOOM , el primer LLM multilingüe capacitado en total transparencia, para cambiar este status quo: el resultado de la mayor colaboración de investigadores de IA jamás involucrada en un solo proyecto de investigación.

Con sus 176 mil millones de parámetros, BLOOM puede generar texto en 46 lenguajes naturales y 13 lenguajes de programación. Para casi todos ellos, como el español, el francés y el árabe, BLOOM será el primer modelo de idioma con más de 100B de parámetros jamás creado. Esta es la culminación de un año de trabajo en el que participaron más de 1000 investigadores de más de 70 países y más de 250 instituciones, lo que llevó a una carrera final de 117 días (del 11 de marzo al 6 de julio) entrenando el modelo BLOOM en la supercomputadora Jean Zay en el sur de París, Francia, gracias a una subvención de cómputo por un valor estimado de 3 millones de euros de las agencias de investigación francesas CNRS y GENCI.

Los investigadores ahora pueden descargar, ejecutar y estudiar BLOOM para investigar el rendimiento y el comportamiento de los grandes modelos de lenguaje desarrollados recientemente hasta sus operaciones internas más profundas. En términos más generales, cualquier persona o institución que acepte los términos de la Licencia de IA responsable del modelo (desarrollada durante el propio proyecto BigScience) puede usar y desarrollar el modelo en una máquina local o en un proveedor de la nube, ya que está integrado en Hugging Face. ecosistema, es tan fácil como importarlo con transformadores y ejecutarlo con aceleración. En este espíritu de colaboración y mejora continua, también lanzamos, por primera vez, los puntos de control intermedios y los estados de optimización del entrenamiento. ¿No tienes 8 A100 para jugar? Estamos finalizando una API de inferencia para uso a gran escala incluso sin hardware o ingeniería dedicados. Mientras tanto, para pruebas rápidas, creación de prototipos y uso a menor escala, ya puede jugar con una versión anterior en el concentrador HF.

Este es sólo el comienzo. Las capacidades de BLOOM seguirán mejorando a medida que el taller continúe experimentando y jugando con el modelo. Hemos comenzado a trabajar para que sea tan instructivo como lo fue nuestro esfuerzo anterior T0++ y estamos programados para agregar más idiomas, comprimir el modelo en una versión más útil con el mismo nivel de rendimiento y usarlo como punto de partida para arquitecturas más complejas. … Todos los experimentos que los investigadores y profesionales siempre han querido realizar, comenzando con el poder de un modelo de más de 100 mil millones de parámetros, ahora son posibles. BLOOM es la semilla de una familia viva de modelos que pretendemos hacer crecer, no solo un modelo único, y estamos listos para apoyar los esfuerzos de la comunidad para expandirlo.

Fuente: https://bigscience.huggingface.co/blog/bloom