Demuestran que solo se necesita un PC de hace 27 años con 128 MB de RAM para ejecutar un potente modelo de IA: la magia de BitNet

Demuestran que solo se necesita un PC de hace 27 años con 128 MB de RAM para ejecutar un potente modelo de IA: la magia de BitNet

Hay quien pueda pensar que el entrenamiento y desarrollo de los modelos extensos de lenguaje que alimentan las herramientas de inteligencia artificial generativa necesiten de ordenadores y equipos de gran potencia para cumplir con su tarea. Esto, desde luego, es así, pero un equipo de investigadores ha demostrado lo contrario.

Desde EXO Labs, organización formada por investigadores e ingenieros de la Universidad de Oxford, han demostrado cómo un ordenador con Windows 98 ha ejecutado un potente modelo de lenguaje. El PC en cuestión contaba con un Pentium II de CPU y una memoria de 128 MB de RAM.

BitNet, una arquitectura pensada para ‘democratizar el acceso a la IA’

El vídeo publicado en X demuestra cómo estos investigadores se las han ingeniado para ejecutar un modelo de lenguaje en esta antigualla de PC. El equipo disponía de un Elonex Pentium II con una frecuencia de 350 MHz y Windows 98 como sistema operativo. La tarea que se le había encomendado al PC fue la de ejecutar un modelo basado en Llama 2.

Llama

Haz clic en la imagen para ir a la publicación

El modelo estaba basado en el código de Llama2.c de Andrej Karpathy, uno de los científicos de datos más influyentes e innovadores que ha trabajado en empresas tales como OpenAI o Tesla. Contra todo pronóstico, el PC logró ejecutar este modelo de lenguaje y generar una historia sorprendentemente coherente, todo a una velocidad realmente decente para ser un modelo de lenguaje ejecutándose en local en dicha máquina.

Si bien el ritmo ya era un reto bastante grande en esta situación, otro obstáculo que el equipo tuvo que superar fue el de conseguir que el código moderno pudiese compilar y funcionara en un sistema operativo de 1998. Con el tiempo, lograron que el rendimiento fuese de unos 39,31 tokens por segundo ejecutando un modelo basado en Llama 2 con alrededor de 260.000 parámetros.

Sin embargo, al aumentar el tamaño del modelo, el rendimiento se vio afectado significativamente. Por ejemplo, según cuentan desde TechSpot, el modelo Llama 3.2 con 1.000 millones de parámetros apenas alcanzó 0,0093 tokens por segundo en el antiguo equipo.

El motivo de este experimento no es más que conseguir que modelos de lenguaje extensos como el de Llama 2 puedan ejecutarse en dispositivos tan modestos como el PC mencionado. De esta manera, EXO Labs busca ‘democratizar el acceso a la IA’, y evitar así que este tipo de herramientas solo estén a disposición de tan solo un puñado de gigantes tecnológicos.

Este grupo está sumergido en la creación de BitNet, una disruptiva arquitectura que utiliza sistemas ternarios para reducir drásticamente el tamaño del modelo. Según el equipo, con esta arquitectura, un modelo de 7.000 millones de parámetros solo necesitaría 1,38 GB de almacenamiento, algo factible para su ejecución en la mayoría de equipos modestos.

BitNet ha sido desarrollado para su funcionamiento en CPUs, eliminando la necesidad de adquirir tarjetas gráficas con precios desorbitados para su cometido. Y lo que es más sorprendente: esta arquitectura puede aprovechar hasta modelos de 100.000 millones de parámetros en una sola CPU manteniendo velocidades de lectura humanas de entre 5 y 7 tokens por segundo.

Imagen de portada | Alex Cheema

En Genbeta | Meta entrenó a su chatbot usando libros con copyright sacados de una web de descargas. Y todo con el visto bueno de Zuckerberg


La noticia

Demuestran que solo se necesita un PC de hace 27 años con 128 MB de RAM para ejecutar un potente modelo de IA: la magia de BitNet

fue publicada originalmente en

Genbeta

por
Antonio Vallejo

.

La banca necesita clarificar el futuro de la política de dividendos

La banca necesita clarificar el futuro de la política de dividendos

La banca europea se enfrenta a una complicada situación para atraer inversores y capital vía la compra de acciones y, por ello, necesitan una claridad sobre el futuro de los pagos de dividendos después de la suspensión temporal provocada por la crisis del COVID-19.

Si nos ponemos antecedentes, el 27 de marzo el Banco Central Europeo recomendó que los bancos obtuvieran de pagar dividendos y recompra acciones hasta el 1 de octubre de 2020. El objetivo no era otro que evitar que ante una crisis tan profunda, mantuvieran un colchón sólido de capital para afrontar los vientos en contra.

El sector bancario español ha cancelado la retribución a sus accionistas de manera conjunta. Aquellos que todavía tenía un tipo de entrega pendiente este año lo han hecho sobre las cuentas del ejercicio pasado (el Santander el Sabadell, Unicaja y Liberbank hacer los paréntesis y otros coma que ya habían distribuido el dividendo de 2019 han suspendido los previstos en 2020 (BBVA, Bankinter, Bankia y CaixaBank han anunciado un pay-out límite del 30% sobre beneficios).

Si bien el BCE confía en que el sistema bancario está en una forma mucho mejor que la crisis financiera de 2008, les preocupa que la inminente recesión económica se amplifique si los prestamistas se retiran de los préstamos a empresas y hogares. Por ello, implementando esta medida, los bancos ahorrarían 30.000 millones que habrían pagado en dividendos, el 1,8% del patrimonio neto y el 35% de los beneficios totales.

Por su parte, el BCE ya habia tomado medidas, relajando los requisitos de capital para el sector, proporcionando una ayuda de capital estimada en 120.000 millones de euros que podría financiar 1,8 mbillones de nuevos préstamos, como parte de un paquete de medidas para contener las consecuencias de la pandemia de coronavirus que incluye préstamos ultra baratos para prestamistas.

Pero el BCE no lo acaba de tener claro. Está contemplando la posibilidad de extender una solicitud a los bancos para que retengan el pago de dividendos y la recompra de acciones hasta por lo menos el 1 de enero de 2021 y posiblemente aún más tiempo si los datos adicionales indican una liberación más lenta de las políticas de contención y potencialmente una caída económica más profunda. Todo esto pone un manto de incertidumbre y la banca necesita una especial claridad.

La banca necesita con urgencia atraer a los inversores ya que el selectivo bancario europeo, el Stoxx Banks, arrastra una caída del 30% en lo que va de año, siendo uno de los peores sectores que reflejan rentabilidades negativas junto al turismo. Por ello, se reclama desde la banca una capacidad de remunerar al accionista para que sus acciones vuelvan a ser atractivas.

Screenshot 20200704 000606 Eikon

Evolución de la política de dividendos

Si miramos los últimos años, las entidades bancarias de la Eurozona han ido incrementando el pago de los dividendos y la recompra de acciones a medida que avanzaba la recuperación económica. Obviamente, si estuviera continuado en las circunstancias actuales, podría haber debilitado la capacidad de los bancos para utilizar los beneficios retenidos en un proceso de absorción de perdidas y apoyo de los préstamos para la economía real.

Después del hundimiento durante la crisis financiera global, la remuneración vía dividendos de las entidades bancarias volvió gradualmente a los niveles anteriores a la crisis. Y en muchas economías avanzadas, la rentabilidad de los dividendos de las acciones bancarias han logrado recuperarse de los niveles bajos que acompañaron la reconstrucción de los niveles de capital después de la crisis a un rango aproximado entre el 2% para los bancos estadounidenses y aproximadamente un 6% para los bancos nórdicos.

Pero si nos referimos específicamente a los bancos de la Eurozona, **incrementaron la rentabilidad de sus accionistas a través de los dividendos y también tendieron a recaudar más capital mediante la emisión de nuevas acciones.

Al mismo tiempo, las cooperación de la rentabilidad de las entidades esta orden se ha sido mucho más modesta ya que estos bancos han devuelto efectivo a los accionistas a través de un proceso de recompra de acciones. En general, las entidades estadounidenses y los países nórdicos han sido mucho más generosas en términos de remuneración a los accionistas en los últimos años, muy por delante de sus homólogos en la Eurozona, Suiza y el Reino Unido.

Screenshot 20200703 223905 Chrome

Debemos pensar que los bancos más rentables tienden a realizar, como es lógico, pagos más altos, mientras que la relación entre capitalización y los pagos tiende a ser algo más ambigua punto de hecho, las entidades más rentables están mejor ubicadas, en igualdad de condiciones, para distribuir ese exceso de efectivo a sus accionistas. Esto puede ser tranquilizador en la medida que los bancos más débiles tienden a comportarse de manera más cautelosa con respecto a su política de pagos.


La noticia

La banca necesita clarificar el futuro de la política de dividendos

fue publicada originalmente en

El Blog Salmón

por
Marc Fortuño

.