Microsoft ha lanzado Orca, un gran nuevo modelo de lenguaje que podría sustentar el futuro de los chatbots de IA como ChatGPT. Es bastante más pequeño (13 mil millones de parámetros) que sus contrapartes populares, pero ya ha superado a ChatGPT de Open AI e incluso le ha dado una oportunidad al modelo GPT 4 (supuestamente con 1 billón de parámetros) en algunos puntos de referencia. Hablando de dinero, cuesta muy poco entrenar en comparación con esos grandes. Además, es de código abierto. Bueno, eso es lo más especial y creo que deberíamos haber comenzado con eso.
De cualquier manera, aprendamos cómo su diseño y operación son importantes para la investigación y el desarrollo de IA contemporáneos y futuros.
Cómo funciona Orca y por qué es mejor que GPT
https://www.youtube.com/watch?v=–khbXchTeE
Antes de llegar a Orca, entendamos el problema que está tratando de resolver.
Para entrenar modelos de lenguaje muy grandes (LLM) como GPT 4 de Open AI o LaMDA o PaLM 2 de Google se necesitan miles de millones. Son millones por recopilar buenos datos, capacitar, refinar y reforzar el aprendizaje con comentarios humanos.
Lea también: 4 nuevas características del nuevo GPT 4 que hacen de ChatGPT un chatbot multimodal avanzado
No todas las empresas, y mucho menos los pequeños grupos de investigación, tienen esa cantidad de dinero. Además, GPT 4 y similares son demasiado potentes y versátiles para su propio bien. Es posible que los clientes de estos LLM no necesiten todos estos conocimientos y habilidades. Así que algo más económico, pero a la vez más especializado, si se quiere, es lo que necesitan estos clientes.
Orca no solo cumple con estos dos requisitos, sino que también es más inteligente en algunos aspectos.
Es gracias a la forma en que está diseñado para aprender cosas.
Aprende o deberíamos decir imita GPT 4 y modelos LLM similares. Pero no solo captura lo que hace GPT 4, sino también cómo hace algo y, por así decirlo, el proceso de pensamiento detrás de su acción.
Microsoft también ha introducido un nuevo método de aprendizaje para Orca:
Orca aprende en dos etapas. Primero resuelve las consultas más simples de ChatGPT, luego está hecho para usar ese conocimiento experiencial para aprender de GPT 4 para resolver consultas más complejas.
Lea también: Google Bard se ha actualizado con increíbles habilidades de inteligencia artificial, pero ¿es mejor que ChatGPT?
Entonces, verá, está tratando de imitar las habilidades de razonamiento de un humano imitando la forma en que los humanos piensan y actúan. Si es tan efectivo como se describe, entonces tenemos un LLM o un modelo de IA capaz de alterar el futuro de la IA.
Veamos si la actuación de Orca coincide con su prometedora teoría. Esperamos esto con cierta inquietud, por supuesto.
