Los modelos de lenguaje extenso (LLM) son la tecnología subyacente que ha impulsado el ascenso meteórico de los chatbots generativos de IA. Herramientas como ChatGPT, Google Bard y Bing Chat se basan en LLM para generar respuestas similares a las humanas a sus indicaciones y preguntas.
Pero, ¿qué son los LLM y cómo funcionan? Aquí nos propusimos desmitificar los LLM.
¿Qué es un modelo de lenguaje grande?
En sus términos más simples, un LLM es una base de datos masiva de datos de texto a la que se puede hacer referencia para generar respuestas similares a las humanas a sus indicaciones. El texto proviene de una variedad de fuentes y puede ascender a miles de millones de palabras.
Entre las fuentes comunes de datos de texto utilizadas se encuentran:
- Literatura : los LLM a menudo contienen enormes cantidades de literatura contemporánea y clásica. Esto puede incluir libros, poesía y obras de teatro.
- Contenido en línea : un LLM generalmente contendrá un gran depósito de contenido en línea, incluidos blogs, contenido web, preguntas y respuestas de foros y otros textos en línea.
- Noticias y temas de actualidad : algunos LLM, pero no todos, pueden acceder a temas de actualidad. Ciertos LLM, como GPT-3.5, están restringidos en este sentido.
- Redes Sociales : Las redes sociales representan un enorme recurso de lenguaje natural. Los LLM usan texto de las principales plataformas como Facebook, Twitter e Instagram.
Por supuesto, tener una gran base de datos de texto es una cosa, pero los LLM deben estar capacitados para darle sentido y producir respuestas similares a las humanas. Cómo lo hace es lo que cubrimos a continuación.
¿Cómo funcionan los LLM?
¿Cómo utilizan los LLM estos repositorios para crear sus respuestas? El primer paso es analizar los datos mediante un proceso llamado aprendizaje profundo.
El aprendizaje profundo se utiliza para identificar los patrones y matices del lenguaje humano. Esto incluye obtener una comprensión de la gramática y la sintaxis. Pero, lo que es más importante, también incluye contexto. Comprender el contexto es una parte crucial de los LLM.
Veamos un ejemplo de cómo los LLM pueden usar el contexto.
El aviso en la siguiente imagen menciona ver un murciélago en la noche. A partir de esto, ChatGPT entendió que estábamos hablando de un animal y no, por ejemplo, de un bate de béisbol. Por supuesto, otros chatbots como Bing Chat o Google Bard pueden responder esto de manera completamente diferente.
Sin embargo, no es infalible y, como muestra este ejemplo, a veces necesitará proporcionar información adicional para obtener la respuesta deseada.
En este caso, lanzamos deliberadamente un poco de bola curva para demostrar con qué facilidad se pierde el contexto. Pero los humanos también pueden malinterpretar el contexto de las preguntas, y solo necesitan un aviso adicional para corregir la respuesta.
Para generar estas respuestas, los LLM utilizan una técnica llamada generación de lenguaje natural (NLG). Esto implica examinar la entrada y usar los patrones aprendidos de su depósito de datos para generar una respuesta contextualmente correcta y relevante.
Pero los LLM van más allá de esto. También pueden adaptar las respuestas para que se adapten al tono emocional de la entrada. Cuando se combinan con la comprensión contextual, las dos facetas son los principales impulsores que permiten a los LLM crear respuestas similares a las humanas.
En resumen, los LLM utilizan una base de datos de texto masiva con una combinación de técnicas de aprendizaje profundo y NLG para crear respuestas similares a las humanas a sus indicaciones. Pero hay limitaciones a lo que esto puede lograr.
¿Cuáles son las limitaciones de los LLM?
- Comprensión contextual: mencionamos esto como algo que los LLM incorporan en sus respuestas. Sin embargo, no siempre lo hacen bien y, a menudo, no pueden entender el contexto, lo que lleva a respuestas inapropiadas o simplemente incorrectas.
- Sesgo: cualquier sesgo presente en los datos de entrenamiento a menudo puede estar presente en las respuestas. Esto incluye prejuicios hacia el género, la raza, la geografía y la cultura.
- Sentido común: el sentido común es difícil de cuantificar, pero los humanos aprenden esto desde una edad temprana simplemente observando el mundo que los rodea. Los LLM no tienen esta experiencia inherente a la que recurrir. Solo entienden lo que se les ha proporcionado a través de sus datos de entrenamiento, y esto no les da una verdadera comprensión del mundo en el que existen.
- Un LLM es tan bueno como sus datos de entrenamiento: nunca se puede garantizar la precisión. El viejo adagio informático de "Basura entra, basura sale" resume perfectamente esta limitación. Los LLM son tan buenos como la calidad y la cantidad de sus datos de capacitación les permiten ser.
- Eficiencia mejorada : con los LLM que presentan cientos de millones de parámetros, consumen muchos recursos. Con mejoras en el hardware y los algoritmos, es probable que sean más eficientes energéticamente. Esto también acelerará los tiempos de respuesta.
- Conciencia contextual mejorada : los LLM son autodidactas; cuanto más uso y comentarios reciben, mejores se vuelven. Es importante destacar que esto es sin ninguna ingeniería importante adicional. A medida que avanza la tecnología, esto verá mejoras en las capacidades lingüísticas y la conciencia contextual.
- Capacitado para tareas específicas : las herramientas de Jack-of-all-trade que son la cara pública de los LLM son propensas a errores. Pero a medida que se desarrollan y los usuarios los capacitan para necesidades específicas, los LLM pueden desempeñar un papel importante en campos como la medicina, el derecho, las finanzas y la educación.
- Mayor integración : los LLM podrían convertirse en asistentes digitales personales. Piensa en Siri con esteroides y te haces una idea. Los LLM podrían convertirse en asistentes virtuales que lo ayuden con todo, desde sugerir comidas hasta manejar su correspondencia.
