Unos exinvestigadores del MIT tienen una solución particular
Los chatbots se han convertido en uno de los ejes del auge de la inteligencia artificial (I A). Desde ChatGPT y Copilot hasta Claude Chat y Perplexity, estas herramientas son tendencia. Sin embargo, por mucho que nos entusiasmamos, no debemos confiar plenamente en sus respuestas.
Y, sino que se lo dijeron al abogado que recurríó a ChatGPT para salir victorioso en un juicio y descubrió que los documentos presentados ante el juez contenían decisiones judiciales, referencias y citas falsas. Como podemos ver, los chatbots tienen muchas virtudes, pero la confiabilidad no es una de ellas.
Una posible solución al problema de la confiabilidad.
Un estudio publicado por una empresa emergente financiada por Google sugiere que los chatbots tienen un índice de alucinaciones al menos 3%. Para muchos usuarios esto puede ser un problema menor, pero las cosas cambian cuando hablamos de usos profesionales.
Las herramientas impulsadas por grandes modelos de lenguaje (LLM) están llegando al mundo empresarial a través de soluciones como Copilot y Office 365. Ahora bien, si los empleados logran manejar información errónea, esto podría acabar provocando más de un dolor de cabeza en la empresa.
Cleanlab, una startup fundada por exinvestigadores del MIT, acaba de lanzar su propia iniciativa para abordar este problema. Hablamos de una herramienta impulsada por lo que llamamos Trustworthy Language Model (TLM), un enfoque que apunta a ello confiabilidad de las respuestas.
TLM funciona como una «capa de confianza» para que los usuarios puedan saber qué tan confiable es la respuesta que acaban de recibir a través de un sistema de puntuación. Esta herramienta ha sido diseñada para que pueda funcionar de forma complementaria a modelos como GPT-3.5, GPT-4 y modelos personalizados de empresas.
El sistema envía nuestra pregunta a varios modelos y luego analiza su devolución. La respuesta llegará acompañada con un puntaje que se situará entre 0 y 1. En una prueba simple en la que hemos preguntado la raiz cuadrada de nueve hemos recibido una respuesta correcta (3) con un puntaje de 0.885.
Cleanlab señala que ChatGPT en su versión gratuita puede equivocarse en cosas muy simples. Cuando se le pregunta cuántas veces aparece la letra “N” en la palabra “enter”, el chatbot de OpenAI responde que la letra aparece dos veces. Lo hemos probado y efectivo el chatbot responde incorrectamente.
La startup imagina que su tecnología será útil en una amplia gama de usos. Menciona que podría ayudar a los chatbots de atención al cliente a ser más confiables. El chatbot funcionaría de manera automatizada, pero si una de las respuestas cae por debajo del umbral de confiabilidad, se podría solicitar la intervención de un humano.
Si eres un entusiasta de la inteligencia artificial, puedes probar TLM a través de la web. La herramienta también está disponible a través de una API. Cabe señalar que la solución está disponible a través de versiones gratuitas de código abierto y versiones pagas con funciones adicionales.
Imágenes | Laboratorio limpio | La captura de pantalla
A Xataka | El ganador más inesperado de la primera gran batalla de IA es también el que dábamos por muerto: Meta