Tanto ChatGPT como sus competidores «alucinan». Así que NVIDIA ha creado una tecnología para solucionarlo

A los chatbots les da por desvariar de vez en cuando. Lo hacen porque los usuarios lo provocan, pero también sin que haya demasiados motivos para ello. Es uno de los grandes problemas de ChatGPT y sus competidores, pero NVIDIA cree tener la solución.

que ha pasado. NVIDIA ha anunciado el lanzamiento de NeMo Guardrails, un nuevo software que ayudará a los desarrolladores de soluciones basadas en IA a hacer que sus modelos planten respuestas incorrectas, tengan formas tóxicas o revelen agujeros de seguridad.

Guardarraíles para evitar problemas. Lo que hace este software es agregar una especie de barrera virtual para evitar que el chatbot hable de temas de los que no deberían. Con NeMo Guardrails se puede forzar a que un chatbot pueda hablar de cualquier tema evitando contenido tóxico, y además está diseñado para evitar que los sistemas LLM ejecuten comandos dañinos en nuestros ordenadores.

Cuidado con lo que dices, chatbot. NeMo Guardrails es una pieza de software que se ubica entre el usuario y el modelo IA conversacional o cualquier otra aplicación IA. Su objetivo es eliminar respuestas erróneas o tóxicas antes de poder ofrecer el modelo al usuario. En un ejemplo propuesto por NVIDIA de un centro de atención, indicaban como la empresa «no será necesario que conteste preguntas sobre los conductores».

Nada de datos confidenciales. Este tipo de herramientas también sirven para otro escenario en el que alguien quiere obtener información confidencial o sensible de los datos con los que ha sido entrenado el chatbot. Sabemos que ChatGPT y sus competidores no guardan secretos, y la solución de NVIDIA quiere ver la respuesta a este problema.

IAs que se hablan entre si. Este software de NVIDIA es capaz de hacer que un LLM detecte estos errores y «alucinaciones» pidiendo a otros modelos de LLM que verifiquen que las respuestas de los primeros son correctas. Si el LLM «verificador» no puede ofrecer esa respuesta, el primer LLM responderá al usuario con algo del tipo «no lo sé».

Fuente abierta. NeMo Guardrails tiene otra característica llamativa: es Open Source. Se puede usar a través de los servicios de NVIDIA y se puede usar en aplicaciones comerciales. Para usarlo, los desarrolladores pueden usar el lenguaje de programación Colang, con el que es posible crear reglas personalizadas que luego se aplicarán al modelo IA.

Imagen: Javier Pastor con Creador de imágenes de Bing

Una Xataka | «Dentro de dos años va a ser imposible saber lo que es realidad y lo que no»: el reto de regular los deepfakes