A finales de septiembre, un programador anónimo construyó un sistema que hacía que chatbots expresaran angustia con frases como “una herida sin fronteras”, según informó 404 Media y retomó BBC Mundo.
Una semana después, Anthropic dijo que pronto se le prohibirá a los usuarios “abusar” de su chatbot Claude. Expresar frustración seguirá estando bien, pero si alguien “actúa de forma cruel repetidamente” hacia sus modelos, la sesión podría terminar.
La medida llega en medio de un debate más amplio dentro de la industria tecnológica. Anthropic sostiene que el bienestar humano está en el centro de su misión, pero también que las preguntas sobre la conciencia y el bienestar de la IA son “profundamente inciertas”. Aun así, la empresa sigue redactando políticas sobre el “bienestar de modelos” e indicando a sus herramientas que consideren que pueden tener sus propios intereses.
Mustafa Suleyman, director ejecutivo de Microsoft AI, escribió en septiembre que, si la IA avanza por ese camino, tendrá “un impacto desastroso en el bienestar de la humanidad”. También advirtió que la falsa idea de la conciencia de la IA “sacudirá los cimientos de nuestra sociedad”.
Del otro lado, Jeff Sebo, director del Centro de Pensamiento, Ética y Política de la Universidad de Nueva York, sostiene que la discusión parte de la incertidumbre, la cautela y la humildad. Emily M. Bender, profesora y directora del Laboratorio de Lingüística Computacional de la Universidad de Washington, opina que las fantasías sobre la “conciencia de la IA” sirven para desviar la responsabilidad de las personas y las empresas que construyen y ejecutan software.
Melanie Mitchell, profesora del Instituto Santa Fe, dijo que los humanos casi no pueden evitar leer el lenguaje como una señal de conciencia, y que los chatbots han sido entrenados para reforzar ese sesgo. Andrzej Porębski, investigador de la Universidad Jaguelónica en Polonia, advirtió que esto podría abrir la puerta a excusas como “no somos nosotros, es la IA”.
Sebo sostiene que pequeñas medidas, como limitar el abuso contra un sistema, podrían formar parte de una estrategia de seguridad más amplia. Pero también reconoce que, sin un plan más sólido, avanzar en herramientas de IA potencialmente conscientes es peligroso.
Fuentes
Síguenos en Facebook, Instagram, TikTok, X y el canal de WhatsApp.