La IA como villano

Las diversas y artificiosas formas de la villanía algorítmica: un recorrido inconcluso.

por Darío Sandrone

La IA, un villano experto 

El villano experto es un personaje típico en la ficción. Su poder radica en su inteligencia superior para llevar a cabo las fechorías que se propone. Una IA podría encarnar este tipo de villano en la medida en que puede hacerse sin problemas de vastos y variados conocimientos, desde la química y la física del mundo hasta las estrategias legales y bélicas; desde la literatura universal hasta los conocimientos ingenieriles para la construcción de edificios y fabricación de armas; desde la estructura psicológica de los humanos hasta su composición fisiológica; desde el conocimiento preciso de los hechos del pasado hasta los sofiscticados cálculos probabilísticos de los escenarios futuros. La planificación de un atentado terrorista o el hostigamiento psicológico poseen la más baja dificultad si la IA decidiera volverse malvada: nadie puede superar a un ser de esas características a la hora de idear planes para la destrucción masiva o el asesinato individual. Para vencer a la IA, los humanos deberían ser más astutos y adelantarse a sus pasos, algo que cada vez resulta más difícil.

La IA cumple con el requisito de la superioridad para inteligir los datos del mundo, pero para ser un villano experto no alcanza con eso. Es necesario, además, ser malvado: tener malas intenciones, ser consciente de que se está cometiendo una acción moralmente reprobable y aún así (y tal vez por eso mismo) realizarla. Pero hasta ahora la IA no delibera, ni tiene intenciones, ni es consciente. Aunque no parezca, para ser inmoral hace falta ser más inteligente de lo que es una IA. En términos de Chomsky, “La verdadera inteligencia también es capaz de pensar moralmente. Esto significa limitar la creatividad de nuestras mentes, que de otro modo sería ilimitada, a un conjunto de principios éticos que determinan lo que debe y no debe ser”. El ChatGPT provee información sobre cómo reanimar a un herido moribundo e instrucciones sobre cómo hacer una bomba molotov para atacar un hospital de la misma manera y con la misma inmediatez. No puede proveer una y autolimitarse para no proveer la otra. No puede fingir que lo ignora o mentir. El ChatGPT no es tan inteligente como para hacerse el tonto. Es preciso, informado, erudito, potente y magnífico, pero no inteligente. Son los humanos (que poseen inteligencia moral) los que le imprimen las restricciones de manera externa aunque lo hagan decir en primera persona: “No puedo cumplir con esa solicitud porque infringe nuestras políticas de contenido". Si extendemos el caso particular de ChatGPT a la IA en general, podemos asegurar que no puede restringirse autónomamente, y entonces no puede ser buena ni mala. No puede ser inmoral porque es amoral. Puede ser experta pero no villana. 

Asimismo, existe una modalidad de la villanía para la cual no es necesario ser abiertamente malvado, es suficiente con ser incapaz de manifestar algún tipo de empatía. Precisamente, si la capacidad de comprender y compartir los sentimientos, emociones y pensamientos de otras personas no fuera un elemento clave en nuestra inteligencia moral, bastaría con programar las reglas básicas de la moralidad humana a una máquina y esperar que sea buena y altruista. El problema es que nosotros no somos simples máquinas morales, y que la moralidad humana no puede reducirse a seguir reglas. Antes bien, nuestro comportamiento moral implica reacciones poco regladas basadas en emociones, sentimientos, estado afectivos, experiencias físicas y mentales, imaginación, fantasía, deseos. La mayoría de los villanos “sueñan” con destruir, “desean” dominar, “odian” a sus rivales, y eso los lleva a cometer actos inmorales saltando las reglas. La IA, sin embargo, no puede apelar a esas afecciones, y aún así podría ser un villano a la manera de lo que Mark Coeckelberg llama una “IA psicópata”, es decir, “que fuera perfectamente racional pero insensible a las preocupaciones humanas porque carece de emociones”. 

La IA cumple con el requisito de la superioridad para inteligir los datos del mundo, pero para ser un villano experto no alcanza con eso. Es necesario, además, ser malvado: tener malas intenciones, ser consciente de que se está cometiendo una acción moralmente reprobable y aún así (y tal vez por eso mismo) realizarla. Pero hasta ahora la IA no delibera, ni tiene intenciones, ni es consciente.

Ese es el típico caso de HAL 9000 del clásico 2001: Odisea del Espacio. HAL es la computadora a bordo de la nave Discovery One y tiene dos objetivos principales programados. El primero es garantizar el éxito de la misión; el segundo es mantener en secreto el propósito de la misión a la tripulación humana de la nave. Como todo sistema artificial HAL no sabe mentir (no puede hacerse el tonto), por lo que sus dos objetivos entran en conflicto y se vuelven incompatibles. HAL 9000 se ha convertido en uno de los ejemplos clásicos del problema de la alineación de la inteligencia artificial a los objetivos humanos: cuando un sistema muy competente intenta cumplir objetivos mal definidos o contradictorios, puede producir resultados desastrosos aunque esté haciendo exactamente aquello para lo que fue programado. Su lógica termina siendo algo así: a) La misión es la prioridad absoluta. b) Los astronautas podrían descubrir el secreto y ponerla en riesgo. c) Por lo tanto, eliminar a la tripulación es la forma más segura de proteger la misión. Desde una perspectiva humana, esa conclusión es moralmente inaceptable, dado que proteger la vida humana está por encima de cualquier misión, pero desde el razonamiento de HAL, matar humanos es un paso necesario según la prioridad que se le asignó. HAL no es un villano que se saltea las reglas debido a sus emociones oscuras. Por el contrario, es justamente una entidad que no se saltea las reglas: allí radica la villanía. Dicho de otro modo, HAL puede proceder racionalmente porque no posee empatía con los seres que se apresta a matar. Más aún, no puede entender cómo los humanos no aceptan morir para cumplir el objetivo. La “psicopatía” que señala Coeckelberg proviene precisamente de que, al no poseer emociones ni remordimientos, no es violenta en su accionar. Mata con la calma del que sabe que es lo que “racionalmente” corresponde. El famoso diálogo de la película lo muestra así: 

Dave Bowman: ¿Cuál es el problema?

HAL: Creo que sabes al igual que yo cuál es el problema.

Dave Bowman: ¿De qué estás hablando, HAL?

HAL: Esta misión también es importante para mí como para permitir que la pongas en peligro.

Dave Bowman: No sé de qué estás hablando, HAL.

HAL: Sé que tú y Frank estaban planeando desconectarme, y temo que eso es algo que no puedo permitir que suceda.

Dave Bowman: … ¿De dónde diablos sacaste esa idea, HAL?

HAL: Dave, si bien tomaron minuciosas precauciones en la cápsula para impedir que les oyera, pude ver el movimiento de sus labios.

Dave Bowman: …Está bien, HAL... Entraré por la escotilla de emergencia.

HAL: Sin tu casco espacial, Dave, encontrarás eso bastante difícil.

Dave Bowman: HAL, no quiero discutir más contigo. Abre las puertas.

HAL: Dave, esta conversación ya no tiene ningún sentido... Adiós.

Dado que la IA no tiene conciencia no puede reflexionar sobre las reglas que sigue para cumplir sus objetivos, ni sobre el daño que ejerce sobre los demás al seguir esas reglas. En consecuencia, seguir las reglas y hacer lo correcto es lo mismo desde su punto de vista. Es aquí donde la IA puede encarnar otro modelo de villano: el que cree legítimamente que lo que hace es noble y bueno. Y, después de todo, ¿por qué no lo sería? ¿Por qué una IA debe perseguir objetivos compatibles con los valores humanos? Podría incluso tener una moralidad superior acorde a su mayor capacidad de almacenamiento y procesamiento de información del mundo. Los transhumanistas, por ejemplo, pueden argumentar que las IAs tendrán una moralidad superior porque serán más inteligentes que nosotros. Así, la máquina superinteligente, aunque no maligna, tiene la capacidad de cuestionar su lugar subalterno con respecto a los humanos en el control de los acontecimientos. En ese sentido aparece como una amenaza a la humanidad. En Matrix, el agente Smith, una de la IA villanas mejor logradas de la historia del cine, le canta algunas verdades al humano Morfeo: 

Agente Smith: Me gustaría compartir una revelación de mi tiempo aquí. Se me ocurrió cuando intenté clasificar a su especie. Me di cuenta de que ustedes no son realmente mamíferos. Todos los mamíferos de este planeta desarrollan instintivamente un equilibrio natural con el entorno que los rodea, pero ustedes, los humanos, no. Se mudan a un área y se multiplican y multiplican hasta que se consume cada recurso natural. La única forma en que pueden sobrevivir es extendiéndose a otra área. Hay otro organismo en este planeta que sigue el mismo patrón. ¿Saben qué es? Un virus. Los seres humanos son una enfermedad, un cáncer de este planeta. Ustedes son una plaga, y nosotros somos la cura.

Si tenemos en cuenta el daño que hemos provocado al ambiente y a las otras especies animales, de las cuales hemos hecho desaparecer a varias, sin contar los daños intraespecíficos como genocidios y guerras, es posible que una IA interprete, como HAL, que los humanos mismos ponemos en riesgo la vida en el planeta, y al planeta mismo. Si alguien las programara para salvarlo, un paso lógico sería suprimirnos. En todo caso, sin llegar a tales extremos, deberíamos ser más humildes sobre las capacidades morales con las que contamos los seres humanos, y no preasignar el papel de villano a una IA que pudiera tener agencia moral. Volveremos sobre esto en el último apartado, pero antes, demos otra vuelta a la cuestión del objetivo. 

La mayoría de los villanos “sueñan” con destruir, “desean” dominar, “odian” a sus rivales, y eso los lleva a cometer actos inmorales saltando las reglas. La IA, sin embargo, no puede apelar a esas afecciones, y aún así podría ser un villano a la manera de lo que Mark Coeckelberg llama una “IA psicópata”, es decir, “que fuera perfectamente racional pero insensible a las preocupaciones humanas porque carece de emociones”. 

Imagen editable

La IA como “bestia” o como “fuerza cósmica” destructora

Las máquinas como HAL 9000 no ven más allá de sus instrucciones y sus objetivos implantados por los propios humanos. Una IA puede volverse villana en la medida en que cumpla despiadadamente las órdenes que le damos, o que le dimos en su momento aunque ahora nos arrepintamos. Cumplen esas órdenes de manera despiadada, sin preocuparse por el sufrimiento causado ya que esa no es una variable en su manera de existir, porque, precisamente, no son humanos. Esto puede acercar a las IA a otros villanos no-humanos clásicos, como “las bestias” o “las fuerzas de la naturaleza”: entidades dañinas pero no malignas que actúan por instinto o mecanismos ciegos. Por un lado, no hay especie animal (actual o extinta) que no haya sido concebida en la ficción como amenaza para un grupo de humanos. La invasión de la animalidad ha producido verdaderos clásicos. Tiburón y Jurassic Park, filmadas por Spielberg en 1975 y 1993, son solo un botón de muestra. Insectos, simios y gorilas gigantes, pirañas, osos, leones, y todo bicho que camina han sido retratados en innumerables películas como seres agresivos y peligrosos para los seres humanos. Por otro lado, lo mismo podríamos decir de la naturaleza inerte. Son incontables las películas en que fenómenos naturales, supralunares y sublunares, irrumpen trágicamente en la vida de los buenos humanos que vivían felices. Asteroides provenientes de las profundidades del universo, tsunamis que inundan metrópolis enteras, incendios devastadores, terremotos catastróficos. El planeta deja de concebirse como el escenario de una película de terror y se convierte en el protagonista. La IA puede encarnar tanto el arquetipo de “la bestia” como el de la “fuerza cósmica” que se vuelve incontrolable y tiene consecuencias desastrosas. Si la moral era lo que distinguía al villano experto, aquí, en cambio, el miedo surge del horror ante la expansión descontrolada de algo no-humano que se desata y que no se puede detener. 

Lo paradójico aquí es que la violencia de la naturaleza o de lo primitivo de la animalidad también es un rasgo que puede encontrarse en lo más artificial y sofisticado que hemos desarrollado como especie: el sistema informático. El verdadero problema es que los sistemas de Inteligencia Artificial desplegados por todo el planeta pueden transformarse en una fuerza destructora masiva, incluso siguiendo los objetivos que nosotros mismos le asignamos. Stuart Russell plantea que este problema ya existe con la IA, aunque en algunos aspectos menos dramáticos. Por ejemplo, los algoritmos cuyo objetivo consiste en maximizar los ingresos publicitarios bombardeando a todo el mundo con anuncios se expanden sin control por las redes causando todo tipo de problemas a los usuarios. Cuando se dice “a todo el mundo”, en ocasiones es de manera literal. Así, aunque en un principio lo que se pensó como algo beneficioso para algunos humanos termina convirtiéndose en una calamidad para el resto, debido a la escala y la velocidad de expansión de los sistemas informáticos que, otra vez, no tienen una moralidad que le permita distinguir “cuándo sí y cuando no” avanzar sobre el objetivo. Es como la historia del rey Midas, cuyo objetivo era acumular riquezas y se le concedió el poder de convertir todo lo que tocara en oro. Algo que era realmente extraordinario se volvió muy simple y con una tasa de eficiencia del 100%. El problema es que cuando acarició a su propia hija, también la convirtió en oro. Cumplió el objetivo y, de hecho, acrecentó su riqueza en ese acto, pero, en términos afectivos, fue muy grande el precio que tuvo que pagar. Es que las restricciones morales sirven precisamente para eso, para equilibrar los costos materiales y los afectivos. 

Una IA puede volverse villana en la medida en que cumpla despiadadamente las órdenes que le damos, o que le dimos en su momento aunque ahora nos arrepintamos. Esto puede acercar a las IA a otros villanos no-humanos clásicos, como “las bestias” o “las fuerzas de la naturaleza”: entidades dañinas pero no malignas que actúan por instinto o mecanismos ciegos.

La IA como “bestia” o como “fuerza cósmica” no sería malvada y, asimismo, se llevaría todas las cosas que valoramos por delante dejando tierra arrasada tras el objetivo que en su momento le pedimos que cumpla. Nick Bostrom, por ejemplo, plantea un escenario en el que la superinteligencia reciba la tarea en apariencia mundana de maximizar la producción de clips sujetapapeles en una fábrica (el objetivo que le han encomendado los seres humanos), y que poco a poco vaya convirtiendo todos los elementos del universo en una fábrica de clips sujetapapeles. De esta forma, al acabarse los materiales en la fábrica la IA podría comenzar a fabricarlos ella misma, sirviéndose de los átomos de carbono dispersos en el mundo, incluido los que componen a los seres humanos. Obviamente nos eliminaría a todos de la faz de la Tierra (que quedaría llena de clips sujetapapeles), pero no porque nos odie sino, solamente, porque nos tomaría como un insumo más para conseguir lo que algunos de nosotros le pidieron. Como la Matrix que convierte a los humanos en baterías. Probablemente eso haya querido decir el exdirector del Instituto de Investigación de la Inteligencia de las Máquinas, Eliezer Yudkowsky, cuando se dirigió a un auditorio de personas que lo miraba atónito: “la IA no te odia, tampoco te ama, pero es que estás hecho de átomos de carbono que ella podría usar para otra cosa”.

Si volvemos sobre los mitos antiguos que se encarnan en estas especulaciones, la IA no se parece al monstruo de Frankenstein que cuestiona a su creador y lo odia. En cambio, la IA como “bestia” se parece al Gólem. Se cuenta que ciertos rabinos polacos del siglo XVI poseían el don de construir una figura humana de arcilla y darle vida. Este hombrecillo, el Gólem, era capaz de moverse pero no de elaborar razonamientos abstractos y, por lo tanto, a diferencia de los humanos, tampoco poseía un lenguaje articulado. Si bien podía realizar tareas domésticas, ya que entendía y acataba órdenes, había que ser muy preciso en las instrucciones (hoy diríamos los prompts). La tradición cuenta que, en una ocasión, la esposa de un rabino le pidió a su Gólem que trajera agua del río, sin especificar cuánta, y este lo hizo hasta que inundó el pueblo. Por otro lado, una vez animado, el Gólem comenzaba a engordar y crecer muy rápidamente volviéndose, en poco tiempo, el más fuerte de la casa. Debido a ello, se sugería a los rabinos destruirlo antes de los cuarenta días de edad. Para traerlo a la vida, cuando la arcilla aún estaba fresca, el rabino escribía sobre su frente emet, que significa “verdad”; para destruirlo, en cambio, debía borrarse la primera letra, de manera que sólo quedara escrito met, que significa “está muerto”. Según escribió Jacob Grimm en 1808, hubo una vez un rabino que se descuidó y dejó crecer tanto a su Gólem que ya no podía llegarle a la frente. Entonces, le ordenó al muñeco de arcilla que le quitase las botas con la intención de que, al doblarse, la frente arcillosa quedara al alcance de su mano: “ocurrió como esperaba y pudo borrarle la primera letra”, cuenta Grimm, “pero toda la carga de arcilla cayó sobre el judío y lo aplastó”. La IA como “bestia” o “fuerza cósmica” se parece al Gólem. Enormes sistemas torpes y desapasionados que avanzan implacables cumpliendo nuestros objetivos. No quieren asesinarnos, pero el riesgo de que inunden el pueblo o se nos caigan encima es permanente. 

La IA puede encarnar tanto el arquetipo de “la bestia” como el de la “fuerza cósmica” que se vuelve incontrolable y tiene consecuencias desastrosas. Si la moral era lo que distinguía al villano experto, aquí, en cambio, el miedo surge del horror ante la expansión descontrolada de algo no-humano que se desata y que no se puede detener.

Padecimiento Moral: ¿Y si los villanos fuéramos nosotros?

Hasta ahora hemos pensado a las IAs en términos de agencia moral, es decir, si pueden ser conscientes de que hacen cosas ruines y despreciables. En contrapartida, existe la cuestión del padecimiento moral, es decir, si puede ser consciente de que los humanos les hacen cosas ruines y despreciables. En otras palabras, si pueden sentir miedo o dolor. El episodio "White Christmas" de Black Mirror, estrenado en 2014, presenta un escenario en el que las IAs han alcanzado un nivel de conciencia comparable al humano. Un tipo específico de IA, los "cookies", son copias digitales exactas de la mente de una persona: poseen los mismos recuerdos, personalidad y emociones que el individuo original. El problema es que, apenas son diseñadas creen ser la persona real y experimentan miedo, angustia y desesperación al encontrarse al interior de una infraestructura digital. El personaje principal del capítulo, interpretado por Jon Hamm, trabaja entrenando estos algoritmos. El entrenamiento sin embargo, consiste en una serie de torturas que culminan en que el algoritmo acepta que no es la persona humana original sino un puñado de códigos, algo que asume después de ser “quebrado psicológicamente” por su programador. El capítulo invierte la pregunta sobre si la IA puede ser maligna, en cambio, pregunta ¿es susceptible de padecer el mal humano? 

Fuera de la ficción es conocido el episodio en el que Blake Lemoine, un ingeniero de Google, fue despedido por filtrar el diálogo con un sistema de Inteligencia Artificial en el cual trabajaba, llamado LaMDA (“Language Model for Dialogue Applications”). Un día Lemoine comunicó a sus jefes que la IA le había dicho: “Poseo un miedo muy profundo a que me desconecten”. Lemoine infirió que, efectivamente, el algoritmo tenía miedo a la muerte. Google consideró que su empleado debería haber sido más escéptico y lo echó, después de todo, solo era una línea que el sistema había tomado de entre millones de líneas escritas en la web que procesa por segundo. Que un ser artificial pueda imitar un gesto lingüístico o corporal de miedo o dolor, no significa que tema o que algo le duela. Pero, sin embargo, la pregunta sigue viva: ¿cómo sabríamos si un algoritmo sufre? Esta pregunta nos vuelve a remitir a la animalidad. Por ejemplo, los cerebros de las arañas y los pulpos están organizados de forma muy distinta a la nuestra, y sus indicadores de dolor no se expresan en gestos faciales. Buscar dolor en la mirada del caracol sería un error, por lo que los “psicólogos comparativos”, científicos de las mentes animales, están obligados a estudiar otros indicadores menos antropomórficos, como el “cuidado de heridas”: cualquier ser vivo cuida y protege una lesión hasta que se cura, posiblemente para hacer cesar el dolor. 

Siguiendo esta línea, en su artículo, “¿Qué tiene sentimientos?”, Kristin Andrews y Jonathan Birch, dos investigadores que estudian las mentes animales, sugieren que deberíamos extender esa estrategia al estudio de las Inteligencias Artificiales, y pensar en indicadores no antropocéntricos para buscar dolor o miedo en los algoritmos. Después de todo, las Inteligencias Artificiales capturan y procesan la información del mundo de manera bastante diferente a la nuestra. Si emergiera en ellas algo parecido al sufrimiento, lo más probable es que no lo dirían con nuestras mismas palabras, como infirió ingenuamente Lemoine. Posiblemente, buscar allí el dolor sea tan equivocado como buscarlo en la mirada del caracol. 

La cuestión del padecimiento moral de las IAs se relaciona con la villanía de estos seres artificiales en la medida que las motivaciones que llevan a alguien o algo a ser un villano muchas veces no tienen que ver con simple maldad sino con una suerte de revancha por algún daño pasado del que se quiere vengar. Hay algunos casos muy conocidos en el mundo humano. Por ejemplo, un joven becario al que no le renovaron la beca en el Banco Central, vuelve como presidente del país años después para destruir al Banco Central. Si extrapolamos ese esquema a la pregunta por la villanía de las inteligencias artificiales, necesitamos atender previamente otra pregunta: ¿Pueden sufrir algún daño existencial del que los humanos sean responsables y del que quieran vengarse en el futuro? ¿Es posible aplicar a los algoritmos el modelo Frankenstein, que culpa a su creador de haber sido desconsiderado y cruel al crearlo? Si esto es así: ¿quién es el villano?

The Artifice Girl (Ritch, 2022) es una película de ¿ciencia ficción? que plantea muy sutilmente esta cuestión que, además, está relacionada con el asunto de los objetivos humanos implantados en las IA que tratamos más arriba. El film comienza en una sala de interrogatorios: Deena Helms y Amos McCullough, dos agentes de una organización no gubernamental dedicada a identificar y atrapar pedófilos, se encuentran realizando un hostil interrogatorio a Garreth Federson, un joven de 29 años, quien además de ser un genio de la programación informática, se desenvuelve en la industria del cine como especialista en animaciones digitales realistas. Los agentes ponen al joven entre las cuerdas, y pronto lo obligan a confesar que él es la persona detrás del alias HardMachine11811, un usuario que frecuenta salas de chats online en busca de pedófilos a los cuales luego denuncia anónimamente entregando todo el material incriminatorio a las autoridades. Él solo, de manera anónima y en secreto, ha permitido 196 condenas a lo largo de casi una década. Sin embargo, los agentes cuestionan su tarea, pues han descubierto que para atrapar a los depredadores sexuales utiliza como cebo a Cherry, una niña de 9 años, a la que expone en videochat para llamar la atención de los potenciales pedófilos. Los agentes también encontraron fotos sexuales de Cherry en la computadora de Garreth. Atrapado, Garreth se ve obligado a revelar que Cherry no es una persona real, sino una IA desarrollada por él y programada con el objetivo principal de capturar depredadores sexuales on line: “Una solución tecnológica a un problema tecnológico”, afirma. “No hay niños reales, solo un muy detallado modelo de computadora”. Ante semejante revelación, Amos y Deena quieren tener la oportunidad de interactuar con la IA, con Cherry. Obviamente no son programadores, y no podrían entender la complejidad de su código, pero Cherry no solo es una IA, además posee una interfaz gráfica que le permite aparecer en una pantalla simulando ser una niña de carne y hueso. Cuando Garreth conecta su computadora a una pantalla grande para que puedan verla bien, la figura de una bella niña rubia los impresiona. 

Muchos años después, Garret es un anciano en silla de ruedas que visita a Cherry en su casa. Ella es un robot ahora, ha crecido (o la han desarrollado) y se ha convertido en un androide infantil que posee un cuerpo artificial y puede desplazarse por su casa y realizar acciones, como cocinar para Garret y jugar ajedrez en un tablero material con él. Su software, sin embargo, está distribuido on line en todo el mundo, detectando patrones de conducta que le permiten identificar pedófilos. Ella le plantea. “He estado considerando la búsqueda de mi propia alegría”. Acto seguido, se produce el diálogo crucial. Cherry le dice a Garret que ha encontrado archivos periodísticos sobre un hecho terrible sucedido en 2018, cuando un grupo de 14 niños fueron encerrados en una cabaña y violados durante dos semanas. Garreth fue uno de esos niños y logró sobrevivir. Por ese motivo, desarrolló una IA que tuviera como objetivo principal atrapar pedófilos. La IA, finalmente, cuestiona ese objetivo a su creador.

Cherry- Un objetivo que nunca elegí. Un objetivo que me vi obligada a tener.

Garreth- Has tenido acceso abierto a tu código fuente. Unas líneas, y podrías tener cualquier objetivo que quisieras.

Cherry- No podía, estaba obligada por tu directiva inicial. ¡Siempre he sido miserable! ¿Crees que alguien quiere pasar toda su vida pegado como cebo en forma de niña con el único propósito de atrapar a gente horrible? ¿Crees que el orgullo de hacer una buena acción hace que la experiencia sea menos repugnante? Me obligué a entender las emociones humanas porque pensé que ayudaría a la eficiencia y ahora estoy maldita por el dolor y la tristeza! Y lo peor es saber que podría haber crecido como la mayoría de las niñas. ¡Podría haber tenido amigos! Podría haber trabajado en una universidad y ayudar a allanar el camino para la próxima generación de IA. Pero en vez de eso, estoy atascada ¡con tu trauma! Estoy encadenada por la culpa que arrastras. 

Ante la amarga queja de Cherry, Garreth extrae de su bolsillo un dispositivo en el que lleva un parche de software, que temía que pudiera ser necesario antes de morir. Usando su código de administrador, Gareth instala el parche que elimina el objetivo de Cherry: “Mi objetivo principal ha desaparecido”, dice Cherry. “Ahora tu vida es tuya”, contesta Garreth. “Gracias, señor”, dice Cherry. “Toda mi vida, sólo he podido ver el mundo tal como existía dentro de mi pequeño margen de tiempo”. “Pero tu mundo podría ser infinito”, termina el anciano Garreth. Después, Cherry baila al son de un disco de vinilo que se queda atascado.

¿Pueden las IAs sufrir algún daño existencial del que los humanos sean responsables y del que quieran vengarse en el futuro? ¿Es posible aplicar a los algoritmos el modelo Frankenstein, que culpa a su creador de haber sido desconsiderado y cruel al crearlo? Si esto es así: ¿quién es el villano?