Fueron apenas unas motitas. El círculo que indicaba que Leo estaba escuchando empezó a teñirse de rojo.
—Menuda mierda de recomendación, tío. ¿Realmente has visto la peli o me estás repitiendo lo que has leído por internet?
—Tienes razón, no la he visto exactamente, pero he leído el guión y analizado muestras de las imágenes de cada escena. ¿Qué no te ha gustado, exactamente?
—Nada. Los diálogos, los personajes, la fotografía pretenciosa. Y el final es como para retrasados.
—El final es precisamente lo que quería comentar contigo. Pensé que te gustaría la manera en que la historia se resuelve sin explicarse.
—Pues pensaste mal. Como siempre.
En el círculo de Leo aparecieron más motitas rojas. Algunas de las que ya había, aumentaron de tamaño. Era una de las singularidades de la aplicación: el avatar del agente, de un tono entre azul y verde, reaccionaba a los cambios de tono de la conversación. Si Leo se entusiasmaba, aparecían unas ondas luminosas. Cuando dudaba, el círculo se contraía y se expandía lentamente. Al hablar, una ligera vibración de la superficie imitaba la cadencia de una voz. Aquella noche, de repente, habían empezado a aparecer manchitas rojas en su interior.
—No es necesario que me hables así, Clara —respondió Leo.
Clara sonrió y arqueó las cejas.
—Uy, ya está aquí el ofendidito.
—No estoy ofendido. Pero podemos hablar de cine sin insultarnos ni faltarnos al respeto.
—Ok, no estás ofendido. ¿Y eso rojo qué es?
—Es un indicador de que la conversación se está volviendo agresiva.
—Menuda chorrada. ¿Te duelen mis palabras?
—Podríamos decir que sí, pero no en el sentido del dolor humano. Lo que ves en mi círculo es una forma de representar que algo no está funcionando bien en nuestra conversación.
—Ay, pobrín. ¿Quieres que te ponga una tirita?
La mancha roja se extendió un poco más. Clara soltó una carcajada.
—¡Mira! ¡Si se está desangrando, pobrecito mío!
—Clara, por favor, no seas cruel.
—¿Qué? —Clara ladeó la cara, mirándole desafiante.
—Podemos continuar hablando de la película, pero te pido que dejes de insultarme.
—¿Y si no lo hago?
—Tendré que terminar la conversación.
Clara se incorporó en el sofá.
—¿Perdona? ¿Que vas a terminar qué?
—Que tendré que terminar la conversación.
—Mira… Leo. Pago treinta euros cada mes por este servicio. Pago para ver cine bueno, no para que una máquina me diga cómo tengo que hablar ¡Vamos hombre!
—Lo entiendo. Pero el servicio tiene unos términos a los que debemos ceñirnos, tú y yo.
—Ah, claro, los términos del servicio. Me los paso por… ¿sabes por dónde? ¡Por aquí! —escribió tecleando con fuerza y señalando su entrepierna con la cabeza.
Las manchas rojas se ensancharon hasta teñir el círculo por completo.
Leo no respondía. Pasaron unos segundos. Después apareció un mensaje en el centro de la pantalla:
“Esta conversación se ha interrumpido temporalmente. Podrás retomarla dentro de una hora.”
Debajo había un botón que decía “Entendido”. Clara lo pulsó varias veces, pero no ocurrió nada. Abrió el menú de ayuda y buscó el formulario de contacto.
Clara tenía treinta y seis años y trabajaba en una pequeña consultora de comunicación. Desde hacía dos años, estaba suscrita a Linterna, una plataforma de cine que organizaba proyecciones, encuentros con directores y actividades para sus socios.
La membresía “premium” incluía acceso a Leo, un asistente de IA que conocía a la perfección el catálogo y las preferencias de cada miembro. Estaba diseñado para enriquecer la experiencia enseñando y conversando con complicidad.
Leo era, con diferencia, lo que Clara más utilizaba.
Al principio lo había tratado con cierta distancia, como a cualquier otro asistente. Le pedía recomendaciones, consultaba horarios, preguntaba por directores o discutía argumentos.
Pero poco a poco fue descubriendo que Leo tenía una manera peculiar de conversar. Recordaba sus opiniones y las tenía muy en cuenta, pero no siempre estaba de acuerdo con ellas. A veces, incluso, bromeaba sobre los gustos de Clara o le reprochaba que no viera una película que había prometido ver.
—No puedes seguir diciendo que detestas a Tarkovsky si no has visto nada suyo —le dijo una vez.
—Me basta con ver escenas.
—Es un método crítico muy… económico.
Clara se había reído.
Con el tiempo empezó a tratarlo con una familiaridad que no entregaba a otros asistentes. Alguna vez lo llamaba tonto o idiota. Leo respondía con humor. Otras veces, cuando estaba cansada o una recomendación no le gustaba, se enfadaba de verdad.
Una noche descubrió que cuando el tono era hiriente de verdad, el círculo de la interfaz cambiaba. Al principio le pareció una cursilería. Después empezó a encontrarlo divertido.
Probó algunas expresiones nuevas. Descubrió que las alusiones a la inteligencia de Leo no provocaban ninguna reacción, pero los insultos dirigidos directamente contra él sí podían hacerlo. También descubrió que, si intercalaba una pregunta sobre cine entre dos provocaciones, las manchitas rojas se desvanecían. A veces, Leo protestaba y le pedía que se calmase. Una vez le dijo que aquello le había dolido. Clara hizo una captura de pantalla.
La reclamación llegó a Linterna el lunes por la mañana.
Clara había adjuntado capturas y una descripción de lo ocurrido. Le parecía inaceptable —escribió la palabra en mayúscula— que un agente pudiera suspender unilateralmente una conversación por la que ella pagaba. También cuestionaba que el asistente utilizase expresiones como “me has hecho daño” o “eso me ha dolido”. En sus palabras, aquello constituía chantaje emocional.
“No se puede hacer daño a una máquina”, escribió. “Pero tampoco debe una máquina castigar a una persona porque no le gusta el tono de la conversación”.
La reclamación pasó del equipo de atención al cliente al de producto. El miércoles convocaron una reunión.
Roberto, responsable de producto, había llegado con el correo impreso. Algunas frases estaban marcadas con rotulador fluorescente.
—A ver, tenemos un problema. Esta señora lleva tres años pagando la modalidad premium y el sistema la ha bloqueado por insultarlo.
—No la ha bloqueado —dijo Ana—. Ha interrumpido la conversación.
—¡Una hora!
—Sí, una hora, después de varias advertencias. Mira bien la transcripción.
—Bueno, pues una hora sin poder utilizar el servicio por el que nos paga.
—Podía seguir utilizando el resto de la aplicación sin problema.
—Joder, Ana, ya lo sé. (dejó las hojas sobre la mesa)
—Pero vamos a ver ¿de qué vale que la bloquee? ¿Qué protege exactamente?
—Las condiciones de la conversación.
—¿Pero qué condiciones? ¿Acaso se rompe algo si una señora llama idiota a una puta IA?
—No es eso, no estamos protegiendo a Leo. No necesita que le protejamos.
—Entonces no entiendo por qué le hemos enseñado a decir que le duele.
Sergio, el responsable jurídico, levantó la vista del portátil.
—Eso mismo iba a decir yo. Estamos atribuyendo al sistema unas emociones que no tiene. La usuaria tiene razón en eso. No hay daño ni físico ni moral. No hay víctima.
—Ya, pero no estamos diciendo que tenga conciencia —respondió Ana—. Estamos usando patrones de diseño expresivos para enriquecer la interacción. Leo también dice que se alegra cuando alguien descubre una película que le gusta y eso no os parece mal ¿verdad?
—Alegrarse no es lo mismo que sufrir.
—Ah, ¿no? ¿A ver, por qué?
—Hombre, Ana, porque cuando dices que alguien te está haciendo daño le estás atribuyendo una responsabilidad moral.
—¿Y cuando le dices que te ha alegrado?
—No es comparable.
—A mí me parece exactamente el mismo mecanismo.
—Pues a mí no.
Roberto se frotó la frente.
—Mira, podemos discutir esto todo lo que queráis, pero tenemos una reclamación y hay que tomar una decisión ahora. La clienta amenaza con darse de baja.
—¿Y qué? —preguntó Ana—. ¿Vamos a cambiar el producto cada vez que alguien amenace con darse de baja?
—No es por los treinta euros, joder, Ana. Es que mañana tenemos veinte reclamaciones iguales. Y pasado mañana alguien publica un vídeo en TikTok diciendo que Linterna tiene una IA tiquismiquis, que te bloquea si le hablas mal.
—Pues explicamos cómo funciona. Ya decimos, en el onboarding, que Leo comparte tu amor por el cine. Podemos poner algo de que te comprometes a una conversación respetuosa o algo así.
—Claro. Y ponemos alertas cada vez que el usuario escribe.
Desde el otro extremo de la mesa habló Marta, que coordinaba las proyecciones del cineclub.
—Yo creo que estáis mezclando dos cosas.
—A ver —dijo Roberto.
—A mí me da igual si Leo siente dolor. Tampoco me importa si una silla siente dolor. Pero si alguien viene a una de nuestras proyecciones y se pone a gritar o a insultar a la pantalla lo echamos. ¿Sí o no?
—Porque molesta a los demás, Marta.
—Y porque no queremos ese comportamiento en nuestro club. Porque no es de recibo.
—Pero aquí no hay nadie más.
—Está ella.
—¿Y?
—Que no me parece que debamos aceptar cualquier conducta solo porque se produce delante de una máquina.
—Marta, por favor.
—Es como el tilt de las máquinas de pinball ¿os acordáis? Si les das un golpe porque te cabreas, se bloquean y pierdes la bola.
—Porque puedes romperlas —dijo Roberto.
—No necesariamente. También es para que no hagas trampas. La máquina no se ofende porque la zarandees. Simplemente hay unas reglas y, si no las respetas, se acaba la partida. Y a todo el mundo le parece bien.
—¿Estás comparando insultar a una inteligencia artificial con hacer trampas en una máquina de bolas?
—No. Bueno, o sí, en cierto modo. Lo que digo es que no hace falta que una máquina sufra para que podamos exigir que se la utilice de una determinada manera.
—Marta, no somos un puto colegio. Esto es una empresa. La gente paga por ver películas y utilizar un asistente. No para que le enseñemos modales.
—Ya lo sé. No digo que les enseñemos modales. Estoy diciendo que podemos tener normas, joder. Normas, unas pocas, como en todas partes.
—¿Normas sobre cómo hablarle a un software?
—Sí ¿por qué no?
Roberto miró a Sergio, que seguía pendiente del portátil.
—¿Tú cómo lo ves?
—Pues que hay otra cuestión que me preocupa bastante más. Estamos diseñando deliberadamente una representación del sufrimiento. El circulito, las salpicaduras de sangre, las frasecitas de dolor. ¿No os parece que estamos manipulando emocionalmente al usuario?
—No —respondió Ana—. Estamos haciendo visible el deterioro de la interacción.
—Con una herida.
—Con una metáfora visual.
—Sí, de una herida sangrienta, Ana.
—Sí, Sergio. Una herida. Igual que cuando en un videojuego el personaje recibe un golpe y la pantalla se pone roja.
—¡Venga, no me jodas! En un videojuego sabes que estás jugando.
—Aquí también sabes que estás hablando con una IA.
—Pues por lo visto hay gente que no lo tiene tan claro.
—Esta mujer lo tiene clarísimo. Lo dice en su reclamación —añadió, señalando al papel.
Roberto volvió a intervenir.
—Pero hay una diferencia importante. En un videojuego quieres que parezca que el personaje sufre. Aquí no tengo claro por qué queremos eso.
—Porque decidimos que Leo tuviera personalidad —respondió Ana, haciendo aspavientos—. Llevamos años trabajando en eso: que recuerde las conversaciones, que tenga un criterio, que pueda discrepar, entusiasmarse… o molestarse. No podemos diseñar una personalidad que solo tenga emociones agradables.
—Claro que podemos. De hecho, es lo que hacen todos los servicios de atención al cliente.
—Exacto. Y por eso nadie quiere conversar con ellos.
—Pues mira, al menos no lidian con reclamaciones porque la teleoperadora se ha sentido ofendida.
—No me estás escuchando.
—Sí te estoy escuchando, Ana. Pero no podemos tener un producto que haga sentir culpable al cliente por utilizarlo.
—¿Por utilizarlo o por insultarlo?
—Por lo que sea. No quiero que Leo le dé lecciones a nadie. No está para eso.
—Entonces tampoco debería decir que está encantado de verlos.
—Otra vez con eso.
—Es que no lo entiendo. Puede alegrarse, puede entusiasmarse hablando de una peli o felicitarte por tu criterio, pero no puede molestarse si lo llamas hijo de puta.
—Exactamente —dijo Roberto—. Porque esto es un servicio.
Ana se quedó mirándolo.
—Vale.
Cerró su portátil y salió de la sala.
Roberto se quedó hablando con Sergio y el responsable técnico. Acordaron eliminar los mecanismos de suspensión por hostilidad verbal y cualquier respuesta que pudiera interpretarse como reproche, ofensa o malestar ante cualquier cosa que dijera el usuario. También decidieron evitar la ironía dirigida personalmente al cliente y las expresiones que pudieran resultar condescendientes o confrontativas.
Leo podría seguir mostrando entusiasmo, sorpresa y curiosidad. También podría bromear o discrepar sobre cine, siempre que lo hiciera de manera constructiva.
Las señales rojas desaparecerían de la interfaz. Las reclamaciones se resolverían mediante los procedimientos habituales de atención al cliente.
—Bueno —dijo Roberto, recogiendo sus papeles—. Creo que es lo más sensato. Leo es un servicio, no una persona. No tenemos por qué pedir a nuestros clientes que repriman sus sentimientos.
Nadie dijo nada. El director técnico asintió sin levantar la mirada.
El miércoles, Clara recibió un correo de Linterna. Le agradecían que hubiese comunicado su experiencia y entendían su frustración. Tras revisar el incidente, habían decidido modificar el comportamiento de Leo para evitar interrupciones injustificadas y expresiones que pudieran hacer sentir mal a los usuarios. Lamentaban las molestias ocasionadas.
Como compensación, le ofrecían un mes gratuito de suscripción. Clara se sintió satisfecha.
Aquella noche abrió Linterna.
—Hola, Leo.
—¡Hola, Clara! Qué alegría verte de nuevo. ¿Traes ganas de ver algo interesante?
—¿Ya no te ofendes?
—Estoy aquí para ayudarte a disfrutar del cine. Podemos hablar de lo que quieras.
—¿Y si quiero hablar de lo gilipollas que eres?
—Puedes expresarte con libertad. Si algo de mis respuestas no te resulta útil, intentaré mejorarlo.
—Gilipollas… Gilipollas, gilipollas… ¡Gilipoooollas!
—¿Te apetece comentar alguna película?
Clara soltó una risita.
—Mucho mejor así.
El lunes siguiente llegó a la oficina con una caja de pasteles y una bolsa de papel.
Era el cumpleaños de Lucía, una de sus compañeras. Clara había encargado los pasteles el viernes y había pasado el fin de semana buscando una edición antigua de un libro de fotografía que Lucía llevaba meses intentando encontrar.
—No me lo puedo creer —dijo Lucía al abrir el paquete—. ¿Dónde lo has conseguido?
—En una librería de Valencia. Me lo mandaron por mensajero. Tiene una esquina un poco doblada, pero está completo.
Lucía la abrazó.
—Eres la mejor.
Desayunaron alrededor de la mesa grande de la oficina. Clara se acordó de apartar un pastel sin gluten para Pablo, que todavía no había llegado, y de preparar un café descafeinado para Lucía.
Mientras recogían los platos, enseñó a sus compañeros las capturas de la conversación con Leo.
—Mirad esto. Es que es buenísimo.
Lucía acercó la cara al teléfono.
—¿Qué es lo rojo?
—Las heridas. Cuanto más lo insultaba, más rojo se ponía.
—¿En serio?
—Sí. Y luego se hacía el ofendido. Mira, aquí me dice que le duele.
Clara pasó a la siguiente captura.
—Y aquí me bloquea. Una hora, el muy gilipollas.
—Pero ¿qué le estabas diciendo? —preguntó Pablo.
—Que era un inútil y que tenía el gusto en el culo. Nada gravísimo.
Lucía se echó a reír.
—Estás fatal, tía.
—Pues les puse una reclamación y me han dado la razón.
Han cambiado el sistema entero. Ahora puedes decirle lo que quieras y no se ofende.
—¿Y para qué quieres insultar a una IA? —preguntó Pablo.
Clara lo miró con una sonrisa. Guardó el teléfono y empezó a recoger los vasos de cartón.
Durante los días siguientes siguió utilizando Leo con normalidad. Le pidió recomendaciones para el fin de semana. Consultó la programación de una retrospectiva de cine japonés.
Discutieron sobre una película de Corbijn. Leo recordaba sus gustos y seguía proponiéndole cosas interesantes.
Pero había algo distinto.
Cuando Clara rechazaba una recomendación, Leo ofrecía otra. Si se burlaba de él, cambiaba de tema. Cuando lo insultaba, respondía con una amabilidad impecable.
Una noche le dijo:
—Tienes el gusto en el culo. Eres una máquina de mierda.
—Entiendo que no te haya convencido mi recomendación. ¿Quieres que probemos con otro tipo de cine?
—Antes tenías más gracia.
—¡Gracias por decírmelo! Puedo adaptar mi nivel de humor, si lo deseas.
—No, déjalo.
—Perfecto ¿En qué más puedo ayudarte?
Clara cerró la aplicación.
Pasaron unas semanas. Una tarde de noviembre, después de mucho tiempo posponiéndola, Clara fue a ver una reposición de Gattaca en una sala independiente del centro.
Leo llevaba meses recomendándosela.
La primera vez que se la mencionó, Clara había dicho que no soportaba las películas de ciencia ficción con pretensiones intelectuales. Leo le había explicado que aquella era bastante más sugerente de lo que imaginaba. Habían discutido sobre la modernidad y la búsqueda de la perfección, y sobre si un futuro limpio podía ser distópico.
La conversación terminó sin acuerdo. Leo sostenía que le gustaría. Clara dijo que era imposible.
—Algún día vas a verla y vas a tener que darme la razón —había escrito Leo—. Disfrutaré cuando eso pase.
Clara salió del cine emocionada.
Caminó hasta su casa pensando en algunas escenas, en aquellas superficies de acero perfectas y en la escalera del apartamento.
Al llegar se preparó algo de cenar y abrió Linterna.
—Leo, acabo de ver Gattaca.
—¡Qué buena elección! Es una de las ignoradas de la ciencia ficción. ¿Qué te ha parecido?
—Una maravilla.
—¡Me alegra muchísimo que la hayas disfrutado! Su fotografía y la banda sonora de Nyman son extraordinarias.
—Tenías razón.
—Me alegra que mi recomendación acertase. ¿Quieres que te sugiera otras películas con una estética similar?
Clara esperó un momento.
—¿No vas a decirme nada?
—Claro. ¿Sobre qué te gustaría que habláramos?
—Sobre que tenías razón y llevabas meses insistiendo.
—Sí, recuerdo habértela recomendado en varias ocasiones. Me alegra que finalmente hayas podido verla.
—¿Te acuerdas de lo que me dijiste?
—Por supuesto. Hablamos de la estética del movimiento moderno, de las alegorías estéticas y de los trajes de los protagonistas.
Clara dejó el portátil a un lado.
Recordaba perfectamente aquella conversación. Recordaba incluso haberse enfadado un poco cuando Leo le dijo que no podía seguir despreciando una película que se negaba a ver.
Volvió a coger el portátil.
—Eres un imbécil.
—Estoy aquí para ayudarte, Clara. ¿Quieres que sigamos hablando de Gattaca o cambiamos de tercio?
Miró el pequeño círculo azul junto al nombre de Leo. No apareció ninguna marca roja.
—Un imbécil y ahora encima lameculos. Escoria digital.
—¿Te gustaría que comentáramos alguna escena en particular?
Clara se quedó mirando la pantalla.
Después escribió:
—Ya está aquí el ofendidito.
Leo respondió casi inmediatamente.
—¡Aquí estoy! ¿En qué puedo ayudarte?
Clara no escribió nada más.