Los Principios para la IA, no la IA para los Principios.

Los Principios para la IA, no la IA para los Principios.

  julio 21, 2026    Madelaine R. Castro

---

Llevo más de veinte años en tecnología, y casi todos los proyectos han acabado en la misma pregunta: ¿esto ayuda a la persona o solo engancha?

Hace unos meses me la hice en serio con un proyecto personal, Peregrino APP, una app católica que desarrollé para acompañar la oración en el día a día. Para tomarme esa pregunta en serio, usé un marco poco habitual en el sector: Magnifica Humanitas, la primera encíclica del papa León XIV, «Sobre la custodia de la persona humana en el tiempo de la inteligencia artificial».

La encíclica habla del tiempo de la inteligencia artificial, no solo de la tecnología en sí. Lo que analiza es una forma de diseñar que convierte a las personas en datos, atención y rendimiento, y esa lógica está en casi cualquier producto digital. Por eso me sirvió como marco.

No hace falta ser creyente para que esto os interese. Lo útil es el método.

Del texto a criterios que se pueden comprobar

Una encíclica no es una norma técnica. No dice «no uses scroll infinito», pero sí dice cosas como esta: no traduzcas el misterio de la persona en datos y rendimiento. Mi trabajo fue convertir esas ideas en criterios que se puedan comprobar, igual que hacemos al bajar una norma ISO a controles concretos.

El resultado es una base de 105 criterios repartidos en 17 áreas tecnológicas: diseño de producto, métricas, IA, notificaciones, privacidad, pagos, accesibilidad, gamificación, protección de personas vulnerables, sostenibilidad… Solo 10 de esos criterios se refieren a la IA. Cada criterio indica de qué punto del texto sale, qué práctica es adecuada y cuál hay que evitar.

Además, separé con honestidad dos tipos de criterio: los que el texto dice directamente (71) y los que son una interpretación mía (34). Me parece fundamental. Es muy fácil poner en boca de una autoridad lo que en realidad es opinión propia.

Cómo queda aplicado en la práctica

Con esa base revisé Peregrino área por área, mirando dos cosas: lo que la app hace y lo que he decidido que no haga. Algunos ejemplos:

• Diseño sin trampas de retención. No hay scroll infinito, ni autoplay, ni estímulos encadenados. Cada recorrido, ya sea un rosario, un Vía Crucis o una lectura, tiene un principio y un final claros. Cerrar la app no es un fracaso.
• Métricas al servicio de la persona, no del producto. Hay rachas y resúmenes de perseverancia, pero son para la propia persona. No hay rankings, medallas, niveles espirituales ni puntos que se pierden si fallas un día. Romper una racha no te quita nada.
• Personalización explícita, no inferida. Tú eliges el idioma, los favoritos y los recursos. La app no intenta deducir si estás desanimado ni te clasifica en un perfil para recomendarte cosas.
• Notificaciones que respetan tu decisión. No hay mensajes diseñados para generar culpa o miedo a perderte algo, ni avisos calculados para el momento en que es más probable que abras la app.
• Privacidad por defecto. Para el uso normal no hace falta registrarse. Los datos de tu práctica se quedan sobre todo en tu móvil, puedes borrarlos o exportarlos, y no hay ningún panel donde alguien pueda consultar qué reza cada persona ni cuándo.
• Monetización con límites claros. La app es gratuita, y los planes de pago añaden comodidad, no te devuelven lo que el teléfono ya te da. No hay publicidad ni venta de perfiles, y los precios no cambian según lo vulnerable o inactivo que estés.
• Accesibilidad no negociable. Puedes agrandar el texto, usar modo oscuro y el lector de pantalla del sistema. El audio de pago es un extra, nunca la única forma de acceder al contenido.
• No usar IA también es una decisión. No hay un chatbot que se presente como acompañante espiritual ni que interprete la conciencia de nadie. Cuando lo que hace falta es una persona, la tecnología se queda en herramienta.

Por qué os lo cuento

Porque este ejercicio sirve para cualquier producto, sea religioso o no. Sustituid la encíclica por vuestro código ético, la carta de valores de vuestra empresa o el AI Act, y el método funciona igual:

1. Partid de un marco de valores explícito, no de intuiciones sueltas.
2. Bajadlo a criterios concretos por área técnica, con una práctica adecuada y otra a evitar.
3. Distinguid lo que dice el marco de lo que interpretáis vosotras.
4. Documentad también lo que decidís NO construir. Una buena parte de la ética de un producto está en las funciones que se descartan.

Muchas veces hablamos de ética tecnológica en términos abstractos. Esta fue mi forma de convertirla en algo que se puede auditar, igual que auditamos la calidad o la seguridad. Y lo que más me sorprendió es que el producto mejoró: es más sencillo, más respetuoso y más fácil de explicar.

¿Alguna de vosotras ha hecho algo parecido con sus productos? Me encantaría comparar enfoques.