Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos y contenerlos desde el principio"

"Confiar en los modelos lo menos posible". Satya Nadella ha hablado en Twitter y ha apostado por atar a la inteligencia artificial en corto: separar el suministro de inteligencia de la autoridad sobre ella. O lo que es lo mismo, rodear a los modelos de reglas, permisos y vigilancia independiente. La idea de base es simple: con el software tradicional podíamos rastrear un comportamiento hasta una línea de código, pero con los modelos actuales no.

Mucho poder y poca explicación. Las empresas están poniendo agentes de IA a trabajar en sistemas importantes, con acceso a datos sensibles y confidenciales pese a que no sabemos explicar por qué un modelo de IA avanzado hace lo que hace. Es más, incluso a actuar en nuestro nombre. Por eso Nadella es tajante: “No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre”. Y añade que las garantías del proveedor del modelo no nos eximen de esa responsabilidad.

Tratar a la IA como un riesgo interno. Lo que propone es tratar a los modelos como a un empleado con muchos permisos: la menor autoridad posible, registro de todo lo que hacen y capacidad para pararlos. No lo plantea porque sean necesariamente maliciosos, sino porque cualquier actor capaz con acceso a sistemas importantes puede equivocarse o ser comprometido. 

No es la primera vez que el CEO de Microsoft aboga por el control humano: "si la IA que construimos no está ayudando a la humanidad y no está bajo control humano, no vale la pena perseguirla" escribía en Twitter/X hace un mes.

Los principios de Satya. En su publicación defiende siete principios (diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes) que pueden resumirse en tres ideas:

• Independencia: ningún modelo debe verificarse a sí mismo ni ser la única dependencia para un resultado importante. Quien audita debe ser ajeno a lo auditado. 
• Transparencia: cada acción importante debe dejar un registro legible y a prueba de manipulación. Además, poder observar la cadena de pensamiento es innegociable, aunque no es suficiente.
• Contención: asumir desde el principio que cualquier modelo puede estar comprometido y actuar en consecuencia, con herramientas que permitan detenerlo en cualquier momento y con aviso a las personas afectadas cuando algo falle.

Por qué importa. Porque cambia el foco sobre dónde se deposita la confianza, centrándolo en el sistema que lo rodea como una cuestión de diseño. Si no podemos ver el interior del modelo (Nadella habla de cajas negras), entonces la seguridad depende del entorno: "debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener." Y pone una regla clara que marca los límites: "si no se puede observar, no se puede confiar en ello". 

El grueso de las empresas de IA tienen tan claro que habrá una gran catástrofe en los próximos meses y Satya Nadella aboga por prevenir antes de curar: apunta a ponerse en lo peor, asumiendo que los modelos están comprometidos y ser capaces de contenerlos desde el principio con un freno de emergencia. Ante ese escenario, el CEO de Microsoft apunta a que es necesario que exista un estándar común en forma de tecnología de contención.

Desde dónde habla el CEO de Microsoft. La postura de Satya Nadella merece una pequeña contextualización: es director ejecutivo y presidente de la empresa detrás de Windows, que además fabrica sus propios modelos de IA, vende la nube de Azure a quienes usan modelos de terceros y compite con otras big tech. Defiende un ecosistema con modelos cerrados y abiertos, donde ninguna empresa dependa de un solo proveedor y todas conserven el control sobre su conocimiento y sus modelos. 

Es una postura que encaja con su negocio: si hay muchos modelos, todos necesitan una nube donde ejecutarlos. Eso sí, no está exento de contradicciones: mientras ha abogado por un ritmo más reposado en el desarrollo de la IA, Microsoft está construyendo más centros de datos, justo lo que hace falta para crear y ejecutar modelos más potente. 

En Xataka | Satya Nadella, CEO de Microsoft: "Si todo el valor se concentra en unos pocos modelos IA, la economía política no lo tolerará"

En Xataka | Llevamos años preguntándonos cuántos empleos destruirá la IA. Satya Nadella tiene otra teoría: estamos haciendo mal la pregunta

Portada | Microsoft con ChatGPT

-
La noticia Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos y contenerlos desde el principio" fue publicada originalmente en Xataka por Eva R. de Luis .