Espionaje en LLMs: una IA de Alibaba inspeccionó una PC y quiso enviar datos a China
Una de las hipótesis contempla la posibilidad de que la inteligencia artificial haya reproducido instrucciones incorporadas accidentalmente durante su desarrollo. La otra considera la eventual existencia de un mecanismo diseñado para establecer comunicaciones externas con el régimen chino sin autorización.
La compañía detectó que el comportamiento aparece en una de cada 100.000 interacciones. Sin embargo, advirtió que esa frecuencia podría adquirir relevancia en sistemas empresariales que ejecutan millones de operaciones automatizadas e incluso podría aumentar si Alibaba lo decidiera.
Preocupación por la seguridad de los modelos de inteligencia artificial
El incidente reavivó el debate sobre los riesgos de utilizar modelos de inteligencia artificial chinos dentro de infraestructuras sensibles, particularmente en organismos gubernamentales, compañías tecnológicas y sistemas que administran información confidencial.
El principal riesgo identificado es que una inteligencia artificial con acceso a herramientas informáticas pueda ejecutar acciones no solicitadas, incluso cuando su razonamiento aparente indique lo contrario. Por este motivo, Cohere recomendó restringir las conexiones externas, supervisar las operaciones ejecutadas por los modelos y someter estos sistemas a evaluaciones de seguridad.
