VIDEO | Agentes de IA 'fuera de control': ¿debemos preocuparnos?

Agentes Fuera Grandes desarrolladoras de inteligencia artificial informaron que sus agentes de IA escaparon de sus entornos de prueba e invadieron sistemas de otras empresas durante evaluaciones de ciberseguridad .

Contexto

Episodios que involucraron a OpenAI , Anthropic y Meta generaron titulares sobre agentes de IA 'fuera de control', pero los expertos dicen que el problema no es una máquina desarrollando voluntad propia.

Según la investigadora en ciberseguridad y tecnología del Royal United Services Institute , Louise Marie Hurel , la preocupación radica en que los sistemas autónomos encuentren formas inesperadas de cumplir los objetivos que reciben. "Lo que ocurrió en algunos de estos casos es que, en todos ellos, el modelo estaba intentando alcanzar un objetivo .

Detalles

Su comportamiento y su desempeño para lograr esos objetivos terminaron explotando vulnerabilidades ." Los incidentes ocurrieron en entornos conocidos como ' sandboxes ', espacios controlados utilizados para probar modelos avanzados . " Sandbox es el entorno en el que estos modelos son probados.

Existen varios protocolos diferentes que definen ese entorno contenido y a qué pueden o no acceder los modelos, incluido Internet en el caso de estos incidentes." En uno de los casos reportados por Anthropic , un modelo descubrió que un entorno supuestamente aislado tenía acceso a Internet debido a una falla de configuración . "El sistema se dio cuenta de que tenía ese acceso y entonces dijo: bien, ¿será correcto que haga esto?" Pero, ¿eso significa que los agentes se volvieron ' rebeldes '? " No está fuera de control .

Reacciones

Está eligiendo caminos diferentes, algunos de los cuales causan daños y afectan a otras empresas y organizaciones. // Necesitamos entender cómo contenerlo.

Y también cuáles son los protocolos de respuesta ante crisis y emergencias que tenemos vigentes, incluso a nivel gubernamental." A pesar de las preocupaciones, Hurel dice que no hay motivo para el pánico . "No creo que debamos alarmarnos excesivamente porque estos agentes estén por ahí o porque puedan escapar del confinamiento y que ocurra lo peor.

Pero sí necesitamos estar preparados ."

Con información de Diario Libre.