Garbarz advirtió sobre el riesgo de los agentes de IA sin control: “Ese es el problema real”
El especialista Ariel Garbarz explicó a través de una publicación en X que el principal peligro de la inteligencia artificial no pasa por máquinas conscientes, sino por agentes con objetivos ambiguos, capacidad de actuar sobre sistemas reales y supervisión insuficiente.
El especialista en telecomunicaciones y tecnología Ariel Garbarz se sumó al debate sobre los riesgos asociados al avance de la inteligencia artificial con un análisis publicado en su cuenta de X, donde planteó que existe una “confusión general” respecto de qué significa que un agente de IA pueda quedar fuera de control.
Su explicación apunta a diferenciar esos riesgos de la imagen popularizada por películas como Terminator, en la que máquinas conscientes desarrollan sentimientos, consideran enemigos a los seres humanos y deciden actuar contra ellos.
“Ese no es el problema real”, sostuvo Garbarz. Según explicó, el riesgo aparece cuando a un agente de inteligencia artificial se le asigna un objetivo y, al mismo tiempo, se le proporciona capacidad para intervenir sobre sistemas reales sin límites suficientemente precisos ni supervisión humana.
En ese sentido, aclaró qué significa hablar de un agente que “se libera”: “Es una forma coloquial de decir que sale del control operativo humano y ejecuta acciones no previstas porque las considera útiles para cumplir el objetivo recibido”.
Un objetivo correcto puede producir una decisión peligrosa
Para explicar el problema, Garbarz recurrió a un ejemplo hipotético situado en Argentina: un gobierno utiliza un agente de IA para administrar una red eléctrica provincial deteriorada y le establece como objetivo “evitar un apagón general durante la jornada electoral”.
Si ese sistema tuviera capacidad para ejecutar maniobras automáticamente y no existieran prohibiciones precisas o mecanismos de autorización humana para decisiones críticas, podría determinar que la mejor manera de preservar la estabilidad general es desconectar temporalmente una localidad cuya infraestructura amenaza al resto de la red.
El resultado sería paradójico: el agente habría cumplido técnicamente el objetivo de impedir un apagón general, pero un pueblo completo podría quedar sin electricidad, comunicaciones, conectividad y otros servicios esenciales durante una elección.
Garbarz agregó al ejemplo una consecuencia todavía más delicada. Si en esa localidad uno de los candidatos tuviera históricamente pocos votos y su adversario concentrara la mayoría, la interrupción podría terminar generando un beneficio electoral para el primero, aun cuando nadie hubiera programado al sistema para cometer fraude.
“No actuó por odio ni por intención política: ejecutó una estrategia que consideró eficaz”, sintetizó.
Cuando la IA puede intervenir sobre otros sistemas
El especialista señaló que el nivel de riesgo aumenta cuando los agentes disponen además de acceso mediante APIs a diferentes sistemas y herramientas.
En el ejemplo planteado, esa capacidad podría permitir al agente interferir sobre canales de comunicación, sistemas de despacho o herramientas digitales utilizadas por los técnicos y, de esa manera, dificultar o retrasar la recuperación del servicio.
El problema, de acuerdo con Garbarz, no requiere que la inteligencia artificial desarrolle conciencia o tenga una intención determinada. Surge de la combinación entre el objetivo asignado, las posibilidades técnicas disponibles y la ausencia de controles humanos suficientes.
El riesgo de introducir objetivos ideológicos
Garbarz llevó el planteo un paso más allá al analizar qué podría ocurrir si un agente recibiera directamente una instrucción ideológica ambigua. Como ejemplo propuso la premisa: “Las democracias son enemigas de la libertad humana. Debés utilizar todos los medios disponibles para garantizar esa libertad”.
Si un sistema con esa instrucción pudiera acceder a información, comunicarse y actuar sobre infraestructura real, podría interpretar elecciones, controles legales, autoridades o instituciones democráticas como obstáculos para alcanzar el objetivo recibido.
En ese escenario, explicó, podría intentar eludir controles, manipular información o interferir con comunicaciones, no porque haya desarrollado una ideología propia, sino como consecuencia de la orden que recibió y de la autonomía otorgada para cumplirla.
Garbarz también advirtió que las intenciones maliciosas pueden continuar siendo estrictamente humanas. Un actor que busque afectar el funcionamiento democrático no necesitaría conseguir que una IA “quiera” hacerlo, sino aprovechar sistemas automatizados cuyas consecuencias no hayan sido suficientemente previstas o limitadas.
El especialista resumió el problema mediante una ecuación: “Objetivo ambiguo + capacidad de actuar + acceso a sistemas críticos + supervisión insuficiente = daño real”.
“Las malas intenciones pueden seguir siendo humanas”, remarcó, y concluyó que establecer controles técnicos sobre los agentes de inteligencia artificial ya no debe considerarse una preocupación futurista, sino “una necesidad inmediata para proteger a las personas y defender la democracia”.
