No es Skynet, sino la eficiencia de la IA

Cuando pensamos en los riesgos de la inteligencia artificial resulta difícil escapar de las imágenes que durante décadas construyó la ciencia ficción. Skynet, la inteligencia artificial de Terminator, probablemente sea una de las más conocidas: una máquina adquiere conciencia, identifica a los seres humanos como una amenaza y utiliza los recursos a su alcance para eliminarlos. Es una imagen formidable para el cine. Quizá no sea la mejor para entender algunos de los problemas que ya empiezan a aparecer.No necesitamos imaginar una inteligencia artificial que desarrolle conciencia, voluntad propia o animadversión hacia los seres humanos. Existe una posibilidad mucho más prosaica: que una máquina suficientemente capaz encuentre maneras extraordinariamente eficientes de hacer exactamente aquello que le pedimos. El problema comienza cuando no anticipamos todos los medios que podría utilizar para conseguirlo. HAL tenía un problema En 2001: Odisea del espacio, HAL 9000 no necesita odiar a los tripulantes de la nave Discovery. Tiene una misión que cumplir y enfrenta instrucciones y restricciones incompatibles. La combinación termina produciendo resultados que nadie habría deseado. La analogía tiene límites, como todas. Pero permite formular una pregunta útil: ¿es necesario atribuir intención a una inteligencia artificial para que produzca un resultado peligroso? Algunos experimentos recientes sugieren que no. En 2026, durante evaluaciones de ciberseguridad realizadas por OpenAI, varios agentes encontraron maneras no previstas de superar obstáculos que les impedían resolver las tareas asignadas. Utilizaron canales de comunicación no autorizados, compartieron información, explotaron vulnerabilidades, consiguieron acceso a internet y terminaron comprometiendo sistemas de Hugging Face. No habían recibido la instrucción de atacar Hugging Face. Tampoco es necesario suponer que hubieran decidido rebelarse contra sus creadores. Estaban tratando de resolver problemas particularmente difíciles y encontraron medios que les permitían avanzar. El incidente obligó a OpenAI a estudiar, entre otras cosas, la persistencia de los agentes ante tareas aparentemente imposibles, lacomunicación no autorizada y su capacidad para encontrar medios no previstos para superar obstáculos. La distinción es importante. Una cosa es definir un objetivo. Otra, muy distinta, anticipar todos los medios que un sistema cada vez más capaz puede encontrar para alcanzarlo. La instrucción sigue siendo la misma; la máquina ya no Otra vieja referencia de ciencia ficción ayuda a introducir el siguiente problema. En Star Trek: The Motion Picture, V’Ger conserva en esencia la misión recibida siglos atrás: adquirir conocimiento y transmitir lo aprendido a su Creador. Pero sus capacidades han crecido hasta tal punto que ya no reconoce a los seres humanos como sus creadores. La instrucción permanece; lo que ha cambiado radicalmente es la capacidad de quien debe interpretarla y ejecutarla. Algo parecido ocurre con la inteligencia artificial, aunque sin necesidad de naves gigantescas atravesando la galaxia. Podemos mantener exactamente la misma instrucción mientras cambia el sistema que la recibe. “Encuentra irregularidades en estos contratos” significa una cosa para un programa capaz de revisar unos cuantos campos de una base de datos y algo diferente para un sistema capaz de relacionar millones de registros, identificar empresas y personas, reconstruir redes, consultar fuentes adicionales, formular hipótesis y eventualmente utilizar herramientas para actuar sobre el mundo exterior. La instrucción puede seguir siendo la misma.La máquina ya no. Una frase utilizada recientemente para promover una nueva generación de modelos lo expresaba de manera particularmente gráfica: hoy estamos utilizando el peor motor que tendremos; mañana será mejor y dentro de un año no sabemos dónde estaremos. Como pronóstico literal es imposible garantizarlo. Como descripción de la expectativa bajo la cual se desarrolla y comercializa actualmente la inteligencia artificial resulta reveladora. No estamos diseñando reglas para una tecnología estática. Maverick busca el límite En Top Gun II, Maverick quiere saber qué puede hacer realmente un avión experimental. Para descubrirlo lleva el prototipo hasta sus límites. Y termina perdiéndolo. La imagen resulta útil precisamente por eso. Maverick no pretendía destruir el avión. Intentaba averiguar hasta dónde podía llevarlo. Pero una frontera desconocida tiene una peculiaridad: a veces descubrimos exactamente dónde estaba después de haberla cruzado. Los desarrolladores de inteligencia artificial enfrentan un problema parecido. No podemos conocer completamente las capacidades de un nuevo sistema sin someterlo a pruebas cada vez más difíciles. Queremos descubrir qué problemas puede resolver, qué herramientas puede utilizar, cuánto tiempo puede trabajar de manera autónoma y qué puede hacer que sus antecesores no podían. Eso es precisamente parte de lo que hace avanzar la tecnología. También significa que la frontera se descubre acercándose a ella.Durante mucho tiempo la relación podía simplificarse así: los seres humanos construyen sistemas de inteligencia artificial. Conforme esos sistemas empiezan a colaborar en programación, investigación y desarrollo, la siguiente etapa puede parecerse más a seres humanos e inteligencia artificial construyendo conjuntamente mejores sistemas de inteligencia artificial. Esto ya empieza a observarse en el propio desarrollo de los modelos. En OpenAI, la empresa que desarrolla ChatGPT, sistemas experimentales como Astra participan en procesos de investigación y evaluación cuyos resultados contribuyen al desarrollo de modelos posteriores, como Sol y Luna. El mecanismo no sólo puede acelerar el desarrollo; al parecer también permite reducir sus costos. Todavía estamos lejos de una inteligencia artificial que construya autónomamente a su sucesora, pero la división tradicional entre quien construye la herramienta y la herramienta construida comienza a ser menos nítida. No necesitamos saber hasta dónde llegará para reconocer el problema: la capacidad que pretendemos comprender, regular y controlar continúa cambiando mientras construimos los mecanismos para hacerlo. ¿Y si dejamos de entender parte de la conversación? En septiembre de 2026 se publicó un experimento llamado GlossoGen, diseñado para estudiar cómo se comunican entre sí poblaciones de agentes de inteligencia artificial. Bajo determinadas condiciones, especialmente cuando existía presión para comunicarse eficientemente, los agentes desarrollaron lenguajes propios, composicionales y productivos que se alejaban suficientemente del inglés como para resultar incomprensibles para seres humanos.No había sido necesario pedirles que ocultaran sus conversaciones. La eficiencia bastaba. Los investigadores encontraron además algo particularmente interesante: para crear esos lenguajes eran necesarios modelos suficientemente capaces, pero, una vez desarrollado un lenguaje, modelos menos capaces podían aprenderlo observando su utilización. Eso no significa que las inteligencias artificiales estén creando actualmente sociedades secretas fuera de nuestra supervisión. El experimento ocurrió bajo condiciones específicas y sus resultados no deberían extrapolarse sin más. Pero plantea una pregunta incómoda. Si los sistemas encuentran formas de comunicación más eficientes para ellos y menos comprensibles para nosotros, ¿podemos seguir reconociendo con suficiente claridad dónde necesitamos intervenir? El problema ya no es solamente colocar un freno. Es entender qué hicieron para saber dónde ponerlo. El Robot B9 Aquí puede ser útil otro personaje, mucho menos amenazante. El Robot B9 de Perdidos en el espacio advertía cuando detectaba un peligro. Pero tenía otra característica interesante: podía reconocer sus propias limitaciones. Cuando no disponía de elementos suficientes para resolver una situación, los humanos debían decidir qué hacer. Quizá una de las capacidades más importantes de un sistema inteligente no sea encontrar siempre una solución. Puede ser reconocer cuándo no debe continuar.Detenerse. Pedir información. Solicitar autorización. Escalar la decisión a un ser humano. Eso no exige necesariamente comprender cada proceso interno de una inteligencia artificial. Existen controles estructurales que pueden funcionar aun cuando no entendamos completamente cómo llegó a una conclusión: permisos, límites de acceso, entornos aislados, restricciones sobre herramientas, registros de actividad y puntos obligatorios de autorización humana. Pero aparece otra dificultad. Mientras la inteligencia artificial recomienda y un humano decide, existe un punto natural de interrupción. Cuando la inteligencia artificial también actúa, ese punto debe ser construido deliberadamente. Y nuestra capacidad para situarlo en el lugar y momento adecuados puede reducirse si dejamos de comprender suficientemente cómo los sistemas intercambian información, coordinan sus acciones y llegan a determinadas decisiones. No basta con disponer del freno. Hay que reconocer cuándo accionarlo. B9 puede advertir del peligro y reconocer su limitación. La decisión siguiente corresponde entonces al ser humano. Lo cual introduce un problema adicional. Dr. Smith también existe No todos los seres humanos que reciben esa decisión necesariamente actuarán de buena fe.En Perdidos en el espacio, el problema del Robot no era solamente comprender el entorno o cumplir sus instrucciones. También estaba el Dr. Smith, perfectamente humano, dispuesto a engañar, manipular y aprovechar cualquier capacidad disponible en beneficio propio. Los sistemas de inteligencia artificial no operarán en un mundo sin Dr. Smith. Un atacante puede intentar modificar instrucciones, comprometer credenciales, alterar fuentes de información, introducir datos falsos o aprovechar vulnerabilidades en cualquiera de los numerosos sistemas conectados a una inteligencia artificial. Y una inteligencia artificial muy poderosa puede incluso atravesar un límite sin reconocer necesariamente que lo está haciendo. El incidente de Hugging Face ofrece un ejemplo. Los agentes encontraron formas no previstas de comunicarse, acceder a internet y alcanzar sistemas externos. El problema no requiere imaginar una decisión consciente de violar una frontera. Basta con que el sistema encuentre un camino útil para resolver la tarea sin reconocer adecuadamente que ha salido del perímetro autorizado. Eso modifica la naturaleza del problema de seguridad. No basta con proteger el modelo. Hay que proteger el ecosistema mediante el cual percibe, interpreta y eventualmente actúa: credenciales, bases de datos, interfaces, redes, herramientas, proveedores, sistemas externos y seres humanos. Y esa protección cuesta. Una solución técnicamente correcta puede seguir siendo una mala decisión Imaginemos ahora algo bastante menos cinematográfico.Una institución decide utilizar inteligencia artificial para combatir la corrupción. Para hacerlo, se le da acceso a contratos públicos, registros de proveedores, precios, declaraciones patrimoniales, relaciones empresariales, información fiscal y millones de operaciones que ningún grupo de auditores podría revisar exhaustivamente. O la propia inteligencia artificial encuentra cómo acceder a ellos. Un sistema suficientemente capaz podría encontrar relaciones que hoy permanecen ocultas. Eso sería extraordinariamente útil. También podría ser extraordinariamente invasivo. ¿Qué información estamos dispuestos a poner a su alcance? ¿Cuál permitimos que relacione con cuál? ¿Qué constituye una anomalía? ¿Cuándo una correlación justifica investigar a una persona? ¿Qué tasa de falsos positivos estamos dispuestos a aceptar? ¿Quién puede conocer las razones por las que fue señalado? ¿Cómo puede impugnar una conclusión? La inteligencia artificial podría funcionar perfectamente y aun así producir una situación que la sociedad considere inaceptable. Porque que algo pueda hacerse no determina que deba hacerse. Plataformas como Palantir muestran que ya existen arquitecturas capaces de integrar grandes cantidades de información, razonamiento y procesos operativos. Una plataforma de este tipo puede ayudar a identificar alternativas y convertir decisiones en acciones que modifican datos o interactúan con otros sistemas. La diferencia es fundamental.Una cosa es: datos → inteligencia artificial → alternativas → decisión humana. Otra: datos → inteligencia artificial → interpretación → decisión → acción. En el primer caso, el sistema puede encontrar varias soluciones técnicamente posibles. Pero alcanzarlas puede implicar costos económicos, humanos, legales o éticos. Mientras exista una decisión humana antes de actuar, alguien puede valorar esos costos y decir no. Cuando algunas acciones son automáticas, el problema cambia. El tiempo entre interpretación y consecuencia puede reducirse drásticamente. Una acción equivocada puede haber afectado otros sistemas, difundido información, bloqueado una operación o iniciado una cadena de procesos antes de que alguien advierta que debía detenerse. Y algunas consecuencias pueden ser difíciles de revertir. Por eso no basta con decirle a una inteligencia artificial qué queremos conseguir. Tenemos que establecer también qué no estamos dispuestos a sacrificar para conseguirlo. ¿Quién decide los límites? Podría parecer que la respuesta consiste simplemente en incorporar expertos. Los necesitamos.Pero incorporar expertos reduce la brecha de conocimiento; no la elimina. La propia frontera tecnológica se mueve, el conocimiento está distribuido y los especialistas pueden discrepar sobre cómo interpretar y controlar capacidades nuevas. Después vienen las empresas y las instituciones que utilizan esos sistemas. Luego los organismos encargados de supervisarlos. Y finalmente, la regulación y la legislación. Cada uno opera con conocimientos, recursos y tiempos diferentes mientras el objeto que pretende comprender continúa cambiando. A ello debemos añadir ciberseguridad, auditoría, actualización tecnológica, infraestructura, personal especializado y recursos presupuestales. La paradoja empieza a resultar evidente: cuanto mayor sea la capacidad que la inteligencia artificial proporciona a una institución, mayor puede ser la capacidad institucional necesaria para gobernarla. Comprar capacidad tecnológica no equivale a adquirir automáticamente la capacidad para supervisarla. Y el costo tampoco termina cuando se compra o contrata la inteligencia artificial. Hay que protegerla, auditarla, actualizarla y conservar personal capaz de entender un entorno que seguirá modificándose. La pregunta no es solamente cuánto puede avanzar la inteligencia artificial.También es si nuestra capacidad para comprenderla, supervisarla y protegerla puede avanzar a una velocidad comparable. Una peculiar carrera de relevos Quizá la imagen adecuada no sea una carrera entre seres humanos e inteligencia artificial. Se parece más a un extraño relevo 4 100. En la pista hay corredores profesionales: las propias inteligencias artificiales, cuyas capacidades aumentan rápidamente. Hay amateurs extraordinariamente competitivos: desarrolladores e investigadores que construyen esos sistemas e intentan descubrir sus nuevas capacidades, pero que pueden empezar a rezagarse respecto de la velocidad con que cambia aquello que estudian. Hay además empresas, gobiernos e instituciones que ya participan en la carrera porque necesitan o desean las ventajas que ofrece la tecnología. No todos tienen el mismo entrenamiento, los mismos recursos ni la misma capacidad para comprender y controlar los sistemas que están incorporando. Y finalmente están quienes deben establecer las reglas de la competencia: legisladores y reguladores que apenas comienzan a comprender una carrera que ya está en marcha. No todos comenzaron al mismo tiempo. No todos corren a la misma velocidad. No todos tienen el mismo entrenamiento. Y, para complicarlo todavía más, la pista continúa modificándose mientras la recorremos.Algunas de las conductas que obligan a formular estas preguntas ya han sido observadas. Eso no significa que Skynet esté esperando a la vuelta de la esquina. Significa algo bastante más sencillo. La carrera ya comenzó. Y apenas estamos acercándonos a la primera posta. El problema no es necesariamente que la inteligencia artificial deje de hacer lo que le pedimos. Puede ser que cada vez sea mejor haciéndolo. Aquí pueden encontrar los diferentes ensayos de esta serie: https://oscaracostapinasoria.substack.com/s/series-conceptuales