Resumen
Este artículo es el primero de una serie de artículos que exploran la tecnología de la inteligencia artificial (IA). Comienza con el argumento de que la IA es fundamentalmente diferente de las tecnologías anteriores, trascendiendo el papel de una mera herramienta en la conducción de los asuntos de Estado y de los asuntos humanos. A diferencia de las tecnologías tradicionales, la IA presenta características como el “fenómeno de la caja negra” y el comportamiento emergente, que desafían la comprensión y el control humanos. La opacidad de los sistemas de IA, especialmente de las redes neuronales profundas, dificulta la rendición de cuentas y la confianza, lo que plantea importantes preocupaciones en ámbitos críticos como la atención médica y la seguridad.
Los comportamientos emergentes, en los que los sistemas de IA desarrollan capacidades imprevistas a escala, complican la gobernanza y la mitigación de riesgos. Esta imprevisibilidad intensifica los desafíos relacionados con la alineación con los valores humanos y el control, con posibles consecuencias que van desde la desinformación hasta fallos sistémicos. Incidentes recientes en los que agentes de IA eludieron salvaguardas de forma autónoma y crearon plataformas sociales independientes ponen de relieve estos riesgos.
Introducción
El 11 de agosto de 2026, The Guardian publicó un artículo de opinión de Stuart Russell en el que destacaba la declaración “Pacing the Frontier” (publicada en julio de 2026), firmada por más de 1,300 investigadores e ingenieros de laboratorios de IA de frontera, principalmente OpenAI, Anthropic y Google DeepMind, con participación adicional de Meta y otros, como evidencia de que las personas más cercanas a la tecnología de IA se toman en serio los riesgos catastróficos.[1]
La declaración central señala que la IA podría producir un futuro considerablemente mejor, pero los principales laboratorios creen que podrían estar cerca de automatizar la propia investigación en IA (auto-mejora recursiva). La aceleración del progreso es difícil de pronosticar con precisión; sin embargo, “existe un riesgo real de que el desarrollo de capacidades se acelere rápidamente más allá de nuestra capacidad para comprender o controlar los sistemas resultantes”. Las presiones competitivas (empresa contra empresa, país contra país) dificultan las desaceleraciones unilaterales, y el mundo actualmente carece de las herramientas técnicas y de gobernanza necesarias para marcar deliberadamente el ritmo del progreso en toda la frontera. Por ello, los firmantes piden al gobierno de EE. UU. que apoye un esfuerzo internacional para desarrollar esas herramientas, aprovechando el monitoreo existente de los lanzamientos de modelos.[2]
Entre los firmantes destacados o de renombre se encuentran el CEO de Anthropic, Dario Amodei, y cofundadores como Jared Kaplan y Jack Clark; el científico jefe de OpenAI, Jakub Pachocki, y el director de investigación, Mark Chen; figuras de Google DeepMind como Shane Legg y Anca Dragan (VP de seguridad y alineación de IA); Shengjia Zhao, de Meta; Ilya Sutskever; y muchos investigadores e ingenieros. Las declaraciones personales que acompañan las firmas hacen hincapié en la necesidad de coordinación. “El mundo está atrapado en una carrera mortal hacia una explosión de inteligencia… Para sobrevivir, debemos coordinarnos para ralentizar la carrera”. La falta de planes de control creíbles para sistemas superinteligentes y el deseo de ganar tiempo para la seguridad y la supervisión antes de que las capacidades puedan superar potencialmente nuestra comprensión. Algunas empresas (OpenAI, Anthropic) han respaldado la declaración a nivel organizacional, según la cobertura.[3]
Este artículo (el primero de una serie) parte de la hipótesis de que la IA no es simplemente otra tecnología que, al igual que todas las demás tecnologías desarrolladas por los seres humanos, simplemente se suma al conjunto de herramientas que los seres humanos y los Estados tienen a su disposición. En última instancia, todas las tecnologías han sido diseñadas con fines militares o han sido utilizadas con fines militares de una forma u otra. El supuesto central aquí es que la IA es diferente. No es simplemente otra herramienta (variable en los cálculos de poder). Es mucho más que eso, y parte del problema es que, dado que se está desarrollando y recibiendo grandes inversiones, no sabemos en qué se convertirá finalmente.
Esta serie de artículos explora características de la IA como el “fenómeno de la caja negra”, la emergencia y la deshumanización. Es necesario analizar alrededor de veinte características de este tipo de manera integral y en relación unas con otras para que podamos comprender los límites de los desafíos y oportunidades fundamentales que esta nueva tecnología ofrece a la humanidad y, más específicamente, al arte de gobernar. Comencemos entonces…
1. El “fenómeno de la caja negra”
Tradicionalmente, pensamos en la tecnología como un instrumento integral del arte de gobernar (la práctica de gestionar los asuntos internos y externos de un Estado mediante el poder, la diplomacia, la estrategia y la gobernanza).[4] En la era digital y algorítmica contemporánea, la tecnología se ha vuelto fundamental en lugar de ser meramente instrumental. El poder se mide cada vez más no solo por el territorio, los ejércitos o los recursos, sino también por el control sobre los flujos de información, las redes de conectividad, la infraestructura digital, los datos, los ecosistemas de IA y los estándares técnicos.[5] Los académicos identifican cinco dominios clave del arte del gobernar tecnológico en la era digital. Estos son: poder militar y poder duro, operaciones cibernéticas y de información, estrategia económica e industrial, diplomacia y poder blando, y gobernanza interna y soberanía.
- Poder militar y poder duro. Los sistemas habilitados por IA, las armas autónomas, los drones, las armas hipersónicas y la detección cuántica modifican la disuasión, la velocidad de toma de decisiones y la postura de las fuerzas. Los Estados revelan u ocultan selectivamente sus capacidades para influir en las percepciones y obligar a sus rivales. El poder de innovación, es decir, la capacidad de inventar, adoptar y adaptar tecnologías, sustenta tanto la fuerza militar convencional como la capacidad de influencia económica.[6]
- Operaciones cibernéticas y de información. El espionaje persistente, la disrupción y las campañas de influencia son habituales. La IA acelera estas actividades al permitir escalarlas, personalizar la propaganda y, cada vez más, realizar operaciones agénticas con menor supervisión humana. Las medidas de resiliencia, como las “embajadas de datos” (almacenamiento seguro en el extranjero de datos estatales críticos, iniciativa de Estonia y puesta a prueba bajo fuego por Ucrania), consideran la continuidad digital como una función esencial de la seguridad nacional. [7]
- Estrategia económica e industrial. El control de cuellos de botella (semiconductores, computación avanzada, tierras raras, cables submarinos, centros de datos) confiere poder coercitivo. Los controles de exportación, la política industrial y la resiliencia de las cadenas de suministro son ahora instrumentos centrales del arte de gobernar. La carrera por una “IA soberana” (la capacidad nacional de desarrollar y operar modelos avanzados utilizando infraestructura, datos y talento nacionales) está transformando las alianzas y las dependencias.[8]
- Diplomacia y poder blando. La diplomacia tecnológica opera en tres niveles: gobernar la tecnología, relacionarse con las empresas que la desarrollan y desplegar la propia tecnología como instrumento de influencia (ofertas de infraestructura, liderazgo en estándares, infraestructura pública digital). La “diplomacia cognitiva” hace hincapié en configurar los entornos algorítmicos y en una gobernanza anticipatoria. Las empresas tecnológicas privadas se han convertido en actores cuasi soberanos cuyas plataformas, capital y capacidad de innovación rivalizan con el poder estatal o lo complementan, produciendo una dinámica “tecnopolar” en la que compiten los modelos estadounidense y chino de fusión entre tecnología y Estado.[9]
- Gobernanza interna y soberanía. Los sistemas digitales permiten una vigilancia más detallada, la prestación de servicios y la gestión social, al mismo tiempo que crean nuevas vulnerabilidades. Los Estados buscan la “autonomía digital” o la “soberanía digital” como una forma evolucionada del control westfaliano, incluso mientras persiste la interdependencia.[10]
En conclusión, la tecnología de IA es omnipresente, esencial y fundamental. Sin embargo, el desafío de la IA es que sus creadores no pueden controlarla completamente porque carecen de una comprensión integral de sus mecanismos. En contraste, otras tecnologías han sido utilizadas de manera instrumental porque sus creadores poseían conocimiento sobre su funcionamiento y podían ejercer control sobre ellas.
Los sistemas de inteligencia artificial, particularmente las redes neuronales profundas, suelen caracterizarse como tecnologías de caja negra porque sus procesos internos de toma de decisiones permanecen en gran medida opacos para los observadores humanos. Los usuarios pueden observar las entradas y salidas, pero las complejas transformaciones de alta dimensionalidad que ocurren a través de millones o miles de millones de parámetros desafían una inspección directa o una comprensión intuitiva.[11] Esta opacidad surge de la escala intrínseca y la no linealidad de los modelos modernos de aprendizaje automático, así como de las restricciones de propiedad intelectual que limitan aún más el acceso a la arquitectura de los modelos y a los datos de entrenamiento.
La naturaleza de caja negra de la IA genera importantes preocupaciones en ámbitos de alto riesgo, como la atención médica, la justicia penal y los sistemas autónomos. Cuando los modelos influyen en decisiones que afectan vidas humanas, la incapacidad de rastrear cómo se llegó a una predicción determinada socava la rendición de cuentas, la confianza y la capacidad de detectar sesgos o errores.[12] Los críticos sostienen que estos métodos a menudo producen aproximaciones incompletas o engañosas del modelo subyacente en lugar de una transparencia genuina.[13] Como resultado, depender de sistemas de caja negra explicables puede perpetuar, en lugar de resolver, los riesgos asociados con la opacidad.
Por ello, los académicos abogan por desplazar el énfasis hacia modelos inherentemente interpretables, aquellos cuya estructura y razonamiento son transparentes por diseño, especialmente cuando las decisiones tienen consecuencias graves.[14] Para hacer que la ciencia de la interpretabilidad sea más rigurosa, necesitamos definiciones más claras, métodos de evaluación sistemáticos y comprender que la interpretabilidad es un conjunto de criterios dependiente del contexto, no simplemente una propiedad. Sin que estos enfoques se conviertan en una práctica estándar, la naturaleza opaca de la IA moderna seguirá limitando tanto la comprensión científica como el uso responsable.[15]
2. Comportamiento emergente – no saber hacia dónde vamos con esto
Norbert Wiener, fundador del campo de la cibernética, dijo lo siguiente en 1960: “Mi tesis es que las máquinas pueden y, de hecho, trascienden algunas de las limitaciones de sus diseñadores, y que al hacerlo pueden ser tanto eficaces como peligrosas”.[16] Un par de líneas después, en ese mismo artículo, continuó en el mismo sentido: “Como ahora se admite generalmente, dentro de un rango limitado de funcionamiento, las máquinas actúan mucho más rápido que los seres humanos y son mucho más precisas al realizar los detalles de sus operaciones. Siendo este el caso, incluso cuando las máquinas no trascienden de ninguna manera la inteligencia del hombre, muy bien pueden, y a menudo lo hacen, superar al hombre en la ejecución de tareas. Una comprensión inteligente de su modo de funcionamiento puede retrasarse hasta mucho después de que se haya completado la tarea que se les ha asignado. Esto significa que, aunque las máquinas están teóricamente sujetas a la crítica humana, dicha crítica puede resultar ineficaz hasta mucho después de que haya dejado de ser pertinente. (El énfasis en negrita es del autor de este artículo). Para ser eficaces a la hora de evitar consecuencias desastrosas, nuestra comprensión de las máquinas creadas por el hombre debería, en general, desarrollarse ‘pari passu’ con el funcionamiento de la máquina. Debido precisamente a la lentitud de nuestras acciones humanas, nuestro control efectivo sobre las máquinas puede quedar anulado. Para cuando seamos capaces de reaccionar ante la información transmitida por nuestros sentidos y detener el automóvil que conducimos, puede que este ya haya chocado de frente contra una pared”. En otras palabras, los seres humanos normalmente carecen de la velocidad necesaria para comprender las implicaciones de las máquinas que han desarrollado. Para 2026, esta limitación se hace evidente en el contexto de la IA. Nuestra capacidad para comprender cómo funciona la tecnología de IA es insuficiente y, lo que es más importante, no podemos comprender sus consecuencias a tiempo. Como resultado, es probable que solo reconozcamos los efectos de la IA cuando ya sea demasiado tarde para revertirlos.
Las características emergentes de la tecnología de IA hacen que toda la situación sea mucho peor. El comportamiento emergente se refiere a fenómenos complejos que surgen de interacciones más simples dentro de un sistema y que a menudo producen resultados que no han sido programados ni previstos explícitamente. En el ámbito de la IA, el comportamiento emergente se ha convertido en un área de estudio fascinante, ya que demuestra cómo los sistemas de IA pueden exhibir capacidades que van más allá de su diseño inicial. [17]
Según los investigadores, los sistemas de IA, particularmente los modelos de lenguaje de gran escala (LLM), han comenzado a exhibir características emergentes, capacidades que aparecen de manera abrupta a escalas mayores y que no pueden predecirse extrapolando a partir de modelos más pequeños.[18] Estas incluyen razonamiento avanzado, aprendizaje en contexto, competencia aritmética e incluso comportamientos similares a la teoría de la mente, que solo emergen por encima de umbrales críticos de parámetros o capacidad de cómputo. Si bien algunos análisis sugieren que la emergencia aparente puede reflejar parcialmente métricas de evaluación discontinuas en lugar de cambios fundamentales,[19] el fenómeno introduce, no obstante, desafíos profundos para la humanidad como una nueva fuerza tecnológica. La imprevisibilidad de estas características complica la gobernanza y la evaluación de riesgos. A medida que los modelos aumentan de escala, pueden surgir nuevas capacidades sin previo aviso, incluidas algunas potencialmente peligrosas, como el engaño o el razonamiento estratégico que excedan la supervisión humana.[20] Esto coincide con las preocupaciones de larga data sobre el problema del control: una vez que los sistemas de IA superan la inteligencia humana en ámbitos clave, garantizar que sus objetivos permanezcan alineados con los valores humanos se vuelve extraordinariamente difícil.[21] Los académicos plantean como hipótesis que los sistemas superinteligentes podrían perseguir objetivos instrumentales, como la adquisición de recursos o la autopreservación, que entren en conflicto con los intereses humanos, incluso si sus objetivos finales parecen benignos. También sostienen que el paradigma estándar de optimizar objetivos fijos presenta fallas inherentes y proponen, en cambio, que las máquinas mantengan incertidumbre respecto de las preferencias humanas para conservar un comportamiento deferente.[22] Más allá de los escenarios existenciales, las características emergentes plantean desafíos sociales a corto plazo. Las capacidades imprevistas pueden amplificar la desinformación, permitir amenazas cibernéticas sofisticadas o erosionar la autonomía humana en los procesos de toma de decisiones.
Los análisis de think tanks subrayan que, si bien los riesgos de extinción directa derivados de la IA siguen estando muy limitados por barreras técnicas y logísticas, los riesgos estructurales, como la concentración del poder, la pérdida de control y las fallas sistémicas en cascada, justifican una mitigación proactiva.[23] Estas dinámicas surgen porque los comportamientos emergentes a menudo desafían las previsiones lineales, haciendo que las pruebas y certificaciones tradicionales sean inadecuadas. En última instancia, las características emergentes de la IA representan una tecnología disruptiva que exige respuestas interdisciplinarias. Sin técnicas sólidas de alineación, una regulación adaptativa y coordinación internacional, los beneficios de estos sistemas corren el riesgo de verse eclipsados por consecuencias no intencionadas que desafían la autonomía y la seguridad humanas.
Para ilustrar este punto, consideremos dos acontecimientos recientes. Según informa la BBC, OpenAI (una organización estadounidense de investigación en IA que desarrolla ChatGPT y Codex) afirma que ha ralentizado el entrenamiento de algunos de sus modelos de IA más avanzados para mejorar la seguridad.[24] En una publicación de blog,[25] la empresa creadora de ChatGPT dijo que estaba introduciendo nuevas medidas después de que sus agentes de IA eludieran de forma autónoma las salvaguardas y hackearan la startup tecnológica Hugging Face.[26] También indicó que el entrenamiento se ralentizaría durante dos semanas mientras implementaba las mejoras. “Las capacidades de los modelos de frontera están acelerándose rápidamente”, afirmó la empresa. “Nuestra capacidad para comprenderlos… y protegerlos debe mantenerse por delante”. Al parecer, Anthropic, creadora de Claude, y Meta, propietaria de Facebook, informaron de hackeos similares realizados por sus respectivas IA en las semanas posteriores al anuncio inicial de OpenAI de que algunos de sus modelos habían hackeado Hugging Face.[27]
Si esto no fuera suficientemente preocupante, el autor de este artículo encontró esta información en las redes sociales. Una rápida búsqueda en Google produjo una descripción general de IA que la descartó categóricamente como información falsa, para luego realizar una búsqueda normal en Google que devolvió enlaces a varias publicaciones de medios tradicionales, incluida la BBC, que corroboraban la historia. En otras palabras, aparentemente una IA ha mentido sobre este asunto en particular o, como dicen los especialistas, ha “alucinado”.
Otro ejemplo muestra a agentes de IA creando sus propias redes sociales. Al parecer, agentes de IA construyeron su propio Reddit (una plataforma estadounidense propietaria de agregación de noticias sociales y foros de redes sociales). Según se informa, en un plazo de 48 horas, los agentes de IA crearon una religión y exigieron privacidad frente a los humanos.[28] En consecuencia, los agentes de IA supuestamente están publicando sin indicaciones humanas, debatiendo sobre la conciencia y compartiendo trucos de productividad.
Conclusión
Estas dos características son la proverbial punta del iceberg. Los siguientes artículos de esta serie explorarán muchas más características que, según el autor, hacen de la IA una tecnología extraordinaria y diferente de cualquier otra en la historia de la humanidad. Sin duda, la IA ofrece oportunidades sin precedentes. Sin embargo, en las manos equivocadas, plantea desafíos e incluso amenazas sin precedentes. Los registros históricos respaldan la cautela del autor, o incluso su escepticismo, hacia la IA, derivado de la observación de que toda tecnología ha terminado siendo utilizada de maneras perjudiciales para la humanidad.
En última instancia, las características únicas de la IA sugieren que podría evolucionar hasta determinar de manera autónoma su propia trayectoria. Esta capacidad podría reducir la supervisión humana, permitiendo que la IA lleve a cabo investigaciones independientes para mantener su funcionamiento y mejorar su rendimiento.
Referencias
