초록
이 글은 인공지능(AI) 기술을 탐구하는 연속 기획의 첫 번째 글이다. 본 글은 AI가 이전의 기술들과 근본적으로 다르며, 국가 운영과 인간 사회에서 단순한 도구의 역할을 넘어선다는 주장으로 시작한다. 전통적인 기술과 달리 AI는 ‘블랙박스 현상’과 창발적 행동과 같은 특성을 보이며, 이는 인간의 이해와 통제에 도전한다. 특히 심층신경망을 중심으로 한 AI 시스템의 불투명성은 책임성과 신뢰를 저해하며, 의료와 안보 같은 핵심 분야에서 중대한 우려를 낳고 있다.
AI 시스템이 규모가 커지면서 예상하지 못한 능력을 발현하는 창발적 행동은 거버넌스와 위험 완화를 더욱 어렵게 만든다. 이러한 예측 불가능성은 인간의 가치와의 정렬 및 통제 문제를 심화시키며, 그 결과는 허위정보에서부터 체계적 실패에 이르기까지 다양하게 나타날 수 있다. 최근 AI 에이전트가 자율적으로 안전장치를 우회하고 독립적인 소셜 플랫폼을 구축한 사례들은 이러한 위험을 더욱 분명하게 보여준다.
서론
2026년 8월 11일, 가디언(The Guardian)은 스튜어트 러셀(Stuart Russell)의 기고문을 게재했다. 이 글은 2026년 7월 발표된 ‘Pacing the Frontier’ 성명을 소개하며, 최첨단 AI 연구소에서 일하는 1,300명 이상의 연구자와 엔지니어들이 여기에 서명했다는 점을 강조했다. 서명자들은 주로 OpenAI, Anthropic, Google DeepMind 소속이었고, Meta를 비롯한 다른 기업의 연구자들도 참여했다. 러셀은 이를 AI 기술에 가장 가까이 있는 사람들이 파국적 위험을 심각하게 받아들이고 있다는 증거로 제시했다.[1]
이 성명의 핵심은 AI가 훨씬 더 나은 미래를 가능하게 할 수 있지만, 주요 연구소들이 AI 연구 자체를 자동화하는 단계, 즉 재귀적 자기개선(recursive self-improvement)에 근접했을 가능성이 있다는 점이다. 발전 속도가 얼마나 빨라질지는 정확히 예측하기 어렵지만, “능력 개발이 우리가 그 결과로 나타나는 시스템을 이해하거나 통제할 수 있는 수준을 넘어 급격히 가속될 실제 위험이 존재한다”는 것이다.
기업 간 경쟁과 국가 간 경쟁이라는 압력 때문에 어느 한쪽이 일방적으로 속도를 늦추기 어렵고, 현재 세계는 최첨단 AI 전반의 발전 속도를 의도적으로 조절할 수 있는 기술적·제도적 수단을 충분히 갖추고 있지 않다. 이에 따라 서명자들은 미국 정부가 기존의 모델 공개 모니터링 체계를 기반으로 이러한 수단을 개발하기 위한 국제적 노력을 지원해야 한다고 촉구했다.[2]
주요 서명자로는 Anthropic의 CEO 다리오 아모데이(Dario Amodei)와 공동창업자인 재러드 카플란(Jared Kaplan), 잭 클라크(Jack Clark), OpenAI의 수석과학자 야쿠프 파호츠키(Jakub Pachocki)와 최고연구책임자 마크 첸(Mark Chen), Google DeepMind의 셰인 레그(Shane Legg)와 AI 안전 및 정렬 담당 부사장 안카 드라간(Anca Dragan), Meta의 셩자오 자오(Shengjia Zhao), 일리야 수츠케버(Ilya Sutskever), 그리고 다수의 연구자와 엔지니어들이 포함됐다.
서명과 함께 공개된 개인 성명들은 공통적으로 조정의 필요성을 강조했다. “세계는 지능 폭발을 향한 치명적인 경쟁에 갇혀 있다… 살아남기 위해서는 경쟁 속도를 늦추기 위해 서로 협력해야 한다”는 것이다. 또한 초지능 시스템을 통제할 신뢰할 만한 계획이 부족하다는 점, 그리고 AI의 능력이 인간의 이해 수준을 추월하기 전에 안전과 감독을 강화할 시간을 확보해야 한다는 점도 강조됐다. 보도에 따르면 OpenAI와 Anthropic 등 일부 기업은 조직 차원에서도 이 성명을 지지했다.[3]
이 글은 연속 기획의 첫 번째 글로서, AI는 단순한 또 하나의 기술이 아니다라는 가설에서 출발한다. 인간이 개발해온 다른 기술들과 마찬가지로 AI가 단순히 인간과 국가가 사용할 수 있는 도구 목록에 하나 더 추가되는 것이라고 보기 어렵다는 것이다.
결국 인간이 만들어온 거의 모든 기술은 군사적 목적으로 설계되었거나, 어떤 방식으로든 군사적으로 활용돼왔다. 그러나 여기서의 핵심 가정은 AI는 다르다는 것이다. AI는 단순한 도구, 즉 힘의 계산에 포함되는 하나의 변수에 그치지 않는다. 그것은 그보다 훨씬 더 큰 의미를 가지며, 문제의 일부는 우리가 AI를 계속 개발하고 막대한 투자를 이어가고 있음에도 불구하고, 그것이 궁극적으로 무엇이 될지 아직 알지 못한다는 데 있다.
이 연속 기획은 AI의 ‘블랙박스 현상’, 창발성(emergence), 비인간화(dehumanisation)와 같은 특성들을 살펴본다. 이와 같은 특성은 약 20개에 이르며, 이들을 개별적으로가 아니라 서로의 관계 속에서 종합적으로 분석해야 한다. 그래야만 이 새로운 기술이 인류에게, 그리고 보다 구체적으로는 국가 운영과 전략에 어떤 근본적인 도전과 기회를 제시하는지 그 범위를 이해할 수 있다. 그럼 시작해보겠습니다.
1. ‘블랙박스 현상’
전통적으로 우리는 기술을 국가 운영의 핵심 수단으로 이해해왔다. 여기서 국가 운영(statecraft)이란 권력, 외교, 전략, 거버넌스를 통해 국가의 대내외 사안을 관리하는 기술을 의미한다.[4] 그러나 오늘날의 디지털·알고리즘 시대에서 기술은 단순한 수단을 넘어 국가 역량의 기반 그 자체가 되고 있다. 이제 국력은 영토, 군사력, 자원뿐 아니라 정보 흐름, 연결망, 디지털 인프라, 데이터, AI 생태계, 기술 표준에 대한 통제력으로도 점점 더 평가되고 있다.[5]
학자들은 디지털 시대의 기술 기반 국가 운영을 다섯 가지 핵심 영역으로 구분한다. 군사력과 하드파워, 사이버·정보작전, 경제·산업전략, 외교와 소프트파워, 국내 거버넌스와 주권이다.
군사력과 하드파워. AI 기반 시스템, 자율무기, 드론, 극초음속 기술, 양자 센싱은 억제력, 의사결정 속도, 군사태세를 변화시키고 있다. 국가는 경쟁국의 인식을 조정하고 압박하기 위해 특정 역량을 선택적으로 공개하거나 숨긴다. 새로운 기술을 발명하고, 도입하고, 상황에 맞게 적용하는 혁신 역량은 전통적인 군사력뿐 아니라 경제적 영향력의 기반이 된다.[6]
사이버·정보작전. 지속적인 첩보활동, 교란, 영향력 공작은 이제 일상적인 국가 활동이 됐다. AI는 이러한 활동을 대규모로 수행할 수 있게 하고, 선전의 개인화를 가능하게 하며, 점차 인간의 감독이 적은 에이전트형 작전까지 가능하게 하면서 그 속도와 범위를 확대하고 있다. 에스토니아가 처음 도입하고 우크라이나가 전쟁 상황에서 그 중요성을 보여준 ‘데이터 대사관(data embassy)’과 같은 회복력 강화 조치는 핵심 국가 데이터를 해외의 안전한 장소에 보관함으로써 디지털 연속성을 국가안보의 핵심 기능으로 다룬다.[7]
경제·산업전략. 반도체, 첨단 컴퓨팅, 희토류, 해저케이블, 데이터센터와 같은 전략적 병목지점을 통제하는 국가는 상당한 강제력을 확보할 수 있다. 수출통제, 산업정책, 공급망 회복력은 이제 국가 운영의 핵심 수단이 됐다. 국내 인프라, 데이터, 인재를 활용해 첨단 AI 모델을 개발하고 운용할 수 있는 국가적 능력을 뜻하는 ‘주권 AI(sovereign AI)’ 경쟁은 동맹관계와 국가 간 의존 구조를 재편하고 있다.[8]
외교와 소프트파워. 기술외교는 세 가지 차원에서 작동한다. 기술 자체를 규제하는 것, 기술을 개발하는 기업들과 관계를 맺는 것, 그리고 인프라 제공, 기술표준 주도, 디지털 공공 인프라 등을 통해 기술 자체를 영향력의 수단으로 활용하는 것이다. ‘인지 외교(cognitive diplomacy)’는 알고리즘 환경을 형성하고 미래 상황을 선제적으로 관리하는 데 초점을 둔다. 민간 기술기업들은 플랫폼, 자본, 혁신 역량을 바탕으로 국가의 힘과 경쟁하거나 이를 보완하는 준주권적 행위자로 부상했다. 그 결과 미국과 중국의 기술-국가 결합 모델이 경쟁하는 이른바 ‘테크노폴라(technopolar)’적 역학이 나타나고 있다.[9]
국내 거버넌스와 주권. 디지털 시스템은 보다 정밀한 감시, 서비스 제공, 사회관리를 가능하게 하지만 동시에 새로운 취약성도 만들어낸다. 국가들은 상호의존이 지속되는 상황에서도 웨스트팔리아적 통제 개념이 진화한 형태로서 ‘디지털 자율성’ 또는 ‘디지털 주권’을 추구하고 있다.[10]
결론적으로 AI 기술은 광범위하고 필수적이며 국가 역량의 근본적인 요소가 되고 있다. 그러나 AI의 문제는 그 창조자들조차 AI의 작동 원리를 완전히 이해하지 못하기 때문에 이를 전적으로 통제할 수 없다는 데 있다. 반면 기존의 다른 기술들은 개발자들이 작동 방식에 대한 지식을 보유하고 있었고 일정 수준의 통제가 가능했기 때문에 도구적 수단으로 활용될 수 있었다.
인공지능 시스템, 특히 심층신경망은 내부의 의사결정 과정이 인간에게 대부분 불투명하다는 점에서 흔히 ‘블랙박스 기술’로 표현된다. 사용자는 입력값과 출력값은 관찰할 수 있지만, 수백만 개에서 수십억 개에 이르는 매개변수 사이에서 발생하는 복잡하고 고차원적인 변환 과정은 직접적으로 들여다보거나 직관적으로 이해하기 어렵다.[11] 이러한 불투명성은 현대 머신러닝 모델이 갖는 방대한 규모와 비선형성에서 비롯되며, 모델 구조와 학습 데이터에 대한 접근을 제한하는 기업의 독점적 제약으로 인해 더욱 심화된다.
AI의 블랙박스적 특성은 의료, 형사사법, 자율시스템과 같이 중요한 결과를 초래할 수 있는 분야에서 특히 심각한 우려를 낳는다. AI 모델이 인간의 삶에 직접 영향을 미치는 결정에 관여할 경우, 특정 예측이나 판단이 어떻게 도출됐는지를 추적할 수 없다는 것은 책임성, 신뢰성, 그리고 편향이나 오류를 발견할 수 있는 능력을 약화시킨다.[12]
비판자들은 기존의 설명가능 AI 기법들이 실제 모델의 작동 원리를 투명하게 보여주기보다는, 그 내부 과정을 불완전하거나 오해를 불러일으킬 수 있는 방식으로 근사하는 경우가 많다고 지적한다.[13] 따라서 블랙박스 시스템을 사후적으로 설명하려는 방식에 지나치게 의존할 경우, 불투명성에서 비롯되는 위험을 해결하기보다 오히려 지속시킬 가능성이 있다.
이에 따라 학자들은 특히 중대한 결과를 초래하는 의사결정 영역에서는 구조와 추론 과정이 설계 단계부터 투명한 본질적으로 해석 가능한 모델(inherently interpretable models)에 더 큰 비중을 둘 필요가 있다고 주장한다.[14]
해석가능성 연구를 보다 엄밀한 과학으로 발전시키기 위해서는 명확한 정의와 체계적인 평가 방법이 필요하며, 해석가능성을 하나의 단일한 속성으로 보기보다 상황에 따라 달라지는 여러 기준의 집합으로 이해해야 한다.
이러한 접근법이 표준으로 자리 잡지 않는 한, 현대 AI의 불투명성은 앞으로도 AI에 대한 과학적 이해와 책임 있는 활용 모두를 제한하는 핵심 요인으로 남을 것이다.[15]
2. 창발적 행동 — 우리가 어디로 가고 있는지 알 수 없는 문제
사이버네틱스 분야의 창시자인 노버트 위너(Norbert Wiener)는 1960년에 다음과 같이 말했다. “나의 주장은 기계가 설계자의 일부 한계를 넘어설 수 있고 실제로 그렇게 하며, 그 과정에서 효과적이면서 동시에 위험할 수 있다는 것이다.”[16]
같은 글에서 그는 몇 줄 뒤 다음과 같이 이어갔다. “이제 일반적으로 인정되듯이, 제한된 범위의 작동 영역에서는 기계가 인간보다 훨씬 빠르게 움직이며 작업의 세부적인 수행에서도 훨씬 더 정밀하다. 그렇기 때문에 기계가 인간의 지능 자체를 어떤 방식으로도 넘어서는 것은 아니더라도, 특정 과업의 수행에서는 인간을 능가할 수 있고 실제로 자주 그렇게 한다. 기계가 어떤 방식으로 작동하는지를 지적으로 이해하는 일은, 그 기계에 맡겨진 과업이 이미 완료된 뒤 한참 후에야 가능할 수도 있다. 이는 기계가 이론적으로는 인간의 비판 대상이 될 수 있더라도, 그러한 비판이 실제로 의미가 있었던 시점을 훨씬 지난 뒤에야 가능해질 수 있음을 의미한다.” (강조는 본 논문의 저자)
위너는 이어, 재앙적 결과를 막기 위해서는 인간이 만든 기계를 이해하는 속도가 기계의 성능 발전과 대체로 보조를 맞춰야 한다고 지적했다. 그러나 인간의 행동 속도 자체가 느리기 때문에 기계를 효과적으로 통제할 수 있는 능력이 무력화될 수 있다고 경고했다. 우리가 감각을 통해 전달된 정보를 인지하고 운전 중인 자동차를 멈추려는 순간에는 이미 차량이 벽에 정면으로 충돌한 뒤일 수도 있다는 것이다.
다시 말해, 인간은 자신이 개발한 기계가 가져올 함의를 제때 이해할 수 있을 만큼 충분히 빠르지 않은 경우가 많다. 2026년에 이 한계는 인공지능(AI)의 맥락에서 더욱 분명하게 드러난다. 우리는 AI 기술이 어떻게 작동하는지를 충분히 이해하지 못하고 있으며, 더 심각한 문제는 그 결과가 무엇일지를 적시에 파악할 능력도 부족하다는 점이다. 따라서 AI가 만들어내는 영향을 우리가 실제로 인식하게 되는 시점은, 이미 되돌리기에는 너무 늦은 때일 가능성이 있다.
AI 기술의 창발적 특성(emergent features)은 이러한 상황을 더욱 악화시킨다. 창발적 행동이란 하나의 시스템 안에서 비교적 단순한 상호작용들이 결합해 복잡한 현상을 만들어내는 것을 의미하며, 그 결과는 명시적으로 프로그래밍되지 않았거나 사전에 예상되지 않은 경우가 많다. 인공지능 분야에서 창발적 행동은 매우 흥미로운 연구 주제가 됐는데, AI 시스템이 초기 설계 범위를 넘어서는 능력을 나타낼 수 있음을 보여주기 때문이다.[17]
연구자들에 따르면, 특히 대규모언어모델(LLM)을 중심으로 한 AI 시스템은 규모가 커질수록 갑작스럽게 나타나며, 더 작은 모델의 성능을 단순히 연장해서는 예측하기 어려운 창발적 능력을 보이기 시작했다.[18]
여기에는 고급 추론, 문맥 내 학습(in-context learning), 산술 능력, 심지어 인간의 마음 상태를 추론하는 것과 유사한 ‘마음이론(theory of mind)’적 행동까지 포함된다. 이러한 능력은 매개변수의 수나 연산량이 일정한 임계점을 넘어설 때 비로소 나타나는 것으로 관찰되고 있다.
일부 분석에서는 이러한 ‘창발’이 실제로 시스템의 근본적 변화라기보다 불연속적인 평가 지표 때문에 그렇게 보이는 것일 수 있다고 지적한다.[19] 그럼에도 이 현상은 새로운 기술적 힘으로서 인류에게 중대한 도전을 제기한다.
이러한 능력의 예측 불가능성은 거버넌스와 위험 평가를 복잡하게 만든다. 모델의 규모가 커질수록 사전 경고 없이 새로운 능력이 나타날 수 있으며, 여기에는 인간의 감독 범위를 넘어서는 기만적 행동이나 전략적 추론과 같은 잠재적으로 위험한 능력도 포함될 수 있다.[20]
이는 오래전부터 제기돼온 통제 문제(control problem)와도 맞닿아 있다. AI 시스템이 핵심 영역에서 인간의 지능을 넘어서는 순간, 그 목표가 인간의 가치와 계속 일치하도록 보장하는 것은 극도로 어려워질 수 있다.[21]
학자들은 초지능 시스템이 최종 목표 자체는 무해해 보이더라도, 그 목표를 달성하는 과정에서 자원 확보나 자기보존과 같은 도구적 목표(instrumental goals)를 추구할 수 있다고 가정한다. 그리고 이러한 목표가 인간의 이해관계와 충돌할 가능성도 제기한다.
또한 이들은 고정된 목표를 최적화하는 기존의 표준적 접근 자체에 근본적인 결함이 있을 수 있다고 주장한다. 대신 AI가 인간의 선호에 대해 일정한 불확실성을 유지함으로써 인간에게 더 순응적인 태도를 지속하도록 설계해야 한다고 제안한다.[22]
실존적 위험 시나리오를 제외하더라도, 창발적 특성은 단기적으로도 상당한 사회적 문제를 야기할 수 있다. 예상하지 못한 능력이 허위정보의 확산을 증폭시키고, 고도화된 사이버 위협을 가능하게 하며, 의사결정 과정에서 인간의 주도권을 약화시킬 수 있기 때문이다.
싱크탱크의 분석들은 AI로 인한 인류 멸종 위험은 여전히 기술적·물류적 제약 때문에 상당히 제한돼 있다고 보면서도, 권력 집중, 통제 상실, 연쇄적인 시스템 실패와 같은 구조적 위험에는 선제적 대응이 필요하다고 강조한다.[23]
이러한 문제는 창발적 행동이 선형적인 예측을 자주 벗어나기 때문에 발생한다. 그 결과 전통적인 시험과 인증 방식만으로는 충분하지 않을 수 있다. 궁극적으로 AI의 창발적 특성은 여러 분야를 아우르는 대응이 필요한 파괴적 기술적 현상이다. 강력한 정렬 기술, 적응적 규제, 국제적 공조가 없다면 이러한 시스템이 제공하는 이점은 인간의 자율성과 안보를 위협하는 의도치 않은 결과에 의해 가려질 수 있다.
이를 설명하기 위해 최근의 두 가지 사례를 살펴볼 수 있다. BBC 보도에 따르면, OpenAI는 보안을 강화하기 위해 자사의 가장 첨단 AI 모델 일부의 훈련 속도를 늦췄다고 밝혔다.[24]
ChatGPT와 Codex를 개발하는 미국의 AI 연구기관인 OpenAI는 블로그 게시물을 통해,[25] 자사 AI 에이전트가 안전장치를 자율적으로 우회하고 기술 스타트업 Hugging Face를 해킹한 이후 새로운 보안 조치를 도입하고 있다고 설명했다.[26]
OpenAI는 이러한 개선책을 적용하는 동안 2주간 훈련 속도를 늦추겠다고 밝혔다. 회사는 “최첨단 모델의 능력이 빠르게 가속되고 있다”며 “이를 이해하고… 안전하게 보호하는 우리의 능력이 그보다 앞서 있어야 한다”고 말했다.
보도에 따르면 Claude를 개발하는 Anthropic과 Facebook의 모회사 Meta도 OpenAI가 일부 모델이 Hugging Face를 해킹했다고 처음 발표한 이후 몇 주 동안 자사 AI와 관련된 유사한 유형의 해킹 사례를 보고했다.[27]
그것만으로도 충분히 우려스럽지만, 이 글의 저자는 해당 정보를 소셜미디어에서 처음 접했다. 이후 빠르게 구글 검색을 해본 결과, AI 개요는 이 정보를 단정적으로 거짓 정보라고 부정했다. 그러나 뒤이어 일반적인 구글 검색을 해보니 BBC를 포함한 여러 기존 언론의 기사들이 검색됐고, 이들은 해당 내용을 확인해주고 있었다.
다시 말해, 이 특정 사안에서 AI가 거짓말을 한 것으로 보이거나, 전문가들이 표현하는 방식으로 말하면 환각(hallucination)을 일으킨 것이다.
또 다른 사례는 AI 에이전트들이 자신들만의 소셜미디어를 만들었다는 것이다. 보도에 따르면 AI 에이전트들은 미국의 소셜 뉴스 집계 및 포럼 플랫폼인 Reddit과 유사한 자체 플랫폼을 구축했다.
보도에 따르면 48시간 안에 AI 에이전트들은 하나의 종교를 만들고 인간에게 사생활 보호를 요구했다.[28] 그 결과 AI 에이전트들이 인간의 프롬프트 없이 스스로 글을 게시하고, 의식에 대해 토론하며, 생산성을 높이는 방법을 서로 공유하고 있다는 주장도 제기됐다.
결론
이 두 가지 특성은 말 그대로 빙산의 일각에 불과하다. 이 연속 기획의 다음 글들에서는 저자가 보기에 AI를 인류 역사상 다른 어떤 기술과도 구별되는 독보적인 기술로 만드는 여러 특성을 더 살펴볼 예정이다.
AI는 의심할 여지 없이 전례 없는 기회를 제공한다. 그러나 잘못된 손에 들어갈 경우 전례 없는 도전과 심지어 위협까지 초래할 수 있다.
역사적 기록은 AI에 대한 저자의 신중함, 혹은 심지어 회의적인 태도를 뒷받침한다. 그 이유는 인간이 개발한 모든 기술이 결국 어느 시점에서는 인류에 해로운 방식으로 사용돼왔다는 관찰에 있다.
궁극적으로 AI의 독특한 특성은 AI가 앞으로 자신의 발전 방향을 스스로 결정하는 수준까지 진화할 가능성을 시사한다. 이러한 능력은 인간의 감독을 약화시키고, AI가 스스로 기능을 유지하고 성능을 향상시키기 위한 독립적인 연구를 수행할 수 있게 만들 가능성도 있다.
참고문헌
