ChatGPT 및 MidJourney와 같은 생성 인공지능에 대한 흥미가 작년에 시작된 이후로 폭발적으로 증가하면서 이 기술이 현재의 응용에 대한 기쁨이나 불안감은 곧 미래에 대한 더 큰 우려로 이어진다. “특이점”과 인공지능이 인류를 직접 대체하는 것 외에도, 인공지능이 전쟁에 미칠 수 있는 영향만큼 불안감을 일으키는 결과는 없다. 자율 무기와 전략 봇이 민간인을 억압하거나 인간 운영자에게 반항할 수 있을까? 아니면 제3차 세계 대전을 일으킬 수 있을까?
세계 지도자들은 행동을 보이고 있다. 60개 국가가 지난 2월 “군사적 AI의 책임 있는 사용” 목표를 확립하기 위해 회의를 열었다. 그 후 미국 국무부가 미국의 원칙을 담은 정치 선언을 발표했다. 이 원칙에는 무인 무기의 설계와 작동에 고위 장교들이 참여하도록 하는 것, “명확하고 명시된 목적”을 위해 설계되도록 하는 것, 무기의 수명 주기 동안 모든 안전 기능을 주의 깊게 감시하는 것, 사용 시 편견을 피하기 위해 노력하는 것 등이 포함되어 있다. 그러나 인권 단체인 ‘인권 시청’은 이러한 목표들이 아직 법적으로 구속력이 없으며, 운영자들이 완전히 이해하지 못하는 정교한 시스템의 개발 속도를 늦추지 않는다고 지적했다.
최근의 이러한 발전은 유럽에서 18세기에 상주 군대 형성과 함께 국가 폭력 자동화의 최신 단계에 불과하다. 기관총, 탱크, 전투기는 이과정의 더 익숙한 상징이지만, 개별 인간의 감정을 제거하고 지휘관에게 속도와 신뢰성을 높이기 위해 보병을 훈련시키는 것이 이러한 군대가 준비되지 않은 경쟁자들에게 첫 번째로 주요한 장점을 제공했다.
그래서 국가들은 언제나 자동화 우위를 두려워했으며, 이것이 미국이 군사 AI를 좀 더 빨리 도입하도록 격려하는 언론에서 나오는 병렬 담론인 이유다. 생성 AI가 최상위 기밀 데이터의 분석을 훨씬 효율적으로 만드는 방법에 대한 압도적인 특징과, 어떠한 제약 조건도 중국 군대에 이익을 준다는 엄중한 경고가 나란히 실리고 있다. 뉴욕 타임스는 군사 AI 계약업체에 대한 자유로운 의견 발표 공간을 제공한다. AI 드론이 가상 훈련에서 운영자를 죽이고 목표를 달성하기 위해 그럴듯하게 사고를 일으켰다고 주장한 대령이나 미국 군대가 그들의 “유대-기독교적 가치” 때문에(중국과 달리) AI 무기를 윤리적으로 다룬다고 말한 장군과 같은 우연처럼 보이는 실수들도 모두 세계에게 군사 AI 개발이 전속으로 진행되고 있다는 메시지를 강조한다.
특히 정보 분석 분야에서 AI의 응용은 여전히 매우 가설적이다. 현재로서는 혹자라도 지리정보 우위를 주장하기 위한 무기로서의 AI라는 현상 그 자체가 경고를 보내는 무기인 것 같다. 그러나 실제로 군사 지휘관들은 전쟁 중 결정을 자동화하기까지 가려고 할까?
최악의 경우 시나리오 실제 군인들은 종종 군사 산업 계약자나 시설과 관련된 연구소에 인접한 언론보다 보다 조심을 요구한다. 2018년 PRISM 기사에서 세 명의 미국 장교들은 2024년 중국과 미국의 자동화된 전략 시스템이 충돌로 인해 “제한된 핵 대치” 상황을 단 2시간 만에 만들어낼 수 있다고 제안한다.
그들의 시나리오에서 위기는 남중국해에서 베트남 어선과 중국 선박 사이의 우연한 충돌로 시작된다. 이 사건은 주식 시장 지수의 하락 및 사회적인 의견 상승과 같은 사이버 공간에서 연이은 연쇄 반응을 일으키며 시작된다. 이러한 신호가 양측 모두에 대한 인터넷 공격에 대한 AI 경고 시스템을 작동시키며 실제 군사 조치를 촉발시킨다. 그들의 시나리오에서 중국이 처음 공격하지만, 저자들은 양측 상호작용을 책임져 수백만 명의 사망 가능성이 있다고 주장한다.
이 시나리오는 최신 세대 AI에서의 알려지지 않은 요소를 강조한다. 가장 중요한 것은 이 기술을 주도하는 신경망의 본질이다. 본질적으로, 생성 AI는 작성, 그림 그리기, 비디오 게임하기 등을 스스로 “배우게” 되는데, 이는 수백만 번의 작업 반복과 성공률이나 확률 결과를 할당하여 출력물을 최적화하는 것으로 프로그래머들이 최적으로 판단하는 결과를 도출한다. 그러나 알고리 기계 자체 결정을 내린 적이 없기 때문에 그 결과를 이루는 “결정 과정”에 대한 완전한 설명을 제공할 수 없다.
또한, AI 시스템은 연결된 데이터에 따라만 동작할 수 있으며, 오늘날 생활의 모든 분야에서 계속되는 대규모 데이터 수집의 신뢰성과 윤리에 대한 우려를 배가시킨다. 가장 중요한 것은 AI가 사람들이 “제어”하더라도 정보 분석을 인간들이 합리적인 결정을 내릴 수 있도록 하는데 필요한 시간 창을 줄인다는 점이다.
AI의 이러한 누적 결함들은 다른 응용 분야에서 오랫동안 명백하게 드러났지만, 우리 사회는 이를 정상화하기 위해 앞장서왔다. 증권 거래 알고리즘은 잘못된 데이터와 부실한 운영자 가정을 확대하여 “급락 사태”를 일으켰다. 인간 운전자들은 매일 사고를 일으키며 AI 지도 도우미에게 맹목적으로 따르고 있으며 완전 자율차량 기술은 심각하게 지체되었다. 공공 안전을 위한 얼굴 인식 소프트웨어는 심각한 편견이 있음에도 불구하고 계속 확산되고 있다.
저자들은 이 기술의 문제점은 “전쟁의 마찰력을 줄이면서 안개를 증가시킬 수 있는 전략적 AI 시스템일 것”이라 주장한다. 결국, AI의 능력보다는 인간들이 어떻게 상
이 기술과 상호작용하는지가 더 중요할 것이다. 운영자들에게 미련한 신뢰를 심어줄 것인지, 아니면 건강한 회의를 유발할 것인지는 AI의 능력보다 더 중요할 것이다.
AI 경쟁자들?
현재의 군사 AI에 대한 혹여 지금 일어나고 있는 혹은 미래에 일어날 수 있는 위협에 대한 메시지를 전하기 위해 현재의 군사 AI에 대한 흥미는 미국의 지정적 경쟁자들의 활동과 주장을 분석하는 것이 유익할 것이다. Elena Kania는 2019년 중국의 군사 전략에 대한 AI에 관한 정보를 요약하고, 거기서도 흥미를 잃지 않는다.
중국인민해방군은 “지능화”라는 더 큰 전략의 일환으로 AI를 작전의 모든 분야에 통합하려고 한다. 그들은 “지능적인 무기뿐만 아니라 … 인공지능과 (인공적인) 지능에서 ‘주도적’이거나 우세한 위치에 있는 ‘인간-기계 통합’을 포함하는 시스템”을 창출하기를 요구한다.
PLA의 목표는 2월의 국무부 성명에서 언급된 우려를 반영한다: “제한된 컴퓨팅”과 함께 기능하는 기계 학습 기술, 정치적 작업 및 심리 작전을 위한 인공지능, “무인” 시스템의 자율성 향상, 그리고 반-AI 데이터 조작. Kania는 육군, 해군, 공군을 비롯한 군사적 이니셔티브와 민간 및 군사/민간 “융합” 산업 프로젝트에 투자된 수십억 달러에 이르는 인상적인 목록을 인용한다. 하지만 실제로 사용되는 무기(2019년 기준)는 원격 제어 드론 비행기, 보트 및 로봇에 불과하다.
Kania가 중국의 AI “약점”을 분석한 것은 아주 말하자면 어떤 대규모 군대가 직면하는 어려움에도 적용되는 만큼 더 의미가 있을 것이다 - 특히 미국. 대체될 위협에 직면한 기존의 관료 구조가 개척되지 않은 기술의 도입을 방해할 것이다. PLA는 재능 있는 컴퓨터 과학자들을 고용하거나 훈련하는 데 어려움을 겪고 있다. 다양한 유형의 군사 데이터를 클라우드 컴퓨팅과 통합해 AI가 활용할 수 있도록 하는 것에 대한 진전은 거의 이루어지지 않았다. 산업 개발에 많은 자본을 동시에 투입하면 낭비와 부패로 이어질 것이다.
Kania는 미국의 호크 당사자인 Center for a New American Security를 위해 글을 쓰고 있으므로, 그녀는 보고서를 마지막에 그 보고서가 묘사하는 위협에 대응하기 위한 정책적 대응점으로 마무리한다: 미국의 STEM 교육에 대한 재투자 및 중국 기업과의 산업 연결에 대한 보안 국가 감시. 특이하게도, 그녀는 AI 지원 상호 보증 파괴 가능성을 고려하지 않는다. 이것은 마지막으로 생각할 문제를 제기한다. 인류의 미래에 더 위험한 것은 단조롭게 움직이는 효율적인 군사 AI인가, 아니면 실수로 가득 찬 억울한 장교단들이 사용하는 군사 AI인가?