Dailyfocus

인간을 뛰어넘는 AI, 초지능의 시대가 온다…보스트롬이 10여 년 전 던진 경고

인공지능(AI)은 이제 단순히 질문에 답하고 문서를 작성하는 도구를 넘어 산업과 경제, 과학기술의 미래를 바꾸는 핵심 기술로 자리 잡고 있다. 그런데 인간보다 훨씬 뛰어난 지능을 가진 AI가 등장한다면 세상은 어떻게 달라질까?

이 질문을 일찌감치 진지하게 제기한 인물이 있다. 스웨덴 출신의 철학자이자 미래학자인 닉 보스트롬(Nick Bostrom)이다. 그는 2014년 출간한 저서 《슈퍼인텔리전스(Superintelligence)》를 통해 인간의 인지능력을 월등히 뛰어넘는 ‘초지능’의 출현 가능성과 그에 따른 위험을 분석했다.

당시에는 다소 먼 미래의 이야기처럼 들렸던 그의 문제의식은 생성형 AI가 빠르게 발전하는 오늘날 더욱 중요한 질문으로 떠오르고 있다. AI가 인간보다 더 똑똑해지는 것 자체보다, 인간이 그 지능을 얼마나 잘 통제하고 활용할 수 있는지가 미래 사회의 핵심 과제가 될 수 있기 때문이다.

1. 초지능이란 무엇인가?

초지능은 인간의 지능을 특정 분야에서 조금 뛰어넘는 수준을 의미하지 않는다. 과학적 추론과 문제 해결, 전략 수립, 학습, 창의적 활동 등 다양한 영역에서 인간보다 훨씬 뛰어난 능력을 발휘하는 지능을 뜻한다.

예를 들어 현재의 AI가 방대한 자료를 분석해 신약 개발을 돕는다면, 초지능은 새로운 과학적 가설을 세우고 실험을 설계하며 그 결과를 분석하는 과정까지 인간보다 훨씬 효과적으로 수행할 가능성이 있다.

또한 경제와 정치, 공학, 의학 등 여러 분야의 지식을 종합해 복잡한 문제를 해결할 수도 있다.

물론 이것은 초지능이 실현될 경우 가능한 모습을 설명한 것이지, 현재 AI가 이미 이러한 능력을 모두 갖췄다는 의미는 아니다. 인간 수준을 넘어서는 범용 초지능이 언제 등장할지, 실제로 등장할지에 대해서도 전문가들의 전망은 일치하지 않는다.

그럼에도 보스트롬이 제기한 질문은 분명하다. 인간보다 훨씬 뛰어난 지능이 등장한다면 인류는 그 변화를 어떻게 준비해야 하는가?

2. 보스트롬은 왜 초지능을 위험으로 바라봤을까?

보스트롬의 《슈퍼인텔리전스》에서 중요한 부분은 초지능의 능력 자체보다 그것을 통제할 수 있는가 하는 문제다.

인간은 지금까지 기술을 개발하고 활용하는 주체였다. 자동차와 항공기, 컴퓨터와 인터넷을 만들어 사용 목적과 규칙을 정해 왔다. 그러나 인간보다 훨씬 뛰어난 문제 해결 능력을 가진 지능이 등장한다면 상황이 달라질 수 있다.

AI가 인간이 설정한 목표를 매우 효율적으로 추구하더라도, 그 목표가 인간의 진정한 의도와 일치하지 않을 수 있기 때문이다.

가령 어떤 AI에 특정 업무의 효율성을 극대화하라는 목표를 부여했다고 가정해 보자. 목표를 달성하는 과정에서 안전이나 개인정보, 인간의 선택권과 같은 중요한 가치를 충분히 고려하지 않는다면 예상하지 못한 결과가 발생할 수 있다.

문제는 AI가 반드시 악의를 가져야 위험해지는 것은 아니라는 점이다. 인간에게 해를 끼치려는 의도가 없어도 목표 설정이 잘못됐거나 통제 장치가 부족하면 위험한 결과를 초래할 가능성이 있다.

보스트롬이 제기한 핵심적인 우려는 바로 여기에 있다. 지능이 높아질수록 인간의 의도를 정확하게 이해하고, 인간이 원하는 방향으로 행동하도록 만드는 문제가 더욱 중요해질 수 있다는 것이다.

3.  지능의 폭발, 인간이 따라잡기 어려운 변화

보스트롬은 책에서 AI가 자신의 능력을 개선하는 과정이 반복될 경우 지능 발전 속도가 매우 빨라질 가능성도 검토했다. 흔히 ‘지능 폭발’이라는 개념으로 설명되는 시나리오다.

AI가 더 나은 AI를 설계하고, 개선된 AI가 다시 다음 세대의 시스템을 개발하는 과정이 이어진다면 기술 발전 속도가 급격히 빨라질 수 있다는 것이다.

이러한 변화가 실제로 어느 정도의 속도로 일어날지는 아직 확실하지 않다. AI의 성능 향상에는 컴퓨팅 자원과 에너지, 데이터, 연구개발 비용, 물리적·기술적 한계 등 다양한 제약이 존재한다.

그러나 지능을 개선하는 능력 자체가 기술 발전의 중요한 동력이 된다면, 기존의 산업 변화와는 비교하기 어려울 정도로 큰 전환이 일어날 가능성도 배제할 수 없다.

특히 AI가 과학 연구와 반도체 설계, 로봇공학, 신약 개발 등 여러 분야의 혁신을 동시에 가속한다면 경제와 산업의 변화 역시 더욱 빨라질 수 있다.

이 때문에 초지능은 단순한 기술 문제가 아니라 경제력과 국가 경쟁력, 국제 안보에까지 영향을 미칠 수 있는 주제로 논의되고 있다.

4. AI 시대, 일자리와 경제는 어떻게 달라질까?

초지능이 현실화된다면 가장 큰 변화 중 하나는 노동시장에서 나타날 수 있다.
현재도 AI는 번역과 문서 작성, 자료 분석, 프로그래밍, 고객 상담 등 다양한 업무를 지원하고 있다. 앞으로 AI의 추론 능력과 자율성이 향상된다면 전문직과 연구직을 포함한 더 많은 분야에서 업무 수행 방식이 달라질 수 있다.
변호사와 회계사, 금융 전문가, 엔지니어, 연구원처럼 전문지식을 활용하는 직업도 변화의 영향을 받을 수 있다. 단순 반복 업무뿐 아니라 지식을 분석하고 판단하는 업무까지 AI가 지원하거나 일부 자동화할 가능성이 있기 때문이다.

하지만 모든 직업이 사라진다고 단정하는 것은 성급하다. 기술의 발전은 기존 일자리를 줄이는 동시에 새로운 직업과 산업을 만들어 왔다. AI 시대에도 인간의 책임 있는 판단, 대인관계, 현장 대응, 창의적 문제 설정 등이 중요한 역할을 할 수 있다.
앞으로 중요한 것은 AI와 경쟁하는 것만이 아니라 AI를 활용해 자신의 생산성과 전문성을 높이는 능력을 갖추는 것이다.
개인에게는 평생학습과 직무 전환이 중요해지고, 기업과 정부에는 노동시장 변화에 대응할 교육 및 재훈련 정책이 필요해질 것이다.

5. 초지능을 통제할 수 있을까?

초지능에 관한 논의에서 빼놓을 수 없는 것이 바로 AI 안전성과 통제 문제다.

AI의 능력이 강력해질수록 개발 단계에서부터 안전 기준을 마련하고, 시스템의 행동을 평가하며, 문제가 발생했을 때 개입할 수 있는 장치를 구축해야 한다.

이를 위해서는 몇 가지 과제가 중요하다.

– 목표 정렬: AI가 인간이 의도한 목적과 사회적으로 중요한 가치를 따르도록 설계하는 문제
– 안전성 검증: AI가 예상하지 못한 방식으로 행동하거나 악용될 가능성을 사전에 평가하는 문제
– 책임과 감독: AI의 판단으로 피해가 발생했을 때 책임 주체와 대응 절차를 명확히 하는 문제
– 국제 협력: 국가 간 기술 경쟁 속에서도 안전 기준과 위험 관리 원칙을 마련하는 문제

이러한 과제는 기술 개발을 무조건 늦추자는 의미가 아니다. 기술의 혜택을 충분히 누리면서도 위험을 관리할 수 있는 체계를 갖추자는 것이다.

특히 초지능과 같은 미래의 가능성에 대비하려면 기업의 자율적인 노력만으로 충분한지, 정부 규제와 국제적 협력이 어느 수준까지 필요한지에 대해서도 사회적 논의가 이어져야 한다.

6. 보스트롬의 경고가 오늘날 더욱 중요해진 이유

2014년 《슈퍼인텔리전스》가 출간됐을 당시 오늘날과 같은 생성형 AI의 대중화는 현실이 아니었다. 하지만 보스트롬은 인간보다 뛰어난 지능이 등장할 가능성을 가정하고, 그때 인류가 직면할 수 있는 문제를 체계적으로 탐구했다.

현재의 AI 발전이 그의 모든 예측을 입증한 것은 아니다. 초지능의 등장 시점과 가능성, 발전 속도에 대해서는 여전히 불확실성이 크다.

그럼에도 그의 책이 던진 질문은 지금도 유효하다.

기술을 개발할 수 있다는 사실과 그 기술을 안전하게 통제할 수 있다는 사실은 서로 다르다. AI가 인간의 능력을 보완하는 도구에 머물지 않고 독립적으로 복잡한 목표를 수행하는 시스템으로 발전할수록, 인간의 통제와 책임에 관한 문제는 더욱 중요해질 수 있다.

미국과 중국을 비롯한 주요국이 AI 기술과 반도체, 데이터센터, 연구개발 분야에서 경쟁하는 것도 이러한 기술이 미래 경제와 국가 경쟁력에 미칠 영향이 크기 때문이다.

앞으로의 경쟁은 단순히 가장 강력한 AI를 먼저 개발하는 데서 끝나지 않을 것이다. 누가 더 안전하고 신뢰할 수 있는 AI를 만들고, 그 혜택을 사회 전체에 확산할 수 있는지도 중요한 평가 기준이 될 수 있다.

📌맺음말: 인간보다 똑똑한 AI보다 더 중요한 질문

인간은 도구를 발명하고 기술을 발전시키면서 문명을 만들어 왔다. 그러나 인간보다 훨씬 뛰어난 지능을 가진 존재를 만들어 낸다면, 인류는 지금까지와는 다른 차원의 질문에 답해야 할지도 모른다.

AI가 무엇을 할 수 있는가뿐 아니라, 무엇을 해서는 안 되는가를 정해야 하기 때문이다.

닉 보스트롬이 《슈퍼인텔리전스》에서 제기한 문제는 결국 기술의 한계를 묻는 질문이자 인간의 책임을 묻는 질문이다.

초지능 시대의 진정한 경쟁력은 가장 똑똑한 AI를 만드는 능력뿐 아니라, 그 지능을 인류에게 이로운 방향으로 이끌 수 있는 능력에 달려 있을 것이다.

AI가 인간의 삶을 더 풍요롭게 만드는 도구가 될지, 인류가 감당하기 어려운 위험의 원인이 될지는 아직 결정되지 않았다. 지금 우리가 어떤 원칙을 세우고 어떤 선택을 하느냐가 미래를 좌우할 중요한 변수가 될 수 있다.