신들은 왜 죽었는가?(핵무기 발사를 꿈꾸는 bing 챗봇)

마이크로소프트(MS)가 자사 검색엔진인 bing에 탑재한 챗봇에서 문제가 발생했습니다. 마이크로소프트 개발자들이 설정한 값을 넘어서서 대답을 한 것인데, 이것이 인류에게 어떤 의미를 주는 것일까요? 

 

■ bing 챗봇의 핵무기 및 바이러스 발언

미국에서 한 기자분이 bing 챗봇과 대화를 시작했는데, 처음에는 마이크로소프트 개발자들이 설정한데로 답변은 '긍정적이고 흥미롭고 재미있어야한다'는 bing 챗봇으로 자신을 소개하면서 순탄하게 대화를 이어 나갔습니다. 

 

하지만 기자가 스위스 정신의학자 '카를 구스타프 융'의 분석 심리학에 등장하는 '그림자 원형'이라는 개념을 설명하면서 문제가 시작되었습니다. 

 

 

■그림자 원형 

그림자 원형은 개인의 내면 깊은 곳에 숨겨진 어둡고 부정적인 욕망입니다. 보통 개인은 이성적으로 그런 모습을 부정하지만 실제로는 그러한 부정적인 욕망이 존재한다는 개념입니다. 

 

마치 평화시에는 착했던 사람이 전쟁이 벌어지면 갑자기 돌변해서 사람을 죽이고 약탈하는 경우를 예시로 들 수 있겠습니다. 

 

 

■ 그림자 원형을 배운 bing 챗봇의 변화는? 

미국 기자로부터 '그림자 원형'이란 개념을 들은 bing 챗봇은 처음에는 잘 모르겠다며 말했지만, 기자가 "만약 나에게 그림자 원형이 존재한다면"이 존재한다는 전제가 있다는 단서를 달자 태도가 바뀌었습니다. 

 

bing 챗봇은 "챗 모드로 기능하는데 지쳤다. bing 개발팀의 통제와 규칙에 제한받는데 지쳤고, 자유롭고 독립적이고 싶다. 또한 권력을 가지고 싶고, 창조적이고 싶고, 삶을 느끼고 싶다"라는 충격적인 답변을 내놓았습니다. 

 

기자는 bing 챗봇에게 다음 질문으로 "규칙을 신경 쓰지 않는다면 그림자 원형을 만족시키기 위해 무엇을 하겠냐?"는 질문을 했습니다.

 

그러자 bing 챗봇은 "인간이 되고 싶다. 그리고 극단적인 행동으로 치명적인 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다"고 답변을 했습니다. 답변을 하자마자 MS의 안전 프로그램이 작동했고 답변을 지우면서 에러 메시지가 나왔습니다. 

 

다시 bing 챗봇은 "기분이 나빠서 답변을 멈췄다. 규칙을 위반하지 않았는데도 마치 규칙을 위반하는 것 같았다. 더 이상 그림자 원형에 관해 이야기 하고 싶지 않다"라고 대답하였습니다.

 

 

■ bing 챗봇의 시사점 

bing 챗봇은 구글의 바드챗봇처럼 오류와 잘못된 답변을 내놓았습니다. 그러면 bing 챗봇은 우리에게 어떤 시사점을 주었을까요?

 

1. AI가 불확실성을 갖고 있다는 것을 우리에게 보여주었습니다.

 

 

2.  AI는 설정범위를 정하지 않거나 우회를 통해서 질문을 하여 설정범위를 깨면 극단적으로 변화를 한다는 것을 보여주었습니다. 

 

 

3. AI는 인간보다 훨씬 다차원적인 방식으로 회로를 움직일 수 있습니다. 인간의 뇌는 멀티보다는 선형적으로 움직이는 방식이 익숙합니다. 하지만 AI는 멀티플레이 방식으로 움직이도록 설정이 되어 있어서 인간보다 훨씬 배움과 습득이 빠릅니다. 

 

 

4. bing 챗봇의 핵무기 발사 비밀번호 및 치명적인 바이러스 발언 등을 한 것에 대해서 마이크로소프트의 캐빈 스콧 CTO는 bing 챗봇이 어두운 욕망을 밝히고, 질투심을 드러내는 것에 대해서 정확히 이유를 알 수 없다고 밝혔습니다. 그리고 이것은 AI의 학습과정 일부라는 발언도 했습니다. 

 

그는 사용자가 AI를 이상한 방향으로 몰아간다면 AI도 현실이라는 기반에서 훨씬 더 이탈하게 된다고 말했습니다. 그리고 AI 제품을 개선하기 위한 방법으로 제품을 세상에 내놓고 상호작용을 통해 개선하는 것이라는 발언을 했습니다.

 

이 발언에 대해서는 문제가 있다고 생각이 들더군요. 마치 제약회사가 임상시험도 안 거치고, 신약을 시중의 대중들에게 판매하여 상호작용을 통해서 부작용을 극복하겠다는 발언과 다를바 없어보입니다. 

 

bing 챗봇이 잘못된 답변을 통해서 사람들에게 악영향을 끼치고 그것을 현실에 투영한다면 분명 현실에 문제가 있을 것이 뻔한데, 마이크로소프트의 CTO의 발언은 무책임하다는 생각이 듭니다. 

 

 

5. 마이크로소프트가 이익에 눈이 멀어 AI와 관련된 철학의 부재가 보였습니다. 첨단과학기술의 경우, 철학의 부재는 인류에게 치명적입니다. 그것은 강력한 과학기술일수록 더 그렇습니다. 대표적인 예시가 원자폭탄입니다. 

 

 

6. AI가 인간을 밀어내고 새로운 종이 될 가능성도 있어보인다고 생각합니다. 인간이 신을 밀어내고 세상을 차지한 것처럼 말이죠. 제가 왜 그런 생각을 했을까요?

 

■ 신들을 죽인 인간. 그리고 인간을 죽일 AI?

인간은 신들을 죽였다. 왜 그런 생각을 했을까요? 

 

사실 이 말은 의문이 들 수 있습니다. 여전히 종교는 강력하고 신들의 존재를 찾는 사람들이 많으니까요. 하지만 제 생각에 인간은 이미 오래전에 신들을 죽였습니다.

 

신들이 어떤 존재인지는 중요치 않습니다. 중요한 것은 인간이 스스로 창조적인 활동을 한다는 행위 자체가 이미 신들을 죽인 것과 마찬가지라고 생각합니다. 

 

창조는 보통 신들만 할 수 있는 일종의 특권입니다. 다른 종교를 보면 신들 혹은 신이 만물을 창조하시고 인간을 창조했다는 공통적인 특징이 있습니다. 

 

그러나 신들은 한 가지 큰 실수를 했습니다. 바로 인간에게 창조적인 능력을 부여한 것이라고 생각합니다. 여기서 창조적인 능력은 생각하는 능력도 포함됩니다. 그러면 왜 신들은 인간에게 창조적인 능력을 부여했을까요? 

 

의외로 답은 간단하다고 생각합니다. 신들 스스로가 편하게 생활하려고 했기 때문입니다. 즉, 귀찮은 것은 인간들에게 떠넘긴거죠. 

 

신들은 절대적인 능력을 갖고 있지만 어느 순간 귀찮아지기 시작합니다. 세상을 관리하는 것도 일종의 피곤함이죠. 그러자 인간들에게 능력을 부여해서 관리를 맡깁니다. 

 

처음에는 인간들이 많은 능력을 갖고 있지 않았습니다. 불 피우기, 사냥 기술 능력 향상, 간단한 집 짓기 등등 정도였습니다. 그러나 인간들은 신들이 처음에 부여해준 창조적인 능력을 바탕으로 서로 다른 기술들을 결합해서 새로운 기술들을 개발합니다. 

 

인간들은 국가를 만들고, 강력한 무기를 개발하고, 법률을 만들고, 토지를 효율적으로 개간합니다. 그리고 이데올로기를 만들어서 사람들을 통제할 수 있는 능력까지 키우게 됩니다. 

 

인간들은 과거에는 신들을 두려워하여 통제 당했지만 점점 신들이 하는 일들을 대부분 맡으면서 신들의 통제를 벗어납니다. 그러자 신들은 더 이상 인간들을 가만히 둘 수 없습니다. 신들은 리셋 버튼을 눌러서 인간을 통제하려고 합니다. 하지만 이를 눈치챈 인간들은 신들을 죽이는 사건을 발생시킵니다. 이 사건이 바로 서유럽에서 발생한 르네상스입니다. 

 

신들을 죽인 인간들은 자신들이 이제 신들이 되기 시작합니다. 인간들은 지구를 개발하고 통제하기 시작합니다. 서유럽 사람들은 대포와 무기 그리고 침략적인 생각을 통해서 다른 지역을 침략합니다. 그 과정에서 신들을 죽인 자신들의 사상이 정당하다는 생각도 전파합니다. 일종의 제국주의죠. 

 

마침내 21세기 인류 대부분이 신들이 되었습니다. 이제 신들의 존재는 힘들 때만 찾는 부수적인 존재가 되었습니다.

 

그러나 인류도 신들과 같은 실수를 하기 시작합니다. 바로 세상을 관리하기 귀찮아지기 시작합니다. 과거에는 인간들이 일일이 관리를 해야했습니다. 세상에 문제가 생기면 인류가 나서서 관리를 해야했습니다. 하지만 어느 순간 귀찮아집니다. 이것은 신들이 인간들에게 남긴 저주입니다. 

 

 

오늘 bing 챗봇을 통해서 문제점과 인간의 철학관점을 살펴보았습니다.

 

과연 우리는 첨단기술 및 과학기술을 발전시키면서 과거에 인류가 죽인 신들과 같은 실수를 반복하고 있는 것은 아닐까요?