Numbers RAW novel - Chapter 24
제24화
“영만이, 대식이……. 그때 피를 흘린 건 우리 인간들뿐만 아니라 로봇들도 마찬가지였어요. 광저우 해변에는 아직도 벨보이 로봇들의 부품이 모래밭에 묻혀 있을 거예요.”
도은주는 아무 말 없이 담배를 다 피우고 개인용 재떨이에 갈무리했다.
“근데 왜 그때 일을 꺼내시는 거지요?”
이진영은 도은주가 눈썹을 찌푸리거나 말거나 이야기를 계속했다.
“해변을 타고 스키 주행으로 올라가야 하는 로봇이 해변에서 그대로 멈췄습니다. 스키 모듈이 펴져야 하는데 인공지능이 있지도 않은 기어박스를 계속 실행시키다가 멈췄습니다. 로봇 공학 제2원칙, 인간의 명령을 들어야 하는데 아예 달성할 수 없는 명령을 내리니 오류를 막기 위해 기능이 정지된 거죠.”
이진영은 담배를 불만 톡톡 털고 그냥 베란다 바깥으로 던지고 말을 계속했다.
“수천 대의 방패 로봇은 원래 고속으로 중국군 진지를 점령하고 방벽이 되어 병사들을 막아줬어야 합니다. 하지만 해변에 고장 난 듯 멈췄습니다. 그리고 우리는 중국군의 십자포화에 노출되어 기계든 인간이든 가차 없이 당했죠. 흐흐흐흐, 22세기의 노르망디 오마하 비치였습니다.”
저 유명한 2차대전의 오마하 해변 작전은 원래 탱크들이 같이 상륙해서 보병들의 방패막이가 되어줄 예정이었다. 그러나 탱크들이 파도를 이기지 못하고 가라앉으면서 오마하 해변은 죽음의 해변이 되었다.
마찬가지로 광저우 델타 해변에서도 똑같은 일이 벌어졌다.
“빌어먹을 기어박스 하나 때문이었어요. 빌어먹을 기어박스 하나.”
도은주의 얼굴은 점점 창백하게 변했다.
“경위님 지금 말하고 싶은 요점이 뭐지요.”
“내가 묻고 싶은 겁니다. 호리코시와 당신네 회사는 로봇에게서 무슨 짓을 저지른 겁니까? 어떤 장비를 뺏길래 로봇이 오류를 일으킨 겁니까. 단순히 디코이 장비에 노출된 걸로는 인간을 죽이는 치명적인 오류는 일어나지 않아요.”
도은주는 올 게 왔다는 표정으로 억장이 무너져라 한숨을 쉬고 중얼거렸다.
“주여, 할 수만 있거든 이 잔을 내게서 피해주시옵소서.”
“기독교인이신가요?”
“아뇨, 비유적인 표현이에요.”
도은주는 일어서서 이진영에게 다가와 아일랜드 탁자 위에 있든 담배를 빼냈다. 이미 이진영은 스미스 웨슨 리볼버 권총을 번개같이 뽑아 그녀에게 겨눴다.
“은근 쫄보시군요.”
“은근 신중한 거지요.”
도은주는 담배 연기를 후우하고 내뱉고 입술을 예쁘게 움찔거렸다. 하기 싫은 말을 억지로 꺼내는 투였다.
“지금부터 하는 말은 내 넋두리에요. 포드 자동차 핀토 사건 아세요?”
“포드요?”
“포드 자동차는 1970년대 핀토라는 자동차를 출시하죠. 하지만 엔지니어들은 그 자동차의 연료통에 결함이 있다는 걸 발견하게 돼요.”
이진영은 말없이 럭키 스트라이크를 입에 물었다.
“그래요, 맞아요. 당신이 광저우 해변에서 당한 일과 똑같은 일이죠. 그래서 포드 자동차와 그 스키모듈을 만든 회사는 똑같이 고민했겠죠. 지금까지 출고한 모든 핀토를 리콜해서 연료통을 고쳐줄 것이냐? 아니면 차라리……. 차라리 피해자들이 죽거나 다쳤을 경우 그 배상 비용과 사망위로금을 내 줄 것이냐?”
도은주는 담배 연기를 내뿜으며 어깨를 으쓱했다.
“포드 자동차는 어떤 걸 택했을 것 같아요?”
이진영도 담배 연기를 내뱉으며 고개를 살짝 끄덕였다.
“뭐야, 긍정부정을 묻는 게 아닌데요?”
“대충 알 것 같다는 표시였습니다. 고치는 것보다 문제가 생겼을 때 배상금을 주는 게 더 싸게 먹힌다. 그게 그들이 내린 결정이었겠지요.”
도은주는 고개를 끄덕이고 이진영의 얼굴을 빤히 쳐다보다가 땅을 바라보며 중얼거렸다.
“부수적인 피해.”
이진영의 눈동자가 파르르 흔들렸다. 드디어 간질간질 그를 괴롭혔던 단어가 튀어나왔다.
“전에 제가 인공지능의 딥러닝은 평범한 인간을 기준으로 한다고 말했지요? 그건 반은 맞고 반은 틀려요.”
도은주는 담배 연기를 연거푸 들이켰다가 길게 내쉬며 말했다.
“로봇의 행동반경이나 기능은 분명 평범한 인간을 기준으로 해야 해요. 하지만 로봇의 하드웨어적인 인식 센서는 혹시 발생할지도 모르는 부수적인 피해를 감안해서 인간보다 훨씬 더 높게 설정될 필요가 있죠.”
“음, 자율주행 자동차의 전방주시 센서나 사고감지 센서 같은 건가요?”
“예, 바로 그거에요. 각 전임과 로봇 기능의 주목적이 로봇 3원칙에 적합해야 하는 건 물론 기능 외에 부수적으로 닥쳐올 피해까지도 먼저 산정해서 움직이는 게 필요하죠. 안 그랬다가는…….”
“초음속 로봇에게 치여 죽을지도 모른다는 그건가요?”
도은주는 고개를 끄덕였다.
“만약 편지를 전달하는 로봇의 주기능이 전달이라면, 혹시나 있을지도 모르는 부수적인 피해 즉 로봇에게 치이거나 아니면 가로등을 부러뜨려 사람을 다치게 할 수 있다는 인식을 해야 합니다. 이걸 우리는 하드웨어의 성능과 같은 인식, 즉 하드센스라고 부릅니다.”
“그럼 호리코시, 태성 협업품 같은 경우 뭐가 빠진 겁니까?”
도은주는 고문을 당하는 사람처럼 잔뜩 얼굴을 찌푸리더니 한숨을 내쉬었다.
“부수적인 피해를 판단할 수 있는 물리적 인식센서요. 하드센서라고 부르는 거죠. 우린 정말 몰랐어요. 저가용 홈 로봇에는 적외선 센서나 레이더 모듈이 필요하지는 않고 복잡한 이익형량이 필요하지는 않으니까요. 그냥 인간과 같은 가시광선에서 모든 것이 예측 가능할 줄 알았던 거예요.”
“로봇은 인간이 아니죠. 인간이었다면 실수가 용납되겠지만. 로봇의 행동은 로봇 3원칙 때문에 보다 높은 주의의무가 요구되니까요.”
“그래요. 로봇은 인간이 아니죠. 인간이 로봇이 아니듯이.”
인간은 적외선이나 자외선을 볼 수 없고 어마어마한 청력으로 1백 미터 밖의 소리를 들을 수 없다. 인간의 법률상 주의의무는 철저히 인간이 보고 들을 수 있고, 판단할 수 있고 인간이 대응할 수 있는 영역만 해당된다.
그러나 로봇은 다르다. 로봇은 어떠한 경우에라도 인간을 해쳐선 안 되기 때문에 인간보다 훨씬 더 높은 주의의무가 필요하다.
이진영은 방아쇠를 눌러 리볼버의 공이치기를 슬쩍 원래대로 되돌리며 말했다.
“구체적으로 뭐가 빠진 겁니까?”
“후각이나 레이더 혹은 온도측정 등 홈 로봇에 필요하지 않은 기능이 빠진 저가형 센서 복합모듈이에요. 제조사 호리코시는 제조단가를 낮추기 위해 청소 로봇이든 아니면 홈 로봇이든 각각의 기능이 빠진 저가형 센서모듈을 썼어요.”
“그 과정에서 호리코시는 태성을 속였지만, 나중에 태성도 가담했겠군요.”
도은주는 이진영에게서 시선을 외면하며 대답했다.
“태성의 인공지능은 우수한 편이지만 부수적인 피해를 산정하기 위해 센서에 없는 모듈을 억지로 가동시키려니 오류가 났을 거예요. 하드센스 오류죠.”
“그래서 부수적인 피해를 산정하기 위해 복잡한 이익형량이 필요한 상황에서 셧다운되지 않고 주인의 명령을 받아 적극적으로 공격했겠군요. 인간의 명령을 수행하는 2원칙은 부수적인 피해산정보다 우선하니까.”
인공지능과 실제 물리적인 하드센서 간의 오류.
“업계에서 환지통이라 부르는 거예요. 로봇이 아니라 인간 역시 환지통을 겪고…….”
도은주는 속눈썹을 내리깔고 이진영의 오른손을 바라봤다.
“그건 당신이 제일 잘 알겠지요. 실례지만 오른손 검지손가락 가끔 가렵진 않으신가요?”
이진영은 자신의 오른손 검지를 바라보면서 고개를 끄덕였다.
그의 오른손 손가락 전부는 전쟁 때 부상으로 잃었고 부분의수를 끼워 넣은 상태였다. 자세한 용어는 모르지만, 이진영도 비슷한 경험을 한 적 있었다.
인간도 손이나 다리가 잘려 나간 뒤 잘린 부위에서 강렬한 가려움이나 아픔을 느낀다.
차라리 긁거나 진통제를 놓을 수 있으면 좋으련만 그 가려움이나 통증은 진정시킬 방법이 없다.
로봇 역시 마찬가지인 것이다.
없는 센서모듈을 구동시키려면 양자두뇌가 환지통을 느끼게 되고 본디 기능정지를 해야 할 로봇이 유령처럼 떠돌아다니다 벽을 들이받거나 엉뚱한 행동을 하게 된다.
이미 이진영은 고가도로 현장에서 불도저 로봇이 오류를 일으킨 걸 보고 광저우 델타 해변을 떠올렸고 그때부터 설계오류가 아닐까 하고 의심했다.
로봇 3원칙과 관련하여 오류가 일어나는 경우.
그것은 바로 로봇의 환지통 현상이었다.
홈 로봇이나 청소 로봇이나 제대로 된 센서가 없으니 ECM 교란을 비롯한 착란 상황에서 인간과 로봇을 구분할 수 없게 되고 결국 로봇 살인이 벌어지게 된다.
도은주의 어깨가 점점 아래로 축 처지고 그녀의 시선도 바닥을 향했다. 목소리 역시 점점 기어들어 갔다.
“ECM 전자교란 등은 깐웨 전쟁에서 감히 상상할 수 없을 정도로 비약적으로 발달했어요. 설마 가정용 등에서 기능이 몇 개씩 빠진 센서가 문제를 일으킬 거라 생각한 사람은 없었고요. 이건 정말이에요.”
“그럼 081호 진압 로봇도 비슷한 거였겠군요. 모듈과 인공지능에 있는 기능의 오류 때문에.”
“나중에 찾아보니 호리코시는 거짓말을 했어요. 복합 자이로 모듈이 들어있다고 해서 우리 회사는 그에 합당한 설계를 했어요. 하지만 경찰 쪽에서 단가를 문제 삼았다고 하더군요.”
“동작센서가 더 저렴이가 들어간 거군요. 그래서 여러 가지 상황이 겹치자 급박한 상황에서 포박기를 제대로 못 맞춘 거고.”
도은주는 고개를 끄덕였다.
“하지만 센서를 뺀 건 단순히 그런 것만은 아니었겠지요. 깡통 녀석이 조사한 호리코시, 태성 협업품의 자료들입니다. 군경뿐만 아니라 민간인 소비자도 이유 없는 셧다운으로 소비자보호원에 신고가 되었고 공청회까지 열렸더군요.”
“…….”
“로봇 셧다운으로 소비자들의 리콜 요구에 돈을 쓰느니, 차라리 위험하더라도 그냥 센서를 빼겠다. 로봇에 센서를 일일이 다시 박아넣는 것보다 나중에 소송을 당하고 배상하는 비용이 싸다?”
채산성 때문에 어쩔 수 없다.
부품 오류에 불과하다.
소비자들이 로봇의 기능 정지를 원하지 않는다.
호리코시와 태성은 어이없게도 포드와 똑같은 선택을 했고 여러 가지 변수가 섞이면서 심각한 결함이 되었다.
성능이 좋은 인공지능으로 생산단가 절감을 위해 박은 저가형 모듈을 구동시키면 오류가 발생할 수밖에 없다.
인간도 환지통을 느끼는 판에 0과 1의 논리생명체인 로봇이 오류를 일으키지 않는 게 더 이상했다.
한마디로 호리코시와 태성AI는 혹시나 위험해질지도 모르는 사람의 목숨과 채산성, 이익을 ‘이익형량’해서 돈을 택한 것이다.
“내가 구할 수 있는 한 모든 인간을 구하겠다.”
이진영은 몇 시간 전 선로차단기의 딜레마에 대한 EV-1의 대답을 중얼거렸다.
어이없게도 센서에 결함이 있는데도 넘어간 회사 중역들보다, EV-1의 대답이 훨씬 더 인간적이었다.
로봇은 자신을 희생해서라도 선로에 있는 모든 인간을 구하려고 했다.
인간은 돈 때문에 같은 인간을 위험에 노출시켰지만, 로봇은 인간을 구하려 한다.
이진영은 입맛이 씁쓸했는지 다시 담배를 물었다.
“난, 진짜 몰랐어요.”
도은주의 눈동자에 물기가 어리고 그녀는 아랫입술을 깨물었다.
“저도 당신이 방문하고 나중에 조사해 보고 나서 알았어요. 난 AI 설계와 딥러닝 디자이너지, 하드웨어 조절 파트는…….”
그녀의 갈색 눈망울에 탐조등의 불빛이 새하얗게 반짝였고 그녀의 눈동자와 속눈썹은 파르르 떨렸다.
도은주의 눈물 섞인 항변에 이미 이진영은 그 답을 알고 있었다.
미필적 고의.
아마 주임인 그녀로서는 모든 것을 다 알 수는 없겠지만 일부 생산라인에서 문제가 생길 거라는 것 정도는 충분히 예측할 수 있었을 것이다.