이러다가 정말 할리우드 영화에 나오는 것처럼 인공지능이 인간을 ‘제거’하려고 덤벼드는 건 아닐까. 일부에선 초능력 인공지능 개발이 악마를 불러오는(summon the demon) 짓이 될 수 있다고 경고한다. 스티븐 호킹 박사도 “어쩌면 사상 최악의 실수(potentially the worst mistake ever)가 될 수 있다”고 우려한다.
그는 인공지능이 인간의 선악 개념에 맞추게끔(align themselves with humans concepts of good and evil) 해야 한다며, 가장 좋은 방법은 도덕적·비도덕적 행동(moral and immoral behavior), 좋은 사람, 나쁜 사람을 예시해주는 성경 등 많은 책 내용을 주입·학습시키는 것이라고 말한다. 불경·논어·탈무드·이솝이야기 등 가능한 한 많은 데이터를 넣어줘야 올바른 판단을 내릴 수 있게 된다는 것이다.
가령 효율성에만 최적화된(be optimized on efficiency) AI에게 약을 구해오라고 하면 약국을 부수고 들어가 훔쳐올 것이다. 나쁜 짓이라는 걸 모른다. 선악 개념 자체가 없다. 새치기하지(cut in line) 않고 기다리다 약값을 지불하고 가져와야 한다는 사회 규범과 행동 강령을 학습한(learn the social norms and code of conduct) 적이 없어서다. 꾸짖으며 가르쳐줄 부모는 아예 없다.
문제는 성경·코란에도 오늘날 선악 개념과 맞지 않는 내용이 있다는 것이다. 부자를 약탈해 가난한 이에게 나눠준 로빈 후드의 행동에 헷갈려 할 수도 있다. 리들 박사는 “어쨌든 최대한 인간처럼 행동하도록(act as human-like as possible) 만들어야 한다”고 말한다. 그렇다면 AI 중에도 사이코패스는 나올 것이고, 막장 드라마 악역 같은 AI 망종도 나올 수 있다는 얘기인데….