• 10 10℃ 서울
  • 10 10℃ 인천
  • 10 10℃ 춘천
  • 10 10℃ 강릉
  • 10 10℃ 수원
  • 8 8℃ 청주
  • 8 8℃ 대전
  • 9 9℃ 전주
  • 9 9℃ 광주
  • 8 8℃ 대구
  • 12 12℃ 부산
  • 14 14℃ 제주

"역대급 '불수능' 인정"…올해 수능 문제 풀게 했더니 영어 12점·수학 16점 받은 AI

독해용 AI 앨런이 받은 영어 영역 점수는 겨우 '12점'으로, 절대평가 9등급에 해당한다.

인사이트기사와 관련 없는 자료 사진 / 사진=임경호 기자 kyungho@


[인사이트] 박아영 기자 = 수능 도입 이래 최고로 어려웠다는 평까지 받은 '2019학년도 대학수학능력시험'.


인공지능(AI)도 역대급 최악의 불수능은 어쩔 도리가 없던 것일까.


지난 16일 서울경제신문은 해외 AI의 도움을 받아 수능 문제풀이에 도전한 결과를 보도했다.


보도에 따르면 영어는 미국 앨런AI연구소가 개발한 '앨런엔일피'(AllenNLP)에, 수학은 물리학자 스티븐 울프람이 만든 계산AI '울프람 알파'(Ulfram Alpha)에 맡겼다.


인사이트온라인 커뮤니티


우선 영어 영역 문제풀이를 맡은 '독해용 AI' 앨런은 수천만 문장의 데이터를 바탕으로 '주제 찾기' 등 간단한 문제는 풀 수 있었다.


그러나 앨런의 능력은 여기서 그쳤다. 앨런은 글의 내용을 이해하거나 앞뒤를 추론하는 능력은 거의 없었다.


앨런은 귀중품을 뜻하는 'valuable'이라는 단어 대신 'jewelry'로 바꿔 물으면 대답을 하지 못했고 요점을 짚어달라는 요청에는 제시문의 모든 문장에 밑줄을 치기도 했다.


특히 10번 문제에서는 '제시문의 주제로 옳은 것을 고르라'는 질문에 밑도끝도 없이 "자기야(honey)"라고 답했다. 이는 해당 듣기문항에서 첫 문장으로 등장한 "자기야"를 중요 키워드로 분석했기 때문.


이날 앨런의 영어 영역 점수는 100점 만점에 12점으로, 절대평가 '9등급'에 해당하는 점수다.


인사이트기사와 관련 없는 자료 사진 / 사진=고대현 기자 daehyun@


수학도 별다를 바 없었다. 울프람은 복잡한 공학 수학 문제는 빠르게 풀었지만, 인간처럼 여러 공식을 끌어와 주도적으로 문제를 해결하지는 못했다.


울프람은 수학 나형 30개 문항 중 5개 문항을 맞춰 16점을 받았다. 울프람 또한 서술형 문제로 갈수록 추론능력이 떨어져 계산 과정 전체를 사용자가 입력한 뒤 명령해야 했다.


울프람에게 명제를 하나하나 입력해 풀게 했더니 29점으로 성적이 올랐다. 그러나 여전히 인간이 사고력을 이용해 푸는 속도보다도 두 배 이상 느렸다.


이렇듯 두 AI는 조금이라도 예상을 벗어나는 문제에는 약한 모습을 보였다. 아무리 AI가 인간의 능력을 따라잡는다고 해도 '추론'이 아닌 단순 '질의응답'에 가깝다는 의미다.


한편 '역대급 불수능' 2019학년도 대학수학능력시험 수능의 가채점 결과, 인문계열 만점자는 아직 나오지 않은 것으로 확인됐다.