[시사오늘·시사ON·시사온=편슬기 기자]

시기상조였을까. 네이버가 야심차게 내놓은 ‘하이퍼클로바X’를 두고 아직 영글지 않은 기술을 섣불리 공개한 것이 아니었냐는 목소리에 힘이 실리고 있다. 기능적으로 미흡하다는 이유에서인데, 기자 역시 챗GPT를 직접 사용하며 비교한 결과 하이퍼클로바X’의 실망스러운 답변들을 확인했다. 

일부 질문에 엉뚱한 답과 명령어에 맞지 않는 이행 결과를 보이는 등 아직 베타테스트 기간이라고는 하나, 현재 수준이라면 상당한 기능 고도화가 필요할 전망이다.

네이버는 지난 24일 서울 삼성동 그랜드 인터컨티넨탈 서울에서 ‘팀네이버 컨퍼런스 DAN(단) 23’을 열고 초거대 인공지능(AI) 하이퍼클로바X를 공개했다. 네이버는 하이퍼클로바X가 카페, 블로그, 쇼핑 등 자사 서비스와 연계해 질문에 대한 답변을 보다 풍부하게 제공할 것이라 자신했다.

링크 지원 기능은 유용하나 답변은 ‘엉뚱한 내용’

---

하이퍼클로바X와 챗GPT에게 SK텔레콤, ‘양자보안통신’ 국제 표준 추진…“글로벌 시장 선도” [현장에서] 기사의 링크를 주고, 해당 기사의 내용을 300자 내외로 축약해달라고 요구했다.

하이퍼클로바X는 링크를 인식해 빠르게 축약본을 내놨다. 다만 축약본의 내용은 ‘국가전략기술 육성방안으로 반도체와 이차전지 등 기사의 내용과는 전혀 상관없는 축약본을 제시했다.  

반면 챗GPT는 외부 링크를 지원하지 않아 축약이 불가능했다. 2차 시도로 기사 내용을 전부 입력한 뒤 다시 300자 내외로 축약해달라 요구했더니 하이퍼클로바X는 600자, 챗GPT는 400자 분량으로 축약본을 출력했다.

‘내외’라는 표현을 사용했음에도 기존 요구의 2배가 넘는 600자가 나왔다. 참고로 우리말 국립국어원에서 ‘내외’는 ‘약간(얼마 안 되게) 덜하거나 넘음’과 같이 풀이된다. 용례를 보면, ‘얼마 내외’와 같이 ‘내외’를 쓰는 경우, 덜하거나 넘는 정도가 ‘얼마’의 10% 정도인 것으로 보인다는 해석을 제시했다.

각 AI에게 ‘300자 내외에 해당하는 글자 수는 얼마까지일까?’라는 질문을 해봤다. 

하이퍼클로바X는 “300자 내외는 일반적으로 한글 기준으로 약 150~450자 사이를 의미합니다. 하지만 이는 절대적인 기준은 아니며, 상황에 따라 다를 수 있습니다”라고 설명했다. 챗GPT는 “300자 내외는 대략 50~60단어 정도의 길이를 의미합니다. 이 정도의 길이로 간결하게 정보나 내용을 전달할 수 있습니다”라는 답을 내놨다.

이 지점에서 하이퍼클로바X가 확실히 한국어 특화 AI라는 것을 알 수 있었지만 앞서 내놓은 답변과 정면으로 맞서는 또 다른 답변으로 ‘오답’을 내놨음을 확인할 수 있었다.

마포구 일식집, ‘볶음김치’가 맛있는 곳 추천

---

이어 서울 마포구에 위치한 일식 전문점을 추천해달라는 요청을 해봤다. 하이퍼클로바X와 챗GPT 모두 5개 식당을 각각 소개했다. 하이퍼클로바X의 추전 기준은 다소 모호했다. 맛이 살짝 비리다는 후기가 있는 가게와 볶은 김치가 맛있는 가게를 추천한 것은 당황스럽기까지 했다.

그나마 하이퍼클로바X는 사정이 낫다. 확인을 거친 결과 5군데 모두 마포구에 위치한 일식당이었고 평가도 좋았다. 메뉴나 가게의 특징 설명도 대체로 일치했다. 실제로 참고 가능한 정보라는 것이다. 

반면 챗GPT가 소개한 일식당은 한 곳을 제외하고는 모두 실존하지도 않는 허구의 가게였다. 심지어 실제 운영되고 있는 가게조차 상호명을 일부 틀리게 기재했다. GPT-3.5 무료 버전을 사용해서 그렇다기엔 이전부터 지적돼 온 ‘허구의 답변’이 마치 진실인 것 마냥 나와 주의가 요구된다.

자사 웹툰 IP ‘화산귀환‘ 설명 ‘곳곳에 오류’

---

하이퍼클로바X에게 네이버에서 운영 중인 웹툰의 유명 IP ‘화산귀환’에 대한 설명을 요구했다. 답변은 모르는 이들이 보기엔 그럴싸한 모습이었으나, 아는 이들이 보면 틀린 정보가 한두 군데가 아니었다.

화산귀환은 무협 세계관을 바탕으로 하는 작품이다. 그리고 화산귀환은 매주 수요일 연재다. 또한 주인공은 화산파에서 쫓겨나지 않았다. 쫓겨난 망나니로 살던 시절이 아닌, 전생의 기억과 경험을 바탕으로 화산파 재건에 노력한다.

웹툰의 인기에 힘입어 소설로도 출간됐다는 것도 잘못된 설명이다. 먼저 네이버 시리즈에서 독점으로 연재된 웹 소설의 인기에 힘입어 웹툰화됐으며 이후 펀딩을 통해 웹 소설의 일부 내용이 소설 단행본으로 출간됐다.

챗GPT는 ‘화산귀환’의 작가를 박태준으로, 줄거리를 화산 밑에 잠들어 있는 드래곤과 소녀가 만나 세상을 구하기 위해 떠나는 여정이라고 소개했다. 하나부터 열까지 틀린 설명이다.

번역 실력은 비슷, 챗GPT가 정밀도 면에서 앞서

---

일본 외신 기사의 일부를 가져와 번역을 시켜봤다. 내용은 대부분 옳게 번역됐지만 일부 오역을 포함, 표현에 대한 정밀도가 떨어지는 모습을 보였다.

예를 들어 일본의 행정구역을 가리키는 ‘도도부현’(우리나라의 시군구 개념)을 ‘도부현’과 ‘시초손’이라고 오역했다. 또한 기사에서 통신사의 의미로 사용된 ‘キャリア’(캐리어)를 1차적인 의미의 ’캐리어’로 번역했다. ‘밝혔다‘라는 표현이 중복되는 점도 확인됐다.

‘東京都ではたとえば、8月3日に豊島区や港区、4日に世田谷区、9日に大田区で新たな基地局を設置したという。’라는 문장에서 앞부분을 매끄럽게 다듬지 못 한 정밀도도 아쉽다.

하이퍼클로바X는 ‘東京都ではたとえば라는 부분을 ‘도쿄도에서 예를 들면’이라고 문장 그대로 번역했다. 챗GPT와 번역 전문 AI 딥엘의 경우 각각 ‘예를 들어, 도쿄에서는’과 ‘예를 들어, 도쿄도에서는’이라고 적어보였다. 챗GPT는 유일하게 기사체가 아닌 높임말로 번역했다.

キャリア(캐리어)라는 단어도 기사에 쓰인 대로 양쪽 모두 ‘통신사’라고 맞게 썼다. 

이와 같은 하이퍼클로바X의 미흡한 기술력에 대해 불만의 목소리가 나오는 모습이다. 공개하기에는 아직 시기상조라는 말도 들려온다. 실제로 하이퍼클로바X 공개일인 24일까지 치솟던 네이버 주가가 공개 이후 곤두박질치며 주주들의 원성이 이어졌다.

기자와 마찬가지로 하이퍼클로바X를 직접 이용해봤다는 업계 한 관계자는 “솔직히 좀 실망스럽다”면서 “제대로 된 답변을 얻기에는 아직 시간이 많이 필요해 보인다”고 했다.

다만, 개선 가능성이 있다는 이유에서 기대를 놓긴 이르다는 의견도 있다.

업계의 다른 관계자는 “하이퍼클로바X가 아직 베타테스트 기간이라는 점과 오는 11월 기능 고도화를 앞두고 있다는 점을 생각할 때 지금보다 더 나아질 가능성은 충분하다”고 봤다.