상담 전화 50통을 AI에게 들려줬다

몇 달 동안 부탁한 일이 있었다. 고객이 자주 묻는 걸 정리해 달라는 것.

상담을 직접 받는 쪽이 제일 잘 아니까 당연히 그쪽에서 정리하면 된다고 생각했다. 그런데 몇 달이 지나도 진도가 안 나갔다. 사람 문제가 아니라 내가 일을 잘못 얹은 것이었다. 전화를 받는 사람에게 “전화 받은 걸 정리해 달라”고 하는 건, 하루가 끝난 뒤에 하루를 한 번 더 살라는 말이다. 나라도 안 했을 것이다.

그동안 통화 녹음은 계속 쌓이고 있었다.

50통을 흘려보냈다

쌓인 녹음 중 50통을 골라 파이프라인에 넣었다. 음성을 글로 바꾸고, 이름과 연락처를 지우고, 고객이 물은 것과 상담원이 답한 것만 뽑아내고, 비슷한 질문끼리 묶었다.

50통에서 질문 137개가 나왔다. 겹치는 걸 묶으니 대표 질문 99개가 남았다. 사람이 손으로 했으면 몇 주 걸릴 일이 하룻밤에 끝났다.

여기까지가 자동화가 해준 부분이다.

절반은 쓸 수 없었다

99개를 한 줄씩 읽으면서 판정을 붙였다. 그대로 쓸 수 있는 것 48개, 버릴 것 22개, 판단을 미룬 것 19개, 고쳐야 쓸 수 있는 것 10개.

버린 22개는 애초에 FAQ가 될 수 없는 것들이었다. 우리 아이가 명단에 들어갔는지, 방금 통화한 상담원 이름이 뭔지, 담당 지역이 어디까지인지. 질문은 질문인데 표준 답이 존재할 수 없는 질문이다. 기계는 “고객이 물었다”는 사실만 보고 전부 후보로 올렸다.

그럴듯한 답이 더 위험했다

문제는 버린 쪽이 아니라 잘 쓰인 쪽이었다.

한 통화에서만 맞는 해명이 표준 답변으로 올라와 있었다. 그날 그 기관에만 해당하는 사정을 모든 고객에게 하는 안내로 승격시킨 것이다. 금액을 직접 말하는 답변도 있었다. 우리는 금액과 견적은 챗봇이 답하지 않고 상담원이 안내하기로 정해 뒀는데, 기계는 그 방침을 모른다. 통화에서 상담원이 말했으니 답변에 넣었을 뿐이다.

지워야 할 이름 몇 개가 남아 있기도 했다. 기관명과 고객 호칭은 지우는 규칙이 있었는데 사람 이름과 반 이름은 규칙에 없었다. 검수에서 걸러 내고 그 두 가지를 규칙에 추가했다. 기계가 놓친 자리를 사람이 한 번 더 보게 해 둔 이유가 이것이다. 우리 쪽에서 쓰는 서비스 이름 하나는 세 가지로 잘못 받아 적혀 있었다.

읽으면서 알게 된 게 있다. 기계가 만든 초안은 “말이 되는가”는 통과한다. “우리 회사가 해도 되는 말인가”는 통과하지 못한다. 그건 방침을 아는 사람만 판단할 수 있다.

표본이 기울어 있었다

지역 분포를 보니 한 지역이 절반이었고, 어떤 지역은 한 건도 없었다. 녹음 폴더 앞에서부터 50건을 순서대로 가져왔기 때문이다.

그래서 원래 확인하려던 것 하나는 이번에 확인하지 못했다. 지역마다 고객이 묻는 게 다른지. 다음에는 지역별로 고르게 뽑아서 다시 돌린다.

못 쓴 51개가 남긴 것

채택한 48개보다 못 쓴 51개에서 더 많은 걸 봤다.

99개 중 38개가 “일반”으로 분류돼 있었다. 분류가 안 됐다는 뜻이다. 배송인지 결제인지 위생인지 계약 변경인지 나눌 수가 없어서 한 칸에 몰린 것이다. 기계 탓이라기보다, 우리가 고객 문의를 우리 언어로 나눠본 적이 없다는 뜻에 가깝다. 답변을 만들기 전에 그 칸부터 만들어야 한다.

버린 22개도 버리기가 아깝다. 명단에 아이가 있는지 묻는 전화가 계속 온다는 건, 챗봇이 답할 질문이 아니라 우리가 고칠 절차라는 신호다.

FAQ를 만들려고 시작한 일인데, 손에 남은 건 FAQ 목록이 아니라 고쳐야 할 목록이었다.