AI 챗봇을 붙였다가 꺼버리는 이유는 대부분 같아요. AI가 엉뚱한 답을 한 번 했고, 그게 고객에게 그대로 나갔어요. 한 번 그러면 그다음부터는 아무도 안 써요. 기술이 부족해서가 아니라 경계를 안 그어놨기 때문이에요.
제안서에 안 되는 걸 적었더니 뽑혔어요
최근에 한 공공기관과 AI 자동화 계약을 했어요. 직원 없는 1인 회사인데 어떻게 됐냐고 물어보시는 분들이 계셔서, 받은 답을 그대로 옮기면 이래요.
"되는 부분과 제약이 있는 부분을 같이 짚어주셔서요."
제안서에 안 되는 걸 적었더니 그게 뽑힌 이유가 됐어요.
특히 이 한 줄이 컸던 것 같아요.
보통은 반대로 써요. "모든 문의를 AI가 처리합니다." 그게 더 좋아 보이니까요. 제안서를 받는 쪽도 그 문장을 기대한다고 생각하기 쉽고요.
그런데 실제로 돌려보면 그 문장이 사고를 만들어요.
AI는 모른다고 말하지 않아요
이게 핵심이에요. AI는 틀린 답을 확신 있게 해요.
사람이라면 "이건 제가 확인해볼게요" 하고 넘어갈 자리에서, AI는 그럴듯한 답을 지어내요. 말투도 자연스럽고 문장도 매끄러워서 읽는 사람은 알아채기 어려워요.
"환불 가능한가요?"라는 문의에 AI가 확인 없이 "네, 가능합니다"라고 답했다고 해볼게요. 규정상 안 되는 건이었다면 그 순간 두 가지가 동시에 생겨요. 고객은 된다고 들었고, 회사는 안 된다고 말해야 해요.
그 사과를 누가 하나요. 그리고 그 일이 한 번 생기면 담당자는 다시는 AI에게 문의를 안 맡겨요.
경계를 안 그어두면 이런 일이 반드시 생겨요. 확률이 아니라 시간 문제예요.
종이 한 장에 세로줄을 그으세요
방법은 단순해요. 종이 한 장에 세로로 줄을 하나 그어요.
왼쪽에는 AI가 해도 되는 일, 오른쪽에는 사람이 붙잡을 일을 적어요.
기준은 하나면 돼요.
"틀렸을 때 누가 책임지나."
돈이 나가거나, 고객에게 사과해야 하거나, 되돌리는 데 시간이 드는 일이면 오른쪽이에요. 나머지는 왼쪽이고요.
적다 보면 대체로 이렇게 나와요.
왼쪽에 들어가는 것들은 답이 이미 정해져 있어요. 배송 조회는 시스템에 있는 값을 읽어오면 되고, 영업시간은 바뀌지 않아요. 같은 질문에 같은 답을 하는 일이라 틀릴 여지가 적어요.
오른쪽에 들어가는 것들은 판단이 들어가요. 환불을 해줄지 말지는 규정과 상황을 같이 봐야 해요. 가격 협의는 상대가 누구냐에 따라 달라져요. 불만 응대는 답이 맞아도 말투가 틀리면 더 나빠지고요.
애매하면 오른쪽에 두세요
나누다 보면 애매한 게 반드시 나와요. 그럴 때 기준은 이거예요.
왼쪽에 잘못 둔 건 사고가 되고, 오른쪽에 잘못 둔 건 그냥 일이 조금 남는 것뿐이에요.
손해의 크기가 달라요. 오른쪽에 잘못 두면 "이건 그냥 AI 시켜도 됐네" 하고 나중에 옮기면 그만이에요. 왼쪽에 잘못 두면 고객 앞에서 사고가 나요.
그래서 처음에는 왼쪽을 좁게 잡는 게 나아요. 좁게 시작해서 넓히는 건 쉬워요. 넓게 시작했다가 사고 나고 줄이는 건 믿음을 잃은 뒤라 훨씬 어려워요.
경계는 한 번 긋고 끝나지 않아요
저도 이 줄을 여러 번 다시 그었어요. 처음엔 왼쪽에 뒀다가 사고 한 번 나고 오른쪽으로 옮긴 것들이 있어요.
그럴 때마다 왜 옮겼는지 한 줄로 적어뒀어요.
- "A업체 발주서는 부가세를 별도로 적어야 함. 포함으로 보내면 반려됨."
- "환불 문의는 규정 확인이 필요해서 AI가 단독으로 답하면 안 됨."
이 한 줄들이 쌓이면 다음에 줄을 그을 때 근거가 돼요. AI에게 지식을 넘기는 방법이기도 하고요. 이 부분은 AI에게 가르치려 하지 마세요에 따로 적었어요.
넓히는 건 그다음이에요
경계가 그어지면 왼쪽은 마음 놓고 맡길 수 있어요. 담당자가 결과를 매번 확인하지 않아도 돼요. 확인하지 않아도 되면 그때부터 실제로 시간이 남아요.
넓히는 건 그다음이에요. 경계 없이 넓히면 결국 다 되돌아오더라고요.
"AI 도입했는데 왜 일이 안 줄었지" 싶다면, 대부분 이 순서가 뒤집혀 있어요. 넓게 맡겨놓고 매번 확인하느라 오히려 손이 더 가는 상태요. 그 증상과 원인은 업무 자동화, 어디부터 시작해야 할까요?에 세 조건으로 정리해뒀어요.
P.S. 공공기관 제안서에 적었던 또 하나는 "나중에는 저희 없이도 직접 고치실 수 있게 만들어드리겠습니다"였어요. 일감을 줄이는 말인데, 그것도 선정 이유 중 하나였다고 해요.