AI에게 어디까지 맡겨야 할까 — 경계를 먼저 긋는 법

AI 챗봇을 붙였다가 조용히 꺼버린 회사를 여러 곳 봤습니다. 이유는 대부분 같았어요.

AI가 엉뚱한 답을 한 번 했고, 그게 고객에게 그대로 나갔습니다.

한 번 그러고 나면 그다음부터는 아무도 안 씁니다. 껐다가 다시 켜지도 않고요. 기술이 부족해서가 아니라 경계를 안 그어놨기 때문입니다.

제안서에 안 되는 걸 적었더니 뽑혔습니다

최근에 공공기관과 AI 자동화 계약을 했습니다. 직원 없는 1인 회사인데 어떻게 됐냐고 여쭤보는 분들이 계셔서, 받은 답을 그대로 옮기면 이렇습니다.

"되는 부분과 제약이 있는 부분을 같이 짚어주셔서요."

제안서에 안 되는 걸 적었더니 그게 뽑힌 이유가 됐습니다.

특히 이 한 줄이 컸던 것 같습니다.

보통은 반대로 씁니다. "모든 문의를 AI가 처리합니다." 그게 더 좋아 보이니까요. 제안서를 받는 쪽도 그 문장을 기대한다고 생각하기 쉽고요.

그런데 실제로 돌려보면 그 문장이 사고를 만듭니다.

AI는 모른다고 말하지 않습니다

이게 핵심입니다. AI는 틀린 답을 확신 있게 합니다.

사람이라면 "이건 제가 확인해볼게요" 하고 넘어갈 자리에서, AI는 그럴듯한 답을 지어냅니다. 말투도 자연스럽고 문장도 매끄러워서 읽는 사람은 알아채기 어렵습니다.

"환불 가능한가요?"라는 문의에 AI가 확인 없이 "네, 가능합니다"라고 답했다고 해봅시다. 규정상 안 되는 건이었다면 그 순간 두 가지가 동시에 생깁니다. 고객은 된다고 들었고, 회사는 안 된다고 말해야 합니다.

그 사과를 누가 하나요. 그리고 그 일이 한 번 생기면 담당자는 다시는 AI에게 문의를 안 맡깁니다.

경계를 안 그어두면 이런 일이 반드시 생깁니다. 확률이 아니라 시간 문제예요.

종이 한 장에 세로줄을 그으세요

방법은 단순합니다. 종이 한 장에 세로로 줄을 하나 긋습니다.

왼쪽에는 AI가 해도 되는 일, 오른쪽에는 사람이 붙잡을 일을 적습니다.

기준은 하나면 됩니다.

"틀렸을 때 누가 책임지나."

돈이 나가거나, 고객에게 사과해야 하거나, 되돌리는 데 시간이 드는 일이면 오른쪽입니다. 나머지는 왼쪽이고요.

적다 보면 대체로 이렇게 나옵니다.

왼쪽에 들어가는 것들의 공통점은 답이 이미 정해져 있다는 겁니다. 배송 조회는 시스템에 있는 값을 읽어오면 되고, 영업시간은 바뀌지 않습니다. 같은 질문에 같은 답을 하는 일이라 틀릴 여지가 적어요.

오른쪽에 들어가는 것들의 공통점은 판단이 들어간다는 겁니다. 환불을 해줄지 말지는 규정과 상황을 같이 봐야 하고, 가격 협의는 상대가 누구냐에 따라 달라집니다. 불만 응대는 답이 맞아도 말투가 틀리면 더 나빠지고요.

애매하면 오른쪽에 두세요

나누다 보면 애매한 게 반드시 나옵니다. 그럴 때 기준은 이겁니다.

왼쪽에 잘못 둔 건 사고가 되고, 오른쪽에 잘못 둔 건 그냥 일이 조금 남는 것뿐입니다.

손실의 크기가 다릅니다. 오른쪽에 잘못 두면 "이건 그냥 AI 시켜도 됐네" 하고 나중에 옮기면 그만이지만, 왼쪽에 잘못 두면 고객 앞에서 사고가 납니다.

그래서 처음에는 왼쪽을 좁게 잡는 게 낫습니다. 좁게 시작해서 넓히는 건 쉽지만, 넓게 시작했다가 사고 나고 줄이는 건 신뢰를 잃은 뒤라 훨씬 어렵습니다.

경계는 한 번 긋고 끝나지 않습니다

저도 이 줄을 여러 번 다시 그었습니다. 처음엔 왼쪽에 뒀다가 사고 한 번 나고 오른쪽으로 옮긴 것들이 있어요.

그럴 때마다 왜 옮겼는지 한 줄로 적어뒀습니다.

• "A업체 발주서는 부가세를 별도로 적어야 함. 포함으로 보내면 반려됨."
• "환불 문의는 규정 확인이 필요해서 AI가 단독으로 답하면 안 됨."

이 한 줄들이 쌓이면 다음에 줄을 그을 때 근거가 됩니다. AI에게 지식을 넘기는 방법이기도 하고요 — 이 부분은 AI에게 가르치려 하지 마세요에 따로 적었습니다.

넓히는 건 그다음입니다

경계가 그어지면 왼쪽은 마음 놓고 맡길 수 있습니다. 담당자가 결과를 매번 확인하지 않아도 되고, 확인하지 않아도 되면 그때부터 실제로 시간이 남습니다.

넓히는 건 그다음입니다. 경계 없이 넓히면 결국 다 되돌아오더라고요.

"AI 도입했는데 왜 일이 안 줄었지" 싶다면, 대부분 이 순서가 뒤집혀 있습니다. 넓게 맡겨놓고 매번 확인하느라 오히려 손이 더 가는 상태요. 그 증상과 원인은 AI 자동화, 어떤 업무부터 맡겨야 할까에 세 조건으로 정리해뒀습니다.

---

P.S. 공공기관 제안서에 적었던 또 하나는 "나중에는 저희 없이도 직접 고치실 수 있게 만들어드리겠습니다"였습니다. 일감을 줄이는 말인데, 그것도 선정 이유 중 하나였다고 합니다.