AI에게 가르치려 하지 마세요 — 먼저 틀리게 두세요

예전에 첫 미팅에서 이렇게 말씀드렸습니다.

"자료가 정리되면 시작하시죠."

맞는 말 같았습니다. AI가 읽을 게 있어야 일을 하니까요. 그런데 그 정리가 영영 안 끝나더라고요.

한 달 뒤에 여쭤보면 "아직 못 했어요"라고 하십니다. 게으르셔서가 아닙니다. 바쁘시니까요. 오늘 나가야 할 발주가 있고, 전화가 오고, 사람이 그만두고. 그 사이에 "언젠가 필요할 문서"는 계속 뒤로 밀립니다.

몇 번 반복되고 나서야 제 말이 틀렸다는 걸 알았습니다.

정리는 왜 안 끝나는가

정리가 안 끝나는 이유는 시간이 없어서만은 아닙니다. 뭘 적어야 할지 모르기 때문입니다.

저는 고객사에 업무를 넘기기 전에 네 가지를 적어보시라고 합니다.

1. 언제 하나요 — 매일 아침? 주문이 들어오면? 누가 물어보면?
2. 뭘 보고 하나요 — 어떤 화면, 어떤 파일, 어떤 메시지
3. 어떤 순서로 하나요
4. 어떻게 하면 잘못된 건가요

1번부터 3번까지는 대체로 적으십니다. 매일 하는 일이니까요.

4번에서 다들 멈춥니다.

"어떻게 하면 잘못된 건가요"는 한 번도 말로 해본 적이 없는 항목입니다. 20년을 그 일을 해온 분도 못 적습니다. 틀린 게 뭔지 모르는 게 아니라, 틀린 걸 볼 때만 알기 때문입니다.

잘못된 결과는 머리로 떠올리는 게 아니라 눈으로 봐야 나옵니다.

순서를 뒤집었습니다

그래서 순서를 바꿨습니다.

전에는 이랬습니다.

다 적는다 → 가르친다 → 시킨다

첫 칸에서 안 끝납니다. 앞서 말씀드린 그 이유로요.

지금은 이렇게 합니다.

일단 시킨다 → 틀린다 → 고치면서 적힌다

준비가 덜 된 채로 AI에게 일을 시킵니다. 당연히 틀립니다. 틀려야 합니다. 그 틀린 결과를 사람이 고치는 순간, 비로소 4번이 나옵니다.

"아, 이건 이렇게 하면 안 되는 거였지."

이 문장이 나오는 순간이 기록이 생기는 순간입니다. 정리해야 해서 적는 게 아니라, 틀린 걸 봐서 적는 겁니다.

사람이 손으로 쓴 것만 성능이 올랐습니다

이게 저희 경험만은 아닙니다.

스위스 취리히 공대(ETH) 연구팀이 AI 에이전트에게 규칙 파일을 주고 성능을 재봤습니다. 결과가 갈렸습니다.

• AI가 스스로 정리한 규칙을 줬을 때 — 성능이 오히려 떨어졌습니다(약 2%). 비용은 20% 늘었고요.
• 사람이 손으로 적은 규칙을 줬을 때 — 4% 올랐습니다.

같은 형식의 파일인데 누가 썼느냐가 결과를 갈랐습니다. AI는 자기가 뭘 모르는지 모릅니다. 그건 옆에서 결과를 본 사람만 압니다.

비슷한 사례가 하나 더 있습니다. 개발자들이 쓰는 코드 편집기 커서(Cursor)는 AI가 알아서 기억을 쌓는 기능을 넣었다가 지웠습니다. 지금은 사람이 직접 쓰는 규칙 파일로 돌아갔습니다.

자동으로 쌓이는 지식은 아직 잘 안 됩니다. 사람 손을 거쳐야 합니다.

문제는 사람이 자발적으로 정확하게 적는 순간이 거의 없다는 건데, 딱 하나 있습니다. AI가 자기 앞에서 틀렸을 때입니다. 안 고치면 자기 일이 잘못되니까요.

고친 것 말고, 고친 이유

여기서 대부분이 한 걸음을 빠뜨립니다. 고치기만 하고 넘어갑니다.

깃허브에서 개발자들이 AI 제안을 거절한 기록을 대규모로 분석한 연구가 있습니다. 거절한 것 중 37%가 "쓸 만한데 그냥 안 쓴" 것이었습니다.

싫다는 표시만으로는 이유를 알 수 없다는 뜻입니다. AI도 모르고, 나중에 그 기록을 다시 보는 사람도 모릅니다. 논문의 결론이 정확합니다 — 받아들이거나 거절했다는 표시만으로는 불완전한 신호입니다.

그래서 고칠 때 한 줄을 같이 남기셔야 합니다.

"A업체 발주서는 부가세를 별도로 적어야 함. 포함으로 보내면 반려됨."

이 한 줄에는 무엇이 틀렸는지와 왜 틀렸는지가 같이 있습니다. 고친 결과만 남기면 이번 건에서 끝나지만, 이유를 남기면 다음 건에도 쓰입니다.

한 줄이 열 개면 교재입니다

이런 한 줄이 쌓이는 게 AI의 교재입니다.

• "A업체 발주서는 부가세를 별도로 적어야 함. 포함으로 보내면 반려됨." — 반려당한 날 적힘
• "거래명세서는 카톡 말고 이메일로. 스크롤로 놓쳐서 미수금이 틀어짐." — 놓친 걸 발견한 날 적힘
• "자동 발주 알림은 접었음. 재고가 실물과 2–3일 어긋나서 오발주가 남." — 오발주 한 번 나고 적힘

전부 사고가 한 번 난 뒤에 적힌 문장입니다. 앉아서 "우리 회사 규칙을 정리해봅시다" 해서는 절대 안 나옵니다.

세 번째 문장을 보시면, 안 하기로 한 결정도 기록입니다. 나중에 누가 같은 걸 또 제안했을 때 "그건 예전에 해봤는데 이래서 접었다"고 말할 수 있습니다. 이게 없으면 같은 실패를 2년마다 반복합니다.

오늘 해보실 것

지금 자동화를 생각하고 계신 업무가 하나 있으실 겁니다. 없으시면 어떤 업무부터 맡겨야 할까를 먼저 보시면 고르는 기준이 있습니다.

그 업무를 오늘 AI에게 그냥 시켜보세요.

준비가 덜 됐어도 괜찮습니다. 자료를 안 정리하셨어도 되고, 매뉴얼이 없어도 됩니다. 어차피 틀릴 거고, 틀려야 합니다.

결과가 나오면 고치실 텐데, 거기서 한 가지만 더 해주세요.

고친 이유를 한 줄로 적기.

메모장이든 노션이든 카톡 나에게 보내기든 상관없습니다. 형식은 나중에 정리해도 됩니다. 지금 중요한 건 그 순간에 적히느냐입니다. 하루 지나면 왜 고쳤는지 기억이 흐려집니다.

한 줄 적을 때 **"무엇을 고쳤는지"보다 "왜 그게 틀렸는지"**를 적으세요. 전자는 이번 건에만 쓰이고, 후자는 다음 건에도 쓰입니다.

마지막으로

"자료 정리되면 시작하시죠"는 제가 틀렸던 말입니다.

정리가 끝나야 시작하는 게 아니라, 시작해야 정리가 됩니다. 순서가 반대였어요.

AI가 완벽하게 일하기를 기다리다 보면 1년이 갑니다. 오늘 틀리게 두시면, 오늘 한 줄이 생깁니다. 그 한 줄이 열 개가 되면 그때부터는 AI가 다르게 일합니다.

회사에 이런 기록이 이미 흩어져 있는 경우도 많습니다. 어디에 뭐가 있는지는 대표 눈에 안 보이는 자동화 거리 15개에 정리해뒀습니다.

---

P.S. 4번을 못 적는 건 실력 부족이 아닙니다. 저도 제 일을 적을 때 4번에서 제일 오래 걸립니다.