회사 자료와 고객 정보를 AI에 붙여도 안전하게 만들 수 있어요. 새는 곳은 대개 AI가 아니라 연결하는 방식이에요. 먼저 볼 곳은 네 가지예요. 누가 볼 수 있나, 어디로 나가나, 무엇이 남나, 어디에 어떻게 붙나. 이 넷을 정하지 않고 AI부터 붙이면, 좋은 AI를 써도 새요.
미팅에서 가장 많이 받는 질문
첫 미팅에서 AI로 무엇을 할 수 있는지만큼 자주 받는 게 이런 질문이에요.
"대화 추출을 저희도 이제 시도하려고 했었는데 여기 개인정보 이슈가 있다 보니까 이런 것들은 어떻게 처리하셨는지 궁금합니다."
"제가 접근할 수 있는 데이터를 AI한테 물어보는 거하고 (중략) 모든 권한을 갖고 있는 분하고 그 권한을 다 접근하는 자에 따라서 권한을 구분을 할 수 있는 건가요?"
당연한 걱정이에요. 그리고 이 걱정이 맞았던 적도 있어요.
챗봇을 만들러 갔다가 보안 구멍부터 막았어요
한 서비스 플랫폼은 창업자 두 분이 사이트를 직접 만들었어요. 저희는 상담 챗봇을 만들러 갔어요. 그런데 먼저 발견한 게 있었어요. 데이터베이스에 접근 제한이 하나도 걸려 있지 않아서 고객 개인정보가 보이는 상태였어요. 비밀 키도 코드에 그대로 적혀 있었어요. 챗봇보다 이걸 먼저 막았어요.
저도 부끄러운 일이 있어요. 제가 만든 앱 두 개가 관리자 비밀번호로 잠겨 있는 줄 알았는데, 점검해보니 가짜 값 한 줄로 고객 대화가 전부 열렸어요. 로그인 확인이 "표시가 있나"만 보고, "그 표시가 진짜인가"는 안 봤거든요.
두 경우 모두 AI 때문이 아니었어요. 연결하고 잠그는 방식의 문제였어요.
먼저 볼 네 가지
1. 누가 볼 수 있나 — 권한은 AI가 아니라 시스템이 막아요
직원마다 볼 수 있는 자료가 달라야 해요. 대표와 임원은 매출과 급여까지 물어볼 수 있고, 다른 직원은 자기 업무 자료만 물어볼 수 있게요. 앞의 질문에도 이렇게 답했어요. 계정별로 권한을 나누면 돼요.
중요한 건 권한을 AI에게 맡기지 않는 것이에요. "이 직원에게는 급여를 알려주지 마"라고 AI에게 말로 시키면, 언젠가 새어 나가요. 볼 수 없는 자료는 애초에 AI에게 건네지 않게 시스템에서 먼저 막아요.
고객에게 답하는 AI도 같아요. 한 공공기관과 상담 담당자를 돕는 AI를 만들 때, 틀린 답이 나가지 않게 AI가 근거 문서에 있는 답만 하게 했어요. 기준이 바뀌면 담당자가 문서 하나만 고쳐도 답이 바뀌어요.
2. 어디로 나가나 — 필요한 만큼만 보내요
AI를 쓰면 자료가 AI 회사의 서버로 나갔다 들어와요. 회사용 연결(API)은 보낸 자료를 학습에 쓰지 않는다고 약관에 적혀 있는 경우가 많아요. 그래도 쓰는 서비스의 약관은 한 번 확인하세요.
더 확실한 건 처음부터 필요한 만큼만 보내는 것이에요. 상담 기록을 분석할 때 필요한 건 "어떤 문의가 몇 번 왔나"예요. 누가 물었는지는 필요 없어요. 그래서 저희는 대화를 뽑을 때 연락처 같은 정보가 가려진 채로 나오게 하고, 분석이 끝나면 뽑은 자료를 지워요. 필요하면 비밀유지 계약도 맺어요.
3. 무엇이 남나 — 기록은 회사에 남겨요
AI가 누구에게 무엇을 답했는지 남아야 해요. 틀린 답이 나갔을 때 어디서 틀렸는지 찾을 수 있어야 고칠 수 있거든요.
기록을 지키는 것도 보안이에요. 한 교육·컨설팅 회사는 상담 창구를 옮기면서 쌓인 상담 기록 220만 건이 안 보이게 될 상황이었어요. 그래서 옮기기 전에 백업부터 만들었어요. 한 병원도 기존 카카오 상담 이력을 백업한 뒤 옮겼어요.
4. 어디에 어떻게 붙나 — 읽기부터, 쓰기는 사람이
AI를 기존 시스템에 붙이는 방식은 두 가지예요. 읽기(재고, 주문 상태, 문서를 보고 답하기)와 쓰기(주문 취소, 환불, 입력하기)예요.
처음에는 읽기부터 붙여요. 한 제조·유통사는 쇼핑몰과 재고 엑셀을 읽어 문의에 답하게 했고, 재고 문의 95.7%가 사람 손을 안 거쳤어요. 환불·취소처럼 돈이 움직이는 쓰기는 처음부터 사람에게 남겼어요.
연결할 방법(API)이 없는 프로그램도 있어요. 한 유통사가 쓰던 관리 프로그램이 그랬어요. 화면을 클릭하는 방식으로 억지로 붙일 수도 있었지만, 발주처·공급처·택배사를 다 확인해야 하는 틀리면 곤란한 일이라 사람 몫으로 남기자고 했어요. 붙일 수 있다고 다 붙이는 게 아니에요.
붙이기 전 점검표
| 볼 곳 | 확인할 것 |
|---|---|
| 권한 | 직원별로 볼 수 있는 자료가 시스템에서 나뉘어 있나? AI에게 말로만 시키고 있지 않나? |
| 외부 전송 | 쓰는 AI 서비스의 약관을 확인했나? 고객 연락처처럼 필요 없는 정보까지 보내고 있지 않나? |
| 기록 | AI가 누구에게 무엇을 답했는지 남나? 옮기거나 바꿀 때 기존 기록이 사라지지 않나? |
| 연동 | 읽기만 하나, 쓰기도 하나? 돈이 움직이는 쓰기를 사람이 누르고 있나? |
| 직접 만든 것 | 로그인 없이 데이터에 닿지 않나? 비밀 키가 코드에 적혀 있지 않나? 가짜 값으로 뚫어봤나? |
하나라도 모르겠다면, AI를 더 붙이기 전에 이것부터 보세요. 첫 미팅에서 이미 만든 것이 있으면 같이 열어봐요. 어디가 열려 있는지부터 짚어요.
직접 만든 자동화가 운영에서 깨지는 다섯 자리는 바이브코딩·클로드 코드로 회사 일을 직접 만들었는데, 왜 운영에서 깨질까요?에, AI가 맡으면 안 되는 일의 경계는 AI 챗봇에 어디까지 맡겨야 할까요?에 적었어요.