회사 브레인은 어떻게 만들까요? 흩어진 정보를 한곳에 모으지 않는 방법

회사 브레인은 흩어진 정보를 한곳에 모아서 만드는 게 아니에요. 정보는 있던 자리에 그대로 두고, 그 위에 '어디에 뭐가 있는지 다 아는 사서'를 얹어서 만들어요. 그리고 한 번 만들고 끝이 아니라, 매일 정확하게 유지하는 게 진짜 일이에요.

들어가며 — 하루에도 몇 번씩 하는 질문

"그거 어디 있죠?" "이거 누가 제일 잘 알아요?" "저번에 그 단가 얼마였더라?"

회사에서 하루에도 몇 번씩 오가는 말이에요. 그리고 가끔 어떤 임원은 자기 성과를 위해 이런 해결책을 내놓기도 하죠.

"우리 이제 다 한곳에 모읍시다. 시스템 하나 정해서 전부 거기 기록해요."

꽤 괜찮아 보여요. 그런데 한 3주쯤 지나면 흐지부지돼요. 영업은 여전히 카톡에서 얘기해요. 회계는 엑셀을 열어요. 현장은 전화로 정하고, 대표는 머릿속에 담아둬요. 한 달 뒤면 그 '단 하나의 시스템'은 또 하나의 빈 폴더가 돼 있어요.

저는 이 문제를 몇 달째 파고들었어요. AI 자동화를 어떻게 하면 더 잘 안착시킬 수 있을까? AI 전환(AI 도입)을 어떻게 완벽히 해낼 수 있을까? 흩어진 회사 정보를 어떻게 하나의 '뇌(브레인)'로 만들까? 이 답을 계속 찾으러 다녔어요. 그러다 세계 최고 수준의 AI 회사가 자기들 쓰려고 만든 시스템을 공개한 글과 연구를 살펴봤어요. 그 원리를 중소·중견기업 규모로 내려 직접 만들어봤고요. 이 글은 그 과정에서 얻은 이론과 철학을 정리한 거예요.

AI 도입이 제대로 되려면 회사 안의 업무 상황을 다 알 수 있는 "회사 브레인"이 꼭 있어야 해요. 다만 흩어진 데이터를 무작정 하나로 모으면 안 돼요. 지금 일하는 환경 뒤에 자연스럽게 녹아들게 해야 해요.

철학 1 — "모으기"가 아니라 "만나기" (Meet data where it lives)

왜 "다 한곳에 모으자"는 매번 실패할까요?

답은 단순해요. 사람은 자기가 편한 곳에서 일하기 때문이에요. 개발자에게 PR(Pull Request) 논의를 워드 문서에서 하라고 하면 아무도 안 해요. 카톡으로 30초면 끝날 얘기를 굳이 사내 위키에 로그인해서 적으라고 하면, 그 위키는 점점 안 쓰게 돼요. 회계 직원에게 엑셀 대신 그룹웨어에서 처리하라고 하면 황당해해요. 이러면 일 못 한다고 불만이 터져 나오죠. 도구마다 각자의 일에 맞춰져 있어요. 정보는 그때그때 가장 편한 곳에서 생겨나요. 전혀 이상한 게 아니에요. 자연스러운 거예요.

그러니 방향을 바꿔야 해요. 정보를 억지로 한곳에 이사시키지 않아요. 정보는 있던 자리에 그대로 두고, 그 위에 '어디에 뭐가 있는지 다 아는 층'을 얹는 거예요.

비유하자면 이래요. 도서관의 책 수만 권을 한 방에 다시 쌓는 건 불가능해요. 대신 사서를 두죠. 책은 각 서가에 그대로 있어요. 사서는 "그 책은 3층 A서가에 있고, 요점은 이겁니다" 하고 답해요. 회사 브레인은 새 창고가 아니라 이 사서라고 보시면 돼요.

여기서 중요한 오해 하나를 짚어볼게요. "하나로 관리한다"는 말을 들으면 다들 곧장 "그럼 데이터를 다 옮겨서 새 시스템에 넣는 거네"로 알아들어요. 아니에요. 원본은 카톡·엑셀·ERP에 그대로 남아요. 하나로 모이는 건 원본이 아니에요. 사서가 들고 있는 색인(索引) 이에요. "어디에 뭐가 있고 무슨 내용인지"를 정리한 카드 뭉치라고 보시면 돼요.

이 차이가 정말 커요. 고객이 가장 겁내는 말이 "시스템 다 바꾸셔야 해요"예요. 그런데 정반대로 말할 수 있어요. "쓰시던 거 하나도 안 바꾸셔도 됩니다. 카톡도 엑셀도 그대로 쓰세요. 저는 그 위에 사서만 얹습니다." AI 도입(업무의 AI 전환)이 무겁고 오래 걸린다는 두려움을, 이 한 문장이 정확히 무너뜨려요.

철학 2 — 형식이 아니라 '상태'. 하나의 모양으로 맞춰요

들어오는 정보의 모양은 제각각이에요. 메일은 문장이에요. 엑셀은 표와 수식이에요. 카톡은 실시간 대화의 흔적이고, 개발 자료는 각자의 언어로 쓴 code죠. 이게 정상이에요. 다르게 생긴 걸 억지로 같은 양식에 끼워 넣으려 하면 또 실패해요.

대신 나가는 모양을 하나로 만들면 돼요. 어디서 왔든, 마지막엔 같은 모양의 카드 하나로 접는 거죠. 저는 이 카드를 4칸으로 정리해봤어요.

• 대상 — 무엇에 관한 것인가 (SPC-240 부자재)
• 핵심 — 알맹이 (대리점가 3,850원, 100박스 이상)
• 상태 — 확정인가 초안인가
• 출처 — 어디서 왔는가 (견적서 · 메일)

메일에서 왔든 카톡에서 왔든, 결과는 이 4칸이에요. 그래서 무엇이든 똑같이 검색되고, 똑같이 최신으로 유지돼요.

두 번째 오해도 짚어볼까요? 이 카드가 "어디에 있는지"만 담은 지도라고 생각하기 쉬워요. 그런데 아니에요. 핵심(알맹이) 자체와 출처(위치)를 함께 담아요. 그래서 물어보면 "가격은 견적서에 있어요, 가서 보세요"가 아니에요. "단가 3,850원이고 출처는 견적서입니다" 하고 답이 바로 나와요. 위치만 아는 사서가 아니라, 요점을 적어둔 카드를 든 사서예요. 카드만 봐도 대부분 답이 나와요. 더 깊이 필요하면 원본 위치까지 알려줘요.

그리고 기준은 '완성된 문서'라는 형식이 아니라 '확정됐다'는 상태예요. 카톡에 툭 남긴 "납기 7일로 확정할게요" 한 줄은 예쁜 문서가 아니에요. 하지만 확정된 사실이에요. 반대로 잘 만든 워드 문서라도 초안이면 앞세우지 않아요. 형식이 아니라 상태로 관리해야 해요.

조금 더 깊이: 왜 원문을 그대로 넣지 않을까요

여기서부터 조금 더 깊이 들어가볼게요. 흔히 "그냥 대화 원문을 전부 AI에 넣고 검색하면 되지 않나?" 하고 생각해요. 그런데 실제로 해보면 정확도가 떨어져요.

이유가 있어요. 원문에는 쓸데없는 말이 너무 많아요. "네넵 감사합니다 ㅎㅎ" 같은 메시지와 핵심 결정이 같은 무게로 섞여요. 그래서 원문을 그대로 넣지 않고 증류(distillation) 를 해요. AI가 긴 대화를 읽고 4가지만 뽑아요. 진짜 질문 한 줄, 짧은 요약, 해결책, 관련된 시스템·부품이에요. 그리고 이 걸러낸 결과를 저장해요.

이렇게 같은 모양으로 맞췄을 때 검색 정확도가 눈에 띄게 올랐다는 게 여러 곳의 공통된 실험 결과예요. 원문 전체가 아니라 '핵심을 뽑아 같은 틀에 담은 것'을 저장해요. 이게 브레인이 헛돌지 않는 첫 번째 원리예요.

철학 3 — 많은 것보다 정확한 게 많아야 해요

어쩌면 이게 가장 중요한 철학이에요.

브레인에 부정확하고 낡은 정보가 섞이면, 그 순간 브레인은 ChatGPT처럼 "아는 척 헛소리"를 하기 시작해요. 개정 전 도면을 최신인 척 답하고, 반년 전 단가를 지금 단가처럼 말해요. 이런 일이 반복되면 사람들은 브레인을 안 믿어요. 안 믿으면 안 써요. 정보의 양이 아니라 정확도가 살고 죽는 걸 가른다고 보시면 돼요.

그래서 브레인에는 "무엇이 지금 유효한가"를 판단하는 장치가 필요해요. 이론적으로는 몇 겹으로 돼 있어요.

• 최신 우선(시간 감쇠) — 같은 대상이면 최근 것이 이겨요. 6개월 전 답은 이미 사라진 방식을 설명하고 있을 수 있으니까요.
• 상태 태그 — 확정 / 검토중 / 초안을 붙여요. 답할 땐 확정을 앞세워요.
• 개정 체인 — 새 버전이 뜨면 옛 버전을 자동으로 뒤로 밀어요. 버리는 게 아니라 숨겨요. 왜 바뀌었는지 맥락이 나중에 필요할 수 있어요. 그래서 기본 답에는 최신만 내보내고, 과거는 보관해요.
• 모순 감지 — 같은 대상에 값이 두 개면 "어느 게 맞나요?" 하고 사람에게 물어봐요.

여기서 마지막 장치, 사람이 핵심이에요. "이게 최종 확정본이다"를 100% 자동으로 판단하는 건 불가능해요. 단가·사양·계약 같은 중요한 건 담당자가 한 번 도장을 찍어야 해요. 귀찮아 보이죠. 하지만 바로 이 '유지·검증' 작업이 브레인의 진짜 본질이에요. 아무나 못 따라오는 해자이기도 해요.

만드는 건 누구나 한 번은 해요. 브레인이 어려운 이유는 매일 정확한 상태로 유지되느냐에 있어요. 이 "유지"가 진짜 일이고, 진짜 차이예요.

이 정확도가 왜 도입 속도까지 정하는지는 AI 자동화 실패하는 이유 — 기술이 아니라 기획이 90%에 따로 적었어요. 실제로 상담 이력 220만 건이 기존 도구 안에만 있던 회사가 있었어요. 거기선 자동화보다 그 기록을 옮기고 남기는 설계가 먼저였어요.

조금 더 깊이 — 그래서 어떻게 '찾아낼까요'

정확한 카드를 잘 쌓았다고 끝이 아니에요. 물었을 때 맞는 카드를 위로 올리는 일이 남아요. 여기가 이 시스템에서 가장 정교한 부분이라, 조금 자세히 풀어볼게요.

처음엔 다들 이렇게 생각해요. "요즘 AI는 뜻으로 검색하니까, 문장을 숫자(임베딩)로 바꿔서 비슷한 것끼리 찾으면 되겠네." 절반만 맞아요. 뜻으로만 찾으면 놓치는 게 많아요.

그래서 여러 검색 방식을 동시에 돌리고, 서로의 약점을 메우게 해요.

• 정확한 단어 검색(전문 검색) — 에러 메시지, 부품 번호, 설정값처럼 글자 그대로 맞아야 하는 것을 잡아요. "SPC-240"을 물었는데 뜻이 비슷한 다른 부품이 위로 오면 안 돼요. 정확히 붙여넣은 값은 어떤 '의미 유사도'로도 이길 수 없어야 해요.
• 의미 검색(임베딩) — 반대로 단어가 달라도 뜻이 통하는 것을 잡아요. "복원이 멈춰요"와 "체크포인트가 안 넘어가요"는 단어가 하나도 안 겹쳐도 같은 문제예요. 이걸 이어주는 게 의미 검색이에요.
• 드문 단어에 가중치(IDF) — 아무 데나 나오는 흔한 말은 낮게, 드물게 나오는 말은 높게 쳐요. "감사합니다"는 거의 모든 대화와 비슷해 보이지만 정보가 없어요. 반대로 잘 안 쓰는 설정값 하나가 들어간 짧은 메시지는 위로 올라올 자격이 있어요.
• 시간 감쇠 — 앞서 말한 그거예요. 조건이 같으면 최신이 이겨요.

핵심 철학은 이거예요. 어느 하나의 방식도 혼자서는 믿지 않아요. 방식마다 각자 순위표를 내요. 물어보는 순간 그 순위표들을 하나로 합쳐요. 이때 쓰는 게 '여러 검색기가 공통으로 위에 올린 것을 우대하는' 합산 방식이에요. 한 검색기가 1등이라고 우쭐대는 것보다, 여러 검색기가 두루 위에 올린 게 더 믿을 만하잖아요. 한 명의 강한 주장보다 여러 명의 합의를 믿는 거예요. 사람이 판단하는 방식과 똑같아요.

그렇게 추린 후보를 마지막으로 한 번 더 점수 매겨요(재랭킹). 그리고 상위 몇 개만 남겨요. 답을 낼 땐 반드시 출처를 함께 붙여요. 출처 없는 답은 그럴듯해도 믿을 수 없으니까요.

철학 4 — 브레인은 '검색창'이 아니라 '신경망'이에요

여기까지는 '읽기' 얘기였어요. 그런데 브레인의 진짜 힘은 읽기 + 쓰기에 있어요.

같은 브레인 위에서 세 주체가 함께 움직여요.

• 읽기 — 사람이, 자동화 스크립트가, AI 팀원이 브레인에 묻고 출처와 함께 답을 받아요.
• 쓰기 — AI 팀원이 새로 생긴 사실을 같은 모양으로 정리해 브레인에 기록해요. 밤사이 재고가 기준 아래로 떨어지면 발주 초안을 만들어 올려둬요. 회의가 끝나면 요약과 미결 사항을 카드로 남겨요.
• 활용 — 그 위에서 대표의 아침 브리핑, 영업의 결정, 실무의 조회가 동시에 굴러가요.

그래서 브레인은 검색창이 아니라 회사의 신경망이라고 보면 좋을 것 같아요. 아침에 출근하면 밤사이 벌어진 일이 이미 정리돼 있어요. 자료 찾는 시간이 0분이 되는 거죠.

여기서 'AI 팀원'이라는 말의 실체가 드러나요. AI 자동화, AI 직원 같은 말을 들으면 많은 분들이 막연해해요. 저는 이렇게 정의해요.

브레인이 없는 AI는 아무것도 모르는 신입이다. 우리 회사를 하나도 모르니 매번 처음부터 설명해야 한다. 브레인이 있는 AI는 우리 회사의 모든 대화·단가·도면을 다 읽고 온 동료다.

같은 AI인데 브레인이 있느냐 없느냐가 신입과 동료를 갈라요. 재밌게도, 세계적인 산업 데이터 회사들은 이런 AI 에이전트를 대놓고 '가상 직원(virtual employees)' 이라고 불러요. 우리가 막연하게 부르던 'AI 팀원'이 대기업 제품 언어에서 문자 그대로 확인되는 셈이에요.

그리고 도구는 최대한 단순하게 둬요. 검색·조회 기능은 각각 단순한 도구로 열어둬요. 그걸 언제 어떤 순서로 쓸지는 AI 에이전트가 판단해요. 검색 층은 똑똑할 필요가 없어요. 똑똑함은 조율에 있고, 그건 에이전트의 몫이에요.

직접 해봤어요 — 가장 어려운 소스를 뚫어본 이야기

여기까지는 이론과 철학 이야기였어요. 하지만 실제로 우리 회사에서 되느냐는 다른 문제예요. 그래서 저는 5개 소스(이메일·카카오톡·상담 솔루션·회의록·문자) 중 가장 어려운 카카오톡부터 직접 붙여봤어요.

카카오톡이 왜 가장 어렵냐면, 개인 카톡은 읽기 API가 없어요. 게다가 데스크톱 앱의 로컬 저장소는 암호화돼 있어서 직접 못 읽어요. 방법은 하나뿐이에요. 사람이 화면을 보듯, 컴퓨터의 접근성(Accessibility) 기능으로 카톡 앱 화면을 그대로 읽는 거예요. API가 없는 앱을 다루는 방법으로 해봤어요.

해보니 카톡 화면의 대화가 구조적으로 읽혔어요. 누가 말했는지, 언제, 무슨 내용인지요. 그걸 앞의 네 칸 카드로 정리해 브레인에 넣었어요. 그리고 물어봤어요. "이 대리점이랑 뭘 약속했고, 아직 확정 안 된 게 뭐야?" 브레인은 대화만 보고 답했어요. 확정된 단가와 납기, 아직 미결인 사항, 담당자가 다음 주에 해야 할 일까지요. 출처(카톡)를 밝히면서요. 흩어진 대화 한 뭉치가, 물어볼 것도 없이 정리된 업무가 되어 나왔어요.

여기서 두 가지 현실을 솔직하게 짚어야 해요.

첫째, 이건 1인 기업이라 특히 잘 맞는 그림이에요. 제 경우엔 모든 대화와 데이터가 제 계정, 제 PC와 기기에 모여 있어요. 하지만 여러 사람이 있는 회사는 다르죠. 이때 핵심 질문은 "직원 각자 PC에 뭔가 깔아야 하나?"예요. 답은 대부분 아니에요. ERP·CRM·상담 솔루션·그룹웨어 같은 중앙 시스템은 회사 차원에서 한 번 연결하면 전 직원 데이터가 들어와요. 개인 기기의 데이터(개인 카톡·로컬 엑셀)만 예외예요. 그것도 필요한 핵심 인물 몇 명이 자발적으로 참여하는 방식이에요. 전 직원을 감시하는 게 아니에요. 중앙은 회사가 연결, 개인 기기는 본인이 자발적으로. 이 선을 지키는 게 중요해요.

둘째, 접근성 권한은 무거워요. 그 권한은 카톡만이 아니라 컴퓨터의 모든 앱을 읽고 제어할 수 있게 해요. 저조차도 접근성 권한을 줄 때 걱정이 많이 됐어요. 개인 메시지엔 제3자(고객·지인)도 섞여 있어요. 회사가 직원 개인 카톡을 중앙에서 싹 긁는 건 법적·윤리적으로 엄청 어려운 일이고요. 그래서 저는 수집한 실제 대화는 로컬에만 두고 원격에는 올리지 않도록 경계를 코드로 그었어요. "선택한 방만, 선택한 것만 공유." 기술이 되는 것과 해도 되는 것은 다르다고 생각해요.

닫으며 — 브레인은 만드는 게 아니라 기르는 거예요

정리하면, 회사 브레인의 철학은 이렇게 요약돼요.

1. 모으지 마세요, 있는 자리에서 만나세요. 원본은 그대로, 위에 사서를 얹어요.
2. 형식이 아니라 상태. 제각각 들어와 하나의 모양(핵심 + 출처)으로 나가요.
3. 양보다 정확. 확정·최신이 이기고, 옛것은 버리지 않고 숨겨요.
4. 어느 하나도 혼자서는 믿지 마세요. 여러 방식의 합의로 찾고, 출처와 함께 답해요.
5. 읽기 + 쓰기. 브레인은 검색창이 아니라 신경망이에요.
6. 유지가 본질. 사람의 최종 도장이 해자예요.

가장 중요한 마지막 하나. 브레인은 한 번 만들고 끝나는 물건이 아니에요. 매일 기르는 거예요. 그래서 성공의 기준도 "와, 신기하다"는 감탄이 아니에요. 진짜 기준은 딱 하나예요.

매일 쓰게 되는가.

세계 최고의 AI 회사가 자기들 쓰려고 만든 그 시스템의 원리는 놀랄 만큼 단순했어요. 마법이 아니라 정직한 흐름이에요. AI가 제안하고, 검증이 거르고, 사람은 못 미더운 것만 확인해요. 그 단순함을 우리 회사 크기로 내려서, 매일 쓰게 만드는 것. 그게 제가 하는 일이에요.

우리 회사 정보가 어디에 어떻게 흩어져 있는지부터 같이 보고 싶으시면 상담 신청에 남겨주세요. 지금 제일 자주 "그거 어디 있죠?"가 나오는 업무를 적어주시면 돼요.