"내 북마크 5만 개로 훈련시킨 AI 봇, 생성형 AI의 본질을 파헤치다"

저는 제가 X(구 트위터)에 북마크하고 '좋아요'를 누른 수만 개의 게시물을 학습시킨 챗봇을 만들었습니다. 몇 년 동안 눈팅하고, 논쟁하고, 스크롤을 멈추게 하는 유용한 정보들을 저장해온 5만 개 정도의 데이터였죠.

원리적으로 기술적인 부분은 그렇게 복잡하지 않습니다. X에서 데이터를 내보내고, 텍스트를 임베딩한 다음 RAG(Retrieval Augmented Generation, 검색 증강 생성) 파이프라인을 구축하죠. 여기에 제 글쓰기 패턴에서 추출한 스타일 프롬프트를 추가하면, 프롬프트에 따라 가장 관련성 높은 저장 콘텐츠를 검색하고 이를 바탕으로 답을 내놓는 봇이 완성됩니다. 저는 이 봇을 '북마크 브레인(Bookmark Brain)'이라고 이름 붙였는데, 기발한 건지 좀 쑥스러운 건지는 아직 모르겠습니다.

하지만 이렇게 직접 만들어보니, 생성형 AI의 본질에 대한 제 생각이 예상보다 훨씬 명확해졌다는 점은 전혀 예상치 못했습니다.

문제는 이 봇이 너무 잘 작동한다는 겁니다.

제가 API 설계 의견이나 현재 AI 열풍에 대한 시각을 물으면, 이 봇은 저와 똑같은 어조로 답합니다. 구체적이고, 살짝 짜증 섞였으며, 특정 문제에 기반한 그런 답변이죠. "내 목소리로 써줘"라고 지시했을 때 대부분의 범용 LLM이 내놓는 결과보다 훨씬 저답게 들립니다. 제가 실무에서 여러 LLM을 프롬프트 엔지니어링으로 제 글쓰기 스타일을 흉내 내게 해봤지만, 결국 이 북마크 브레인이 저만의 고유한 톤앤매너를 가장 정확하게 구현해내는 걸 보고 깜짝 놀랐습니다. 단순히 단어 선택을 넘어, 저의 사고방식까지 반영하는 듯했으니까요.

그 차이는 모델 자체가 아닙니다. 바로 '검색(retrieval) 레이어'에 있습니다. 두 경우 모두 모델은 거의 같은 일을 합니다. 달라지는 건 생성을 시작하기 전에 무엇을 가져오느냐 하는 것이죠.

이 깨달음은 예상보다 훨씬 강하게 다가왔습니다. 우리가 AI '지능'이라고 부르는 것의 상당 부분이 사실은 '검색'이라는 겁니다. 시스템은 관련 콘텐츠를 찾아내고, 이를 쿼리와 혼합한 뒤, 임베딩 공간의 특정 영역에 의해 형성된 결과물을 내놓습니다. 이건 생각하는 것이 아닙니다. 이해하는 것도 아니죠. 기억력을 갖춘, 극도로 정교한 자동 완성에 가깝습니다. 추론하는 듯한 환상은 깊이 있는 추론 과정에서 오는 것이 아니라, 검색된 내용의 질에서 비롯되는 거죠.

그리고 불편한 결론이 이어졌습니다. 저 자신에게서도 똑같은 현상을 발견하기 시작한 겁니다. 제가 '독창적인 생각'이라고 여겼던 것들 중 상당수가 사실은 제 뇌가 구조적으로 비슷한 작업을 하고 있었다는 거죠. 잘 선별된 내면의 영향력 데이터셋에서 정보를 검색하고, 이를 새롭게 느껴지는 방식으로 조합하여 통찰력으로 통할 만큼 유창하게 출력하는 과정 말입니다. 봇은 저를 더 똑똑하게 만들지 않았습니다. 오히려 제 자신의 인지 과정에 의심을 품게 만들었습니다.

제 봇이 일관성 있게 들리는 이유는 제 북마크 자체가 일관적이기 때문입니다. 저는 수년 동안 기술 과대광고에 회의적이고, 시스템과 인센티브에 관심이 많으며, 모호한 추상화에 짜증을 내는 특정 세계관을 구축해왔습니다. 그 세계관이 데이터셋에 고스란히 녹아 있었죠. 검색 레이어가 이를 찾아내고, 모델이 문법에 맞는 문장으로 출력합니다. 밖에서 보면 이 모든 과정이 지능처럼 보입니다.

그러던 중 '그랜타(Granta)' 사건이 터졌습니다.

혹시 모르실 분들을 위해 설명하자면, 문학 잡지 그랜타가 발행한 한 작품이 AI 탐지기에 의해 'AI가 작성했다'고 플래그 됐습니다. 그런데 알고 보니 그 글은 사람이 썼으며, 심지어 해당 AI 탐지기 자체가 존재하기도 전인 2022년 이전에 쓰인 것이었습니다.

작가 입장에서는 당연히 격분할 수밖에 없었죠. 편집부의 대응도 어설펐습니다. 저를 가장 놀라게 한 점은 그 과정 뒤에 깔린 '확신'이었습니다. 탐지기 점수가 어떤 유의미한 증거가 된다는 발상 말입니다.

하지만 사실은 그렇지 않습니다. AI 탐지기는 사람과 AI가 작성한 글의 분포적 차이를 기반으로 훈련된 확률적 분류기일 뿐입니다. 밀도가 높거나, 격식 있거나, 혹은 특이한 문체는 늘 탐지기를 오작동시킵니다. 학술 논문, 번역된 텍스트, 압축되거나 구조화된 스타일의 모든 글이 플래그 되는 경우가 허다하죠. 탐지기는 글을 '읽는' 게 아닙니다. 그저 통계적 특징을 패턴 매칭할 뿐이죠. 게다가 이 특징들은 모델이 개선되고, 글쓰기 스타일이 진화하고, 훈련 데이터 분포와 현실 간의 간극이 넓어질수록 계속 변합니다.

출판사, 고용주, 대학들이 이러한 도구를 신뢰할 수 있는 것처럼 의존하는 모습은 마치 거짓말 탐지기에 의존하는 것과 다를 바 없습니다. 이 도구는 기만(deception)을 감지하는 것이 아닙니다. 긴장감, 격식, 또는 상황에 맞지 않는 어조를 감지할 뿐이죠. 도구가 내리는 결론은 도구가 생각하는 것과는 다릅니다.

그랜타 사태는 저에게 이 사실을 명확히 각인시켰습니다. 우리는 신호를 통해 측정하려는 '실체'를 신호 자체로 오해하는 집단적인 문제를 안고 있다는 거죠. 퍼플렉서티(Perplexity) 점수가 '진정성'을 의미하는 게 아닙니다. 의미론적 유사성이 '이해'를 뜻하는 것도 아니고요. 그리고 이것이 바로 대부분의 AI 능력 과장 주장을 부풀리는 동일한 혼란입니다.

제가 매일 겪는 아이러니는 이렇습니다.

저는 AI를 매우 적극적으로 활용합니다. AI로 무언가를 만들고, 글을 쓰고, 덕분에 훨씬 빠르게 프로토타이핑하죠. 몰래 의존하면서 회의적인 척하는 것이 아니라, 공개적으로 AI에 의존하면서도 동시에 AI가 실제로 무엇을 하는지, 그리고 AI에 대한 주장들이 왜 그렇게 자주 과장되는지에 대해 진심으로 회의적인 시각을 가지고 있습니다.

네, 저도 문제의 일부라는 것을 압니다. 하지만 제가 '북마크 브레인'을 만든 정확한 이유는 문제가 대체 무엇인지 이해하고 싶었기 때문입니다. 단순히 논평이나 사설 수준이 아니라, 검색 로그와 임베딩 거리, 그리고 특정 결과물이 왜 그렇게 나왔는지 같은 실제 '파이프라인' 수준에서 말이죠. AI에 대해 가장 확신하는 사람들, 즉 옹호론자든 비판론자든, 대개는 AI로 직접 뭔가를 만들어본 경험이 없는 경우가 많습니다. 그들은 그저 결과물에 반응할 뿐입니다. 저는 그 '속살'을 보고 싶었습니다.

제 봇은 이 사실을 아주 구체적으로 보여줍니다. 봇이 정확히 무엇을 하는지 — 검색하고, 조합하고, 스타일을 맞추는 — 제가 직접 볼 수 있기 때문에, 더 이상 밑바탕의 과정이 신비롭다고 가장할 수 없습니다. 전혀 그렇지 않습니다. 그저 매우 뛰어난 패턴 엔진일 뿐입니다. 그리고 이 엔진이 잘하는 패턴은 인간이 이미 충분히 많이 만들어내서 검색 가능한 '신호'를 구성하는 것들입니다.

봇이 할 수 없는 일들도 마찬가지로 명확합니다. 진정으로 새로운 것을 알려주지 못합니다. 제 북마크 내의 모순을 해결할 수도 없죠. 그저 제 쿼리에 의미론적으로 더 가까운 논쟁의 한쪽 면을 검색해 올 뿐입니다. 제가 무엇을 가장 중요하게 생각하는지에 대한 지속적인 개념도 없습니다. 그런 건 임베딩 가중치와 검색 랭킹에 있을 뿐, 가치 구조 같은 것에는 없죠. 만약 제가 나이지리아 경제 정책에 대한 콘텐츠를 5년 동안 저장해 왔다면, 그 콘텐츠를 검색해 올 수는 있습니다. 하지만 아직 임베딩에 존재하지 않는 새로운 발전에 대해 제가 무엇을 생각해야 할지는 말해줄 수 없습니다.

이것은 비판이 아닙니다. 단지 그 도구가 무엇인지에 대한 정확한 설명일 뿐이죠. 진정한 비판은 사람들이 — 솔직히 말해, 과거의 저를 포함해서 — 이러한 시스템이 완전히 다른 수준에서 작동하는 것처럼 이야기할 때 나옵니다.

대부분의 사람들은 생성형 AI를 처음에는 같은 방식으로 오해합니다. 결과물을 보고 그것을 인간의 인지 능력과 동일시하죠. 달리 참고할 만한 기준 틀이 없기 때문입니다. 결과물이 생각하는 것처럼 들립니다. 그러므로 그것은 생각하는 것입니다. 이 논리는 이해할 만하지만, 틀렸습니다.

실제로 벌어지는 일은 이렇습니다. 시스템은 기존 인간 표현의 방대한 양을 압축하고, 맥락적으로 가장 관련성 높은 부분을 검색한 다음, 해당 영역과 통계적으로 일관된 '이어지는' 내용을 생성합니다. 이건 아무것도 아니라는 뜻이 아닙니다. 사실 놀라운 일이죠. 하지만 추론이 아닙니다. 이해도 아니고요. 그리고 훈련 데이터 분포가 실제 문제와 일치하지 않는 영역에서는 절대 신뢰할 수 없습니다.

북마크 브레인을 직접 만들면서 이 사실은 추상적인 것이 아니라 구체적인 현실이 되었습니다. 저는 검색 로그를 지켜볼 수 있었습니다. 봇이 무엇을 가져오는지 볼 수 있었죠. 특정 답변이 왜 그런 식으로 나왔는지 추적할 수 있었습니다. 제가 직접 만들었기 때문에 얻을 수 있었던 이 '투명성'은, 사람들이 폐쇄적인 시스템과 상호작용하며 결과물을 의인화할 때 정확히 빠져 있는 부분입니다.

이 모든 것에서 제가 여전히 깊이 생각하는 부분은 바로 '큐레이션(Curation)'입니다.

제 봇이 유용한 이유는 제가 수년 동안 신중하게 큐레이션했기 때문입니다. 결과물의 품질은 입력 데이터의 품질에서 나옵니다. 모델 때문도 아니고, 프롬프트 엔지니어링 때문도 아니죠. 바로 '입력' 데이터 말입니다. 일관된 관심사, 명확한 세계관, 그리고 실제 의견을 반영하는 5만 개의 북마크 말입니다.

만약 제가 모든 것을 비판 없이 북마크했다면, 봇은 일관성 없는 엉망진창이었을 겁니다. '쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)'는 격언이 여기에도 적용되죠. 다만, 엄청난 규모로, 그리고 설득력 있는 유창함으로 인해 그 쓰레기를 더 알아보기 어렵게 만들었을 겁니다.

이것이 생성형 AI 전반에 관한 핵심입니다. 생성형 AI는 나쁜 데이터를 좋게 만들지 않습니다. 그저 '유창하게' 만들 뿐이죠. 그리고 바로 이 유창함이라는 속성이 탐지기든, 검토자든, 심지어 전문가라 할지라도 눈앞의 결과물이 실제로 어떤지 평가하기 어렵게 만드는 주범입니다.

저는 저와 똑같이 들리는 도구를 만들었습니다. 이 도구가 작동하는 이유는 제가 거기에 무엇을 '넣었는지' 때문이지, 모델이 특별히 대단한 일을 해서가 아닙니다. 모델은 그저 합성기일 뿐입니다. 진정한 저자는 바로 '데이터셋'입니다.

이것이 제가 배운 가장 명확한 교훈입니다. 그리고 이 시스템에 대한 거의 모든 논의가 놓치고 있는 부분이기도 하고요.

원문: https://dev.to/dannwaneri/what-building-my-own-ai-bot-taught-me-about-generative-ai-57il 수집일: 2026-05-28 01:47:41