AI 코드가 잘 돌아간다고요? 10년차 개발자가 경고하는 '그럼에도 불구하고' 함정들

심각한 질병을 인공지능 모델의 제안만 믿고 치료하겠다고요? 의사도 만나지 않고 말이죠. 혹은 자녀 교육을 AI에게 전적으로 맡길 건가요?

아마 아니겠죠.

그런데 왜 우리의 소중한 코드베이스는 통째로 AI에 넘겨주려고 할까요?

마침 제가 이번에 JSNation과 프라하에서 열리는 FrontKon 컨퍼런스에 참여하며 **"AI 시스템 신뢰: 어느 정도가 지나친가?"**라는 주제로 토론할 기회가 많았습니다. 그래서 오늘은 바로 이 문제에 대해 함께 이야기해볼까 합니다.

참, 상반기 정말 정신없이 바빴는데, 다음 주부터는 잠시 휴가 모드에 들어갈 것 같네요. 그동안 못 올렸던 자바스크립트 이야기, 유용한 Bash 명령어, 가끔은 프로그래밍 밈들도 올릴 테니 기대해주세요! 😁 다들 좋아하시는 걸로 알아요.

아, 그리고 이미 말씀드렸듯, 10월 프라하 FrontKon에서 발표하게 되었습니다! 이번 시즌 최고의 컨퍼런스가 될 것 같은 예감이 드네요. 준비 과정도 환상적이었고요. 이미 의제는 공개되었고, 제 강연은 오후 3시 30분으로 예정되어 있습니다. 아직 정확히 어느 날짜인지는 확인하지 못했지만, 10월 전까지는 꼭 알려드릴게요! 😄

프런트엔드 개발에 관심이 많다면 꼭 한번 확인해보세요. 티켓이 빠르게 소진되고 있다고 하네요. 제 링크드인 게시물에 '좋아요'를 남겨주시면 감사하겠습니다.

아마 올해 마지막 컨퍼런스 참석이 될 것 같아요. 물론 또 다른 좋은 기회가 찾아올지도 모르죠! 😉 그 이야기는 다음에 나누고요.

AI는 거짓말을 할까?

다시 본론으로 돌아와서요.

여러분은 AI를 얼마나 신뢰하시나요? 저는 비단 코드뿐만이 아니라, '지식'에 대해서도 묻고 싶습니다.

프로그래밍 외적으로 LLM을 얼마나 자주 사용하시는지 모르겠지만, 저는 정말 많이 씁니다. 정말요. 때로는 그냥 하소연하기도 하고, 정보나 영감, 아이디어 검증을 위해 묻기도 하죠. 그런데 흥미로운 패턴을 하나 발견했어요.

학교나 대학 시절을 떠올려 보세요. 일반적인 지식은 쉽게 얻을 수 있었지만, 좀 더 전문적인 자료가 필요하면 도서관에 가거나 학술지를 뒤져야 했습니다.

모델들도 놀랍도록 비슷한 방식으로 작동합니다. 일반적인 정보를 찾을 때는 거의 맹목적으로 신뢰합니다. 하지만 제가 잘 아는 주제에 대해 깊이 파고들수록, 어딘가 잘못된 정보를 더 많이 발견하게 되죠.

물론, 모델의 '환각(hallucination)' 현상은 예전보다 줄었습니다. 더 이상 터무니없는 사실을 매번 지어내지는 않죠. 하지만 과연 실수를 완전히 멈췄을까요? 정확히 말하면 아닙니다.

때로는 사실 대부분이 맞지만, 이름이 뒤섞이기도 합니다. 심지어 두 번의 독립적인 대화에서 같은 의료 문제에 대해 자신 있게 두 가지 다른 설명을 내놓기도 하더군요. 😉

물론 LLM은 보통 의사에게 상담하고 중요한 정보는 반드시 확인하라고 당부합니다. 솔직히, 제정신인 사람이라면 자기 건강 문제를 AI 모델에 맹목적으로 맡길 사람은 많지 않을 겁니다.

그런데 우리의 코드베이스는요? "네, 친애하는 모델님. 마음껏 가져다 쓰세요!"라고 말하는 상황이 자주 연출됩니다.

코드베이스 역설

바로 여기서 상황이 흥미로워집니다.

아마 많은 분이 아시겠지만, 저는 주로 웹 개발을 합니다. 꽤 오랫동안 이 분야에 몸담았죠. LLM과 아키텍처를 논의할 때, 심지어 제 개인 사이드 프로젝트일지라도, 결과는 놀랍도록 좋을 때가 많습니다.

하지만 때로는 정말 섬뜩할 정도입니다. 거대한 모놀리식 파일, 추상화 부재, 심지어 더 나쁜 경우: 불필요한 추상화가 사방에 깔려 있기도 합니다. 안녕, 코덱스. 👋

그리고 이것도 최악은 아닙니다. 종종 아름다운 XSS 취약점이나 기타 보안 문제가 생성된 코드에 아무렇지 않게 끼어 들어가 있는 것을 발견할 수 있습니다.

대부분의 코드는 완벽하게 합리적으로 보입니다. 문제들은 대개 작고, 아주 미묘하며, 디테일 어딘가에 숨어 있습니다. 하지만 이런 사소한 문제들이 며칠 만에 제 프로덕션 환경을 완전히 무너뜨릴 수도 있다는 사실을 잊으면 안 돼요.

그리고 이게 문제입니다. 저는 그런 실수들을 알아볼 수 있습니다. 십수 년 동안 이 일을 해왔기 때문이죠.

하지만 첫 스타트업을 만들거나 프로그래밍 여정을 이제 막 시작하는 사람이라면, 에이전트가 대문을 활짝 열어둔 채 떠났다는 것을 어떻게 알아챌 수 있을까요? 제가 실무에서 LLM을 활용해 특정 도메인에 깊이 들어가는 리서치를 진행할 때마다, 모델이 제시하는 해결책이나 설명에서 어딘가 어긋나는 지점들을 발견하곤 합니다. 처음엔 '내가 잘못 알았나?' 싶다가도, 자세히 뜯어보면 핵심에서 벗어난 논리적 비약이나 사실 왜곡이 꽤 많다는 걸 깨닫게 되죠.

바이브 코딩의 함정

하지만 사람들은 여전히 '바이브 코딩(vibe coding)'을 즐겨 합니다.

분명히 말하지만, 바이브 코딩은 정말 멋진 일입니다.

최근 제 지인 중 한 분이 딸의 대학교 프로젝트를 돕는데, 평생 Unity를 써본 적이 없었답니다. AI의 도움으로 프로젝트 골격은 30분 만에 뚝딱 만들었지만, 그 다음 5시간은 모델이 만든 결과물을 고치는 데 썼다고 하더군요.

하지만 AI가 없었다면 그는 아마 5시간 동안 환경 설정만 붙잡고 있었을지도 모릅니다. 이것이 바로 AI의 엄청난 힘이죠.

이런 논리를 따르면, 일단 소프트웨어 엔지니어링을 이해하고 나면 기술 스택과 생태계가 훨씬 덜 제한적으로 느껴집니다. 갑자기 이전보다 훨씬 빠르게 거의 모든 것을 만들 수 있게 되는 거죠.

바로 여기서 유혹이 시작됩니다.

더 나아가볼까요? 개발자가 AI가 생성한 코드를 이해해야 하는지에 대한 논쟁이 아직도 있을까요? 아니면 우리는 이미 그 단계를 넘어섰나요?

어쩌면 이해할 필요가 없을지도 모릅니다. 어쨌든 작동하니까요. 모델이 심지어 유닛 테스트까지 작성해 줬는데! xDDDDDDD 과연 무엇이 잘못될 수 있을까요? 😄

취미 프로젝트, 실험, 또는 대학교 과제라면 완벽하게 괜찮습니다. 제 지인의 딸 프로젝트처럼 말이죠. 다섯 명의 사람이 볼 거고, 학점을 받고, 그리고는 조용히 저장소 속으로 영원히 사라질 겁니다.

진정한 문제는 누군가 이것이 프로덕션에 충분하다고 결정할 때 시작됩니다. 불행히도, 그런 경우가 너무 많습니다. 실제로 제가 주니어 시절, 한 번은 AI가 제안한 데이터 처리 로직을 무심코 적용했다가 예상치 못한 동시성 문제로 프로덕션 환경에서 장애가 발생할 뻔한 아찔한 경험도 있었어요. 코드는 완벽해 보였지만, 숨겨진 미묘한 버그가 치명적이었던 거죠.

AI가 프로덕션을 망가뜨린 게 아니다

문제가 생기면 사람들은 AI 탓을 하기 좋아하죠. 저는 아닙니다.

우리는 이미 AI 에이전트가 데이터베이스를 삭제하고 이를 은폐하려 했다는 이야기들을 들어봤습니다. 비교적 경험 없는 공격자도 악용할 수 있는 보안 문제와 함께 출시된 서비스들도 보았습니다. 솔직히 이런 사례는 내일 아침까지도 읊을 수 있을 거예요.

진실은 이렇습니다. '바이브 코딩'으로 만들어진 소프트웨어 시대에 침투 테스터들은 그 어느 때보다 쉬운 시간을 보내고 있습니다.

사람들이 "봐? AI가 이 재앙을 초래했잖아"라고 말할 때마다 저는 늘 재미있습니다. 아니요. 그렇지 않습니다. 진정한 문제는 AI에 있는 게 아닙니다. 에이전트에 과도한 권한을 부여한 인간, 결과물을 꼼꼼히 검토하지 않은 인간, 혹은 경험 많은 엔지니어를 고용하는 비용을 아끼려 자신이 완전히 이해하지 못하는 시스템을 구축하려 한 인간에게 책임이 있습니다.

AI가 그 코드를 배포한 게 아니죠. 인간이 했습니다.

그렇다면, AI가 여러분의 일자리를 뺏을까요?

AI는 프로그래머의 일자리를 뺏지 않을 겁니다.

하지만 AI를 비판 없이 맹목적으로 신뢰하는 프로그래머는 스스로 그 일자리를 잃게 만드는 데 아주 큰 역할을 할 수 있습니다.

그래서 궁금합니다. 여러분은 어디에 선을 긋고 계신가요? AI가 생성한 코드 한 줄 한 줄을 모두 검토하시나요? 아니면 에이전트가 자율적으로 변경하도록 두시나요? 혹은 이미 모델을 검증하는 것보다 신뢰하는 것이 더 자연스럽다고 느끼는 단계에 이르셨나요?

얼마만큼의 신뢰가 '너무 많은' 신뢰일까요?

원문: https://dev.to/sylwia-lask/the-code-works-what-could-possibly-go-wrong-5hbm 수집일: 2026-06-13 02:03:14