AI 에이전트 자랑, 데모 없이는 다 연극입니다

AI 잘 쓴다는 사람 대부분은, 사실 자기가 잘 쓴다고 믿고 싶은 거예요

솔직하게 묻겠습니다. 최근 링크드인이나 X에서 “이 AI 에이전트가 제 인생을 바꿨어요” 같은 스크린샷을 보고, 잠깐이라도 “나만 뒤처지나?” 싶은 순간이 있었죠?

저도 있었습니다. 몇 주 전, AI 회사 실무자가 쓴 글 하나가 그 생각을 정리해 줬어요. 요지는 이겁니다. “그 사람들한테 ‘보여줘’라고 하면, 대부분 슬랙 요약·이메일 답장·예약 잡기 수준이 나온다.”

이 문장이 유독 크게 박힌 이유가 있습니다. 저도 AEC 도메인에서 AI 붙여서 만들고 있는데, 밖에서 울리는 자랑의 볼륨과 실제로 굴러가는 워크플로우의 크기가 전혀 맞지 않거든요. 저는 이 간극을 AI 컨피던스 시어터(Confidence Theater)라고 부르겠습니다. 빌더 입장에서 이 벽을 어떻게 넘길지 적습니다.

”보여줘” 테스트: 데모 못 하면, 없던 일이에요

기준 하나만 세웁니다.

누가 “AI로 XX 자동화했어요”라고 하면 한 가지만 묻습니다.

“지금 라이브로 30초만 돌려서 보여줄 수 있어요? 프롬프트 손질 없이, 컨텍스트를 매번 수동으로 넣지 말고.”

이 질문 앞에서 자랑 대부분이 조용해집니다. 현실의 AI 에이전트는 — 저도 몇 개 돌려봤지만 — 절반만 제대로 트리거되고, 그마저도 컨텍스트를 아주 정교하게 껴줘야 합니다.

이게 기술을 폄하하려는 말은 아닙니다. 저는 매일 Claude Code로 코드 리팩터링을 하고, GPT-5로 스펙을 검토하며, 사내 파이프라인에 LLM 3~4개를 물려 씁니다. 도움은 큽니다. 다만 ‘진짜 시간을 덜어주는 구간’은 늘 좁고 구체적입니다. “인생이 바뀐다” 스케일이 아니라, “15분짜리 지겨운 작업이 3분으로 준다” 스케일이죠.

그래서 빌더가 붙잡아야 할 기준선은 하나입니다. 데모하거나, 없던 일이거나.

5년 전엔 새벽 기상 인증, 지금은 에이전트 인증

2020년을 떠올려 보세요. 링크드인에 매일 올라오던 루틴 인증. “새벽 4시 30분 기상 → 명상 → 콜드 플런지 → 인박스 제로 → 하루 시작.” 일부는 실제였고, 대부분은 퍼포먼스였습니다.

지금 풍경도 같습니다. 소품만 바뀌었을 뿐, 콜드 플런지가 AI 에이전트로 교체됐습니다. “우리 회사는 에이전트 17개로 돈다”, “GPT로 전 부서 KPI 리포트를 자동화했다”, “구조 계산서는 모두 AI가 쓴다” 같은 문장들. 워크플로우 공유가 아니라 자기 브랜딩에 가깝습니다.

문제는 이 퍼포먼스가 현장을 세 군데서 동시에 흐트러뜨린다는 점입니다.

벤더 선택부터 삐끗합니다. 사내에서 “우리도 AI 도입하자”는 압박이 들어오면, 링크드인에서 가장 요란한 벤더가 먼저 눈에 들어옵니다. 그런데 그 데모는 미리 준비된 IFC 파일과 세팅에서만 돌아갑니다.

채용도 비슷합니다. “RAG, MCP, 벡터DB, 멀티에이전트 오케스트레이션” 같은 단어는 이제 누구나 유창하게 말합니다. 면접에서 어휘를 듣고 ‘실력자’로 판단하면 낭패를 봅니다.

제일 큰 타격은 본인에게 옵니다. 남의 자랑이 만든 가짜 베이스라인 때문에, 내가 만든 작지만 단단한 워크플로우가 초라해 보입니다. 여기서 동요하면 손이 멈춥니다.

FOMO는 버그가 아니라 기능이에요

여기가 곤란한 지점입니다. 이 컨피던스 시어터는 우연이 아닙니다.

소셜 미디어 알고리즘은 “검증됐다”보다 “제 인생이 바뀌었다!!”에 더 큰 도달을 줍니다. AI 회사는 ‘마법’을 강조하는 톤이 계약에 유리합니다. 개인 빌더도 커리어를 위해 성과를 부풀리면 이득입니다. 시스템 전체가 정직한 베이스라인을 가리도록 설계돼 있는 셈이죠.

이걸 자각하는 것만으로도 절반은 풀립니다. 다음에 “AI 에이전트가 회사를 돌린다”는 포스트를 보면, “나만 뒤처졌나?” 대신 “지금 30초 라이브 데모가 가능할까?”를 먼저 떠올리세요. 이 질문 하나로 FOMO의 대부분이 가십니다.

정직한 베이스라인 만들기: 없어지면 진짜 망가지는 것만 남기기

그럼 무엇을 할까요. 저는 3개월마다 감사를 돕니다.

종이를 한 장 꺼내 현재 쓰는 AI 워크플로우를 전부 적습니다. 각 항목에 질문 하나만 붙입니다.

“이게 내일 아침에 없어지면, 내 일이 진짜로 망가질까?”

제 경우 20개 안팎이 나오고, ‘진짜로 망가진다’에 O가 붙는 건 3~4개뿐입니다.

• Claude Code로 특정 데이터 파이프라인을 리팩터링하는 루틴 — 없어지면 시간 3배. O.
• GPT-5로 긴 PDF 스펙에서 요구사항을 추출하는 스크립트 — 없어지면 눈으로 다시 훑음. O.
• 회의록 요약 GPT — 없어지면 불편함. 망가지진 않음. X.
• ‘코드 리뷰 에이전트’ — 절반은 트리거 실패, 결국 내가 다시 함. X.

이 리스트가 제 진짜 AI 스택입니다. 나머지 15개는 습관, 실험, 혹은 자기위안일 가능성이 큽니다.

이 감사를 한 번만 돌려도 두 가지가 달라집니다. 첫째, 내가 무엇을 잘 쓰는지 또렷해집니다. 둘째, 바깥 자랑에 흔들리지 않습니다. 내 O 3~4개는 실제로 돌아가기 때문입니다.

AEC 빌더에게 이 기준이 꽂히는 순간들

벤더 미팅에 이 기준을 들고 가세요. ‘자율 현장 모니터링 에이전트’를 판다면 계약 전 이렇게 묻습니다. “실제 프로젝트 한 곳에서, 사람 손 안 대고 30일 연속 돌아간 로그가 있나요?” 없으면 프로토타입입니다. 제품이 아닙니다. 대부분은 여기서 걸러집니다.

사내 AI 전략 회의에선 한 장으로 정리해 보여주세요. “우리 팀에서 현재 굴러가는 AI 워크플로우 감사 결과입니다. 없어지면 진짜로 망가지는 건 이 3개, 나머지는 정리 중입니다.” 링크드인의 ‘에이전트 17개’ 스크린샷보다 훨씬 힘이 있습니다. 실측이니까요.

BIM/AI 채용은 워크 트라이얼로 바꾸세요. 30분 면접 대신 실제 RFI 데이터셋 하나를 주고, “2시간 안에 트리아지 워크플로우 하나 짜보세요”라고 요청합니다. 어휘는 5분 만에 증발하고, 뭘 지을 수 있는지가 드러납니다.

그리고 내 자랑도 고쳐 씁니다. “AI로 클래시 디텍션 자동화” 대신 이렇게요. “IFC 파일이 특정 포맷일 때, 이 스크립트가 클래시 리포트 초안을 4분 안에 뽑아줍니다. 포맷이 다르면 손봐야 합니다.” 덜 화려하지만, 훨씬 신뢰되고 재현 가능합니다. 다른 빌더가 그대로 붙여볼 수도 있습니다.

이번 주에 딱 하나만 해요

이 글을 ‘정리 잘 됐다’로 끝내면, 컨피던스 시어터의 관객이 한 명 늘어난 겁니다. 딱 하나만 해주세요.

이번 주 안에 종이를 꺼내 지금 쓰는 AI 워크플로우를 전부 적고, 각 항목에 O/X를 붙이세요 — “내일 없어지면 진짜 망가지는가?”

O가 3개면 그게 여러분의 진짜 AI 스택입니다. 그건 자랑해도 됩니다. 데모가 돌아가니까요. X 15개는 조용히 정리하거나, 정직하게 ‘실험 중’이라고 라벨을 붙이세요.

그리고 다음에 누가 “AI가 제 회사를 돌려요”라고 말하면, 반사적으로 올라오는 FOMO를 느낀 그 순간 이 문장을 떠올리세요.

데모하거나, 없던 일이거나.

그게 빌더가 지켜야 할 유일한 기준입니다. 다른 건 다 소품입니다.