해자를 자동화하지 마라 — AI 자율성을 위험과 차별성에 맞추기
O’Reilly Radar의 Don’t Automate Your Moat를 읽고 정리. 요지 한 줄 — 경쟁 우위(해자)는 코드가 아니라 그 코드를 만든 판단에 있음. 그 판단까지 AI에 위임하면 해자를 스스로 메우는 셈.
인지적 부채 — “코드가 있다” ≠ “우리가 안다”
AI가 코드를 빠르게 생성하는데, 흥미로운 데이터가 있음. METR 연구에서 개발자들은 AI로 24% 빨라질 거라 기대했지만 실제론 19% 더 느렸음.
글은 그 원인을 **인지적 부채(cognitive debt)**로 설명함 — 존재하는 코드의 양과 팀이 이해하는 양 사이의 격차. 핵심 통찰은 이거임: 정신 모델은 코드를 쓸 때 만들어짐. AI가 쓴 코드를 리뷰하는 걸론 이해가 안 생김. 위임은 산출물을 주지만 이해를 뺏음.
두 개의 독립적인 축
무엇을 자동화할지는 “AI가 할 수 있나”가 아니라 두 질문으로 정함.
- Business Risk(사업 위험) — 틀리면 얼마나 아픈가? 내부 CLI 버그(반나절 손실) ↔ 인증 로직 버그(고객 이탈) ↔ 가격 알고리즘 버그(회사 사망).
- Competitive Differentiation(경쟁 차별성) — 이 코드가 우리 사업을 정의하는가? 누구나 뽑는 일반 패턴 ↔ 우리의 트레이드오프·실패 경험·아키텍처 판단이 밴 핵심 로직.
이 둘은 독립임. 위험하지만 차별성 없는 것도, 안 위험한데 차별성 핵심인 것도 있음.
4분면 — 자율성을 강도에 맞춤
| Low Risk | High Risk | |
|---|---|---|
| High Diff | Collaborative Co-creation | Human-led Craftsmanship |
| Low Diff | Full Automation | Supervised Automation |
- Full Automation (저위험·저차별) — API 문서·테스트 스캐폴딩·설정 예시. 테스트: 틀려도 다음 반복에 고칠 수 있나? 예면 맡김. 사람은 방향+스팟체크.
- Supervised Automation (고위험·저차별) — 예: 토큰 한도 도달 시 에이전트 중단 로직(틀리면 비용 폭증). AI가 쓰되 모든 경로 추적·상태 전이 검증 필수.
- Collaborative Co-creation (저위험·고차별) — 예: 사용량 대시보드 UX, 라우팅 규칙. 초기 반복은 회복 가능하니 AI로 가속하되 비전은 사람이 주도하고 트레이드오프를 심문.
- Human-led Craftsmanship (고위험·고차별) — 예: 과금 계측·귀속 엔진. 틀리면 신뢰 상실, 맞으면 진짜 해자. AI는 설계 후 스코핑된 부분작업만, 모든 기여를 심문. RFC+팀 리뷰+공유 이해.
Knight Capital — 이해를 잃으면 45분에 $460M
글이 드는 사례가 서늘함. 2005년 방치된 deprecated 코드 “Power Peg”를 2012년 한 엔지니어가 모르고 다시 켰고, 45분 만에 4.6억 달러가 증발함. 원인은 버그가 아니라 **“아무도 그 코드를 이해하지 못했다”**는 것.
AI 시대는 이 부채를 더 빠르게 쌓음. 리뷰를 걷어내 이해 형성을 막고, 정작 장애가 터지면 팀이 시스템을 배워가며 복구하려 듦.
핵심 권고
- 두 축을 모두 물어라 — “위험한가?” 그리고 “우리를 차별화하는가?”
- 사분면별 리뷰 강도를 맞춰라 — 스팟체크 / 경로검증 / 비전주도 / RFC+팀리뷰.
- 인지적 부채를 위험처럼 취급 — “작동한다”와 “이해한다”는 다름. 능동적 사용(심문)만 이해를 보존, 수동적 위임은 파괴.
- 인시던트 질문 — 작성자가 떠나도 팀이 설명할 수 있나?
읽고 나서 — 내가 “내재화”라 부르던 것
낯익은 이유가 있었음. 내가 상용 솔루션을 내재화(검색엔진·라이브커머스 영상 인프라)할 때마다 남긴 결론이 늘 같았음 — **“진짜 이득은 절감액이 아니라 제어권과 역량”**이었다는 것.
이 글은 그 직관에 좌표를 줌. 상용 솔루션에 묶이는 것과 AI에 판단을 위임하는 것은 같은 실수의 두 형태임 — 동작하는 결과물은 얻지만 이해를 잃는 것. Diquest를 걷어내고 랭킹·형태소를 코드로 직접 통제하려던 이유가 곧 이 4분면의 우상단(Human-led Craftsmanship)에 있음. 검색은 우리 사업을 정의하는 고차별·고위험 영역이라, 편하다고 통째로 위임할 수 없었던 것.
반대로 색인 스크립트·설정 예시·문서 같은 저차별 영역은 아낌없이 자동화하는 게 맞음. 모든 걸 사람이 붙잡는 게 규율이 아니라, 붙잡을 것과 놓을 것을 가르는 게 규율.
정리
- 경쟁 우위 = 코드가 아니라 그것을 만든 판단. 그 판단을 위임하면 해자를 스스로 메움.
- 인지적 부채: 존재하는 코드 vs 이해하는 코드의 격차. AI가 이걸 가속함(METR 19% 느려짐, Knight Capital $460M).
- 자율성은 위험 × 차별성 4분면으로 정함 — 저·저는 풀 자동화, 고·고는 사람 주도 장인정신.
- 실천: 리뷰 강도를 사분면에 맞추고, “작성자 없이 설명 가능한가”를 항상 물음.
- 핵심은 기술이 아니라 조직 규율. 놓을 것과 붙잡을 것을 가르는 것.