IOV LABS← 전체 논문종합 · MIT
The Productivity Mirage: 왜 AI 도구 도입이 체감과 반대로 실측 생산성을 낮추는가
초록
AI 도구는 폭증했고 사용자는 더 빠르다고 느끼지만, 가장 엄밀한 측정은 반대를 가리킨다. METR의 2025 RCT에서 숙련 개발자는 AI로 20% 빨라졌다고 추정했지만 실측은 19% 느렸다, 39%p 격차다. 우리는 이 격차를 생산성의 신기루라 부르고, 이것이 METR의 특이현상이 아니라 도메인을 가로지르는 하나의 구조라 주장한다. IOV Labs의 세 원본 측정(완료착시·바이브 세금·RAI 파이프라인)과 외부 METR RCT를 하나의 프레임으로 종합한다: 도구는 산출물을 만드는 비용만 낮춰 빨라진 것처럼 느끼게 하지만, 실측 생산성은 연결·검증·통제에서 결정되고 도구는 그걸 주지 않는다. 같은 격차를 세 도메인에서 정량화한다, 일반 개발 39%p, 바이브 보안 30%p(취약 20%→50%), 에이전트 완료 9.2%p(자기보고 100% vs 실제 90.8%). 이어 투명한 시간예산 모델로, 이 독립 측정된 누수들을 복리로 합치면 체감 +43%가 실측 -18%로 뒤집힘을 보인다, 우리가 튜닝한 값이 아니라 METR의 독립 측정 -19%와 정합하는 크기다. 마지막으로 반례: 통제 계층(라우팅·근거·완료 검증·거버넌스)을 넣은 파이프라인은 비용을 66% 낮추면서 실측을 +27%로 회복시킨다. 결론은 방법론적이다, AI 생산성은 도구 선택이 아니라 시스템의 문제다. 이는 종합과 모델이며 새 실험이 아니다, 누수 크기는 실측이고 복리는 명시된 가정을 가진 모델이다.
키워드
- productivity
- AI adoption
- METR
- perception gap
- verification
- control layers
- completion illusion
- vibe coding
- synthesis
- reproducibility