IOV LABSAI 도구는 다 써볼 수 없을 만큼 많고, 쓰면 빠르게 느껴진다. 그래서 도입하면 생산성이 오른다고 자연스레 가정한다. 그러나 우리가 가진 가장 엄밀한 측정은 정반대를 말하고, 그 격차는 무시하기엔 너무 커서 설명할 가치가 있다.
신기루
METR의 2025년 무작위대조시험에서, AI를 쓴 숙련 오픈소스 개발자들은 자신이 20% 빨라졌다고 추정했다. 시계로 재보니 19% 느렸다. 도구를 안 준 게 아니라, 최신 도구를 주고 잰 결과다. 체감과 실제 사이 39%p 격차. 우리는 이 격차를 생산성의 신기루라 부른다.
이 연구의 주장은 신기루가 METR만의 특이현상이 아니라는 것이다. 그것은 하나의 반복 구조이고, 우리가 보는 곳마다 나타난다.
하나의 프레임: 도구는 만드는 값만 낮춘다
어떤 업무든 만드는 단계(초안·코드·문서)와 그걸 성과로 바꾸는 단계(실제 업무에 연결, 정확성 검증, 위험 통제)로 나눠보라. AI 도구는 만드는 단계를 극적으로 싸게 하고, 그래서 빨라진 것처럼 느껴진다. 그러나 실측 생산성은 뒷단에서 결정되고, 도구는 뒷단을 주지 않는다. 오히려 만드는 게 싸고 많아지면 뒤에서 검증·수정할 양이 늘어난다. 신기루는 정확히 이 격차다.
세 도메인, 같은 격차
우리는 이미 뒷단을 세 개의 다른 연구에서 측정해뒀다. 나란히 놓으면 같은 모양이다. 일반 개발에선 METR의 39%p 격차. 바이브 코딩 보안(The Vibe Tax)에선 빠르게만 요청하면 취약률이 20%에서 50%로 오르고 스캐너는 실취약을 하나도 못 잡았다, 다 됐다는 느낌과 안전함 사이 30%p 격차. 에이전트 완료(The Completion Illusion)에선 에이전트가 100% 완료했다고 자기보고했지만 실제론 90.8%였다, 주장과 실제 사이 9.2%p 격차.
누수를 복리로 넣으면 반전이 재현된다
이것들이 하나의 현상이라면, 우리가 측정한 누수들을 복리로 합쳤을 때 METR의 반전이 나와야 한다. 투명한 시간예산 모델을 만들었다: 업무는 1단위, AI가 만드는 하위단계를 빠르게 하고, 측정된 각 누수(허위완료 7.4%, 보안 재작업 30%p, 그리고 비근거·컨텍스트 전환)가 재작업을 더한다. 만드는 가속만 보면 체감 +43%다. 측정된 누수를 복리로 넣으면 실측 -18%로 내려간다. 우리는 이 숫자에 맞추지 않았다, METR가 독립적으로 측정한 -19%와 우연히 일치한다. 우리 누수들은 그 반전을 설명하기에 딱 맞는 크기다. 이는 인과의 증명이 아니라 크기의 정합 논증이며, 그렇게 명시한다.
해결은 더 조심하기가 아니라 시스템이다
신기루가 도구의 속성이 아니라 통제의 부재라면, 통제를 넣으면 같은 도구로 실측이 회복돼야 한다. 우리의 RAI 파이프라인 연구가 그 반례다. 라우팅·근거·완료 검증·거버넌스를 시스템 계층에 넣으면 같은 시간예산 모델이 -18%에서 +27%로 움직이고, 비용은 66% 준다. 핵심은 더 좋은 개별 도구가 아니다. 만든 산출물을 성과로 바꾸는 연결·검증·통제 계층을 세우는 것이다. 이는 바이브 세금·완료착시가 각각 스스로 도달한 결론과 정확히 같다: 답은 더 조심하라가 아니라 시스템이다.
한 줄. AI 생산성의 병목은 도구가 아니다. 도구는 이미 만드는 값을 싸게 만들었고, 그래서 모두가 빨라졌다고 느낀다. 실측 생산성은 연결·검증·통제에서 나오며, 이걸 시스템으로 세우지 않으면 체감만 오르고 숫자는 내려간다. 다음 경쟁은 도구를 고르는 게 아니라, 도구를 성과로 바꾸는 시스템에서 벌어진다.
종합과 모델이며 새로운 실험이 아니다. 네 누수 크기는 실측이고(셋은 우리, 하나는 METR), 복리는 명시된 가정을 가진 투명한 모델이다. RAI는 저자가 운영하는 제품으로 공개하며, 여기서는 반례로만 쓰였고 그 반례는 파이프라인 없이 모델만으로 재현된다.