소식 목록

The RAI Pipeline: 엔터프라이즈 AI의 가치는 모델이 아니라 통제 계층에서 나온다

다들 모델 품질로 경쟁하지만, 엔터프라이즈 도입을 가르는 건 모델을 감싼 계층이다. 인증·DLP·RAG·라우팅·캐싱·감사의 5단계를 하나의 합성 함수로 형식화하고, 그 비용 계층을 2026 실가격으로 계산했다. 대표 RAG 요청은 0.0225달러에서 0.0077달러로 65.9% 줄고, 라우팅 단독 46.7%는 실무에서 관측된 '단가 47%↓'를 재현한다. 절감은 두 레버로 완전히 결정되며 전부 공개한다. 가치는 안전 × 정확 × 경제성 × 통제가능성의 곱이라, 어느 계층도 0이면 전체가 0이다. 측정이 아니라 모델이며 이해관계를 명시한다.

엔터프라이즈 AI는 모델 품질 경쟁이고, 가장 좋은 모델을 붙이는 쪽이 이긴다는 편안한 이야기가 있다. 대체로 틀렸다. 도입을 가르는 건 모델이 아니라 그 주변 계층이다. 누가 물어볼 수 있는지, 무엇이 회사 밖으로 나가는지, 답이 회사 진실에 근거하는지, 비용은 얼마인지, 나중에 누가 감사할 수 있는지. 그중 아무것도 없이 가장 좋은 모델만 깔면 Shadow AI가 된다. 개인 계정으로 기밀이 모델사로 새고, 비용은 안 보이며, 답은 사내 문서가 아니라 모델의 일반 지식에서 나온다.

-65.9%
파이프라인의 요청당 비용 절감(대표 RAG 요청)
46.7%
라우팅 단독, 실무 관측 '단가 47%↓'와 일치
5+1
파이프라인 계층; 6번째(출력 검증)는 제안 확장

파이프라인을 함수로 쓰다

프로덕션에서 돌던 파이프라인을 합성 함수로 적는다. 순서가 임의가 아니라 하중을 견디는 구조이기 때문이다.

답변 = 감사( 모델( 라우팅·캐싱( RAG( DLP( 인증·권한(요청) ) ) ) ) )

인증·권한이 반드시 처음이라 신원이 세션에서 나오고, 프롬프트 주입이 테넌트를 못 넘는다. DLP와 RAG는 둘 다 모델 앞에 놓여, 하나는 PII를 못 나가게, 다른 하나는 답을 회사 진실에 고정한다. 라우팅·캐싱은 모델 호출 시점의 비용 계층이다. 감사는 반드시 끝이라 모든 질의·비용을 기록한다. 곱으로 읽으면 가치는 안전 × 정확 × 경제성 × 통제가능성이고, 어느 계층이 0이면 전체가 0이다. 그래서 단일 기능 하나를 베껴도 파이프라인은 복제되지 않고, 해자는 모델이 아니라 그 래퍼다.

달러로 측정되는 한 계층

다섯 중 넷은 논증하고, 하나는 값을 매긴다. 2026 실가격(Sonnet 4.6 3/15달러, 캐시읽기 10%, Haiku 4.5 1/5달러) 기준, 대표 엔터프라이즈 RAG 요청은 전량 프런티어·무캐시면 요청당 0.0225달러다. 반복되는 시스템 프리픽스를 캐싱하면 0.0144달러(−36.0%). 요청의 30%만 프런티어로, 나머지를 저가 티어로 라우팅하면 0.0077달러, 65.9% 절감이 된다. 라우팅 단독은 46.7%로, 실무에서 관측된 '단가 47%↓'에 거의 정확히 떨어진다. 실무의 '최대 60%↓' 주장은 마케팅 과장이 아니라, 대표 가정에선 오히려 보수적이다.

두 레버, 전부 공개

절감은 정확히 두 숫자에 달려 있다. 캐시 가능한 입력 비중(반복 시스템 프리픽스)과 프런티어로 라우팅되는 비중. 둘 다 공개 가격과 감사 로그로 알 수 있다. 그래서 우리는 헤드라인 하나가 아니라 민감도 격자 전체를 공개한다. 읽는 사람이 자기 워크로드를 찾아 자기 절감률을 읽게.

한 줄. 엔터프라이즈 AI의 가치는 교체 가능한 부품인 모델이 아니라, 그 주변에서 인증하고 가리고 근거를 대고 라우팅하고 감사하는 파이프라인이다. 비용 계층 하나만으로도 실무의 숫자를 공개 가격으로 재현하고, 나머지 가치(안전·근거·거버넌스)가 '도구를 깐다'를 '업무에 접목한다'로 바꾼다.

정직한 공백: 출력측이 비어 있다

파이프라인은 입력측을 방어한다. DLP는 들어가는 걸 가리지만, 나오는 걸 검증하는 건 없다. 모델이 컨텍스트의 PII를 답으로 흘리거나 출처를 날조하면 지금 다섯 계층은 못 잡는다. 그래서 6번째, 출력 검증(출력 DLP + 인용 검증)을 제안한다. 우리 완료착시·자기선호 연구가 거듭 도달한 결론과 같다. 모델의 자기보고를 믿지 말고 시스템이 검증하라. 남은 두 가정(캐시 비중·라우팅 믹스)은 바로 감사 로그가 측정하는 값이고, 그렇게 이 모델은 측정이 된다.