코드가 완성된 날, 아무 일도 일어나지 않았다 — 펌프와 파이프

"코드가 완성된 날, 아무 일도 일어나지 않았다 — 펌프와 파이프"

어떤 모델을 쓸 것인가. 아키텍처를 어떻게 설계할 것인가. 보안과 거버넌스는 충분한가. 투자 대비 가치를 어떻게 증명할 것인가.

엔터프라이즈 AI를 둘러싼 논의는 점점 정교해지고 있다.

그런데 정교한 논의 사이에서, 프로젝트는 의외로 단순한 곳에서 멈춘다.

RAND Corporation이 2024년에 발표한 The Root Causes of Failure for AI Project에 따르면, AI 프로젝트의 실패율은 80%를 넘는다. 비(非)AI IT 프로젝트의 두 배다. Gartner는 한 발 더 나간다 — AI-ready data가 뒷받침되지 않는 use case의 60%는 폐기될 것. S&P Global의 2025년 서베이 AI & ML Use Cases는 더 직접적이다 — 설문
대상 기업의 42%가 AI 이니셔티브의 대부분을 폐기했다. 전년의 17%에서 뛰었다.

이 숫자들에는 공통점이 있다. 모델이 나빠서 실패한 게 아니다.

데이터가 안 왔다.

패턴은 놀라울 정도로 일관적이다.

PoC는 성공한다. 샘플 데이터로 돌리면 잘 된다. 의사결정자 앞에서 데모하면 고개가 끄덕여진다. "전사 확대하자."

그 다음에 일어나는 일:

• 전사 데이터 요청 → 담당 부서에 공문 → 2주 후 회신 없음
• 유관 시스템 연동 요청 → "검토 중" → 한 달째 검토 중
• DB 스키마 입수 요청 → "보안 검토 필요" → 분기가 바뀜

코드는 돌아가고 있다. 모델은 준비되어 있다. 인프라도 서 있다.

멈춘 건 조직이다.

비유하자면. AI는 펌프다.

좋은 펌프는 넘친다. 분당 처리량은 매 분기 경신된다. 기업들은 더 강력한 펌프를 사는 데 돈을 쏟는다. Menlo Ventures의 2025 State of Generative AI in the Enterprise를 보면, 엔터프라이즈 AI 인프라 지출 $18B 중 모델 API와 학습에 $16.5B, 데이터 오케스트레이션과 관리에는 $1.5B. 비율로 따지면 11:1 펌프에 11을 쓸 때 파이프에 1을 쓴다.

그런데 펌프가 아무리 좋아도, 파이프가 연결되어 있지 않으면 물은 흐르지 않는다.

엔터프라이즈에서 파이프란 이런 것이다:

• 데이터가 어디에 있는지 아는 것
• 그 데이터를 꺼낼 권한이 있는 것
• 그 권한을 가진 사람이 협조할 동기가 있는 것

Gartner의 같은 보고서는 63%의 조직이 AI에 적합한 데이터 관리 체계를 갖추고 있지 않거나, 갖추고 있는지조차 모른다고 말한다. Precisely와 Drexel 대학의 2025 Data Integrity Trends는 더 적나라하다 — AI에 충분한 품질과 접근성을 갖춘 데이터를 보유한 기업은 12%.

펌프는 점점 더 강력해진다. 파이프는 그 자리에 있다.

왜 파이프가 연결되지 않는가.

"데이터를 주세요"라는 요청의 실체를 뜯어보면 이렇다.

"스키마를 공개하라" = 당신의 기술 부채를 드러내라.
"표준에 맞게 정리해 달라" = 당신의 우선순위를 바꿔라.
"다음 달까지 보내 달라" = 당신의 일정을 내가 통제하겠다.

데이터 요청은 기술 요청이 아니라 권한 요청이다. 상대방의 시간, 리소스, 우선순위에 개입하는 것이다. 보안 검토, 일정 협의, 부서장 승인 — 이것들이 느린 이유는 기술적 난이도 때문이 아니다. 그 데이터를 내보낼 동기가 없기 때문이다.

12년째 Fortune 1000 기업 데이터 리더를 추적하고 있는 Wavestone의 Data and AI Leadership Executive Survey는 이렇게 말한다: "데이터 드리븐 조직이 되는 것을 가로막는 장벽은 78%가 문화, 사람, 프로세스, 조직이다." 기술이 아니다.

RAND의 보고서가 꼽은 AI 프로젝트 실패 원인 1위도 모델 성능이 아니다. 비즈니스 리더와 기술팀 사이의 목표 불일치. 2위가 그제서야 데이터 부족이고, 3위가 기술 집착 — "real problems" 대신 "technology"에 매몰되는 것이다.

아이러니를 정리하면 이거다.

GPU 클러스터에 수십억을 쓴다. 파인튜닝에 연구팀을 붙인다. 프롬프트 엔지니어를 채용한다. 그리고 정작 프로젝트가 멈추는 이유는 — 옆 부서가 DB 스키마를 안 줘서.

펌프에 투자하면서 파이프에 투자하지 않는다. 파이프를 놓는 일은 화려하지 않으니까. 파이프를 연결했다고 승진하는 사람은 없으니까. 컨퍼런스에서 "우리 조직의 데이터 거버넌스를 개선했습니다"라고 발표하면 아무도 트윗하지 않으니까.

지난 글에서, AI는 구조화된 것을 즉시 가져간다고 했다. 남는 건 판단이라고.

그런데 넘기는 것에는 전제가 있다. AI에게 건넬 재료 — 데이터 — 가 조직 안에서 흘러나와야 한다. 모델 안에서 태어나지 않는다. 시스템과 시스템 사이, 부서와 부서 사이, 사람과 사람 사이를 지나야 도착한다.

그리고 조직은, 쉽게 흘려보내지 않는다.

기술의 시계와 조직의 시계는 다른 속도로 돌아간다. 모델의 벤치마크는 월 단위로 갱신되지만, 데이터 거버넌스는 분기 단위로도 바뀌지 않는다. 그 간극이 엔터프라이즈 AI 프로젝트가 좌초하는 자리다.

그렇다면 파이프는 어떻게 놓이는가.

모든 엔터프라이즈 AI 프로젝트에는 보이지 않는 역할이 하나 있다. 코드를 짜는 사람도 아니고, 모델을 고르는 사람도 아니다. 부서와 부서 사이를 돌아다니며 데이터를 풀어내는 사람. 기술 언어와 비즈니스 언어를 동시에 쓰는 사람. 이 사람이 없으면 펌프는 공회전한다. 그리고 대부분의 조직에서, 이 역할은 직함에 없다.

이 사람이 하는 일의 본질은 기술이 아니다. 파이프 반대편에 있는 사람이 돌려받을 것을 만드는 일이다. 데이터를 보낸 부서가 더 나은 분석을, 더 정확한 리포트를, 자기 업무의 자동화를 돌려받는 구조. 파이프는 한쪽으로 흐르지 않는다. 양방향으로 흘러야 놓인다. 그 양방향을 설계하는 것이 이 보이지 않는 역할의 실체다.

엔터프라이즈 AI의 진짜 과제는 더 좋은 펌프를 만드는 것이 아니다.

파이프를 놓는 것이다.

그리고 파이프를 놓는 것은, 코드를 작성하는 것보다 훨씬 어렵고, 훨씬 덜 보상받는, 사람과 사람 사이의 일이다.

당신의 AI 프로젝트는 지금 어디에서 멈춰 있는가 — 펌프인가, 파이프인가?