AI Agent 시대, 지금부터는 Data의 시간이다

최근 오픈AI, 앤트로픽, 구글 등 글로벌 빅테크 기업들이 FDE(Forward Deployed Engineer) 채용에 사활을 걸고 있습니다. 과거 팔란티어(Palantir)가 최초로 도입해 주목받았던 FDE 개념이 이제 AI 산업 전반으로 급격히 확산되는 분위기입니다.

https://www.aitimes.com/news/articleView.html?idxno=210447

이러한 흐름은 우리에게 중요한 시사점을 던집니다. 바로 실제 기업 현장에서는 AI 시스템을 구축하고 운영하는 것이 여전히 매우 까다롭고 어렵다는 현실을 얘기합니다. 따라서 기술을 제공하는 것을 넘어, 고객사의 비즈니스 현장에 직접 뛰어들어 문제를 해결해 주어야만 AI 기업 간의 치열한 고객 확보 경쟁에서 살아남을 수 있게 된 것입니다.

그동안 우리가 접했던 수많은 혁신적인 AI 적용 사례들은 사실 한정된 영역에서, 이상적으로 잘 정제된 데이터를 활용해 Agent 형태로 구현된 것이 대부분이었습니다. 그러다 보니 복잡다단한 실제 기업 환경에 그대로 적용하기에는 한계가 많았습니다. 이러한 상황에서 기업의 현실적인 문제를 현장에서 직접 진단하고 해결하는 FDE의 역할은 AI 도입의 실질적인 성과를 내기 위한 핵심 열쇠로 떠오르고 있습니다.

AI Product Journey

AI Agent 개발 프로세스와 숨겨진 Effort

FDE의 업무를 포함하여, 기업형 AI Agent를 개발하고 현업에 적용하는 과정은 크게 Workflow 분석 → 데이터 정리 및 연결 → Agent 구현 → Product 형태 운영의 4단계로 나눌 수 있습니다.

그렇다면 전체 개발 과정에서 각 단계가 차지하는 실제 비중(공수)은 어느 정도일까요? 현장의 경험을 바탕으로 제가 추정한 대략적인 비중은 다음과 같습니다.

• 업무 프로세스(Workflow) 분석: 30%
• 데이터 정리 및 연결: 40%
• Agent 구현 및 개발: 10%
• 제품(Product) 관점의 운영: 20%

많은 사람이 AI Agent 자체를 개발하는 데 가장 많은 시간이 걸릴 것이라고 오해하지만, 현실은 정반대입니다. 왜 이런 비중이 나타나는지 각 단계별 이유를 살펴보겠습니다.

1. Workflow 분석 (30%) – 드러나지 않은 암묵지 자산화

AI 도입의 목적을 명확히 하고 실질적인 성과를 내기 위해 반드시 필요한 단계입니다. 하지만 사내 업무 프로세스는 직원들의 경험 속에 '암묵지' 형태로 존재하는 경우가 많아, 이를 전체 혹은 특정 영역에서 명시적인 가이드라인으로 파악하고 유형화하는 데 상당한 시간과 노력이 소요됩니다.

2. 데이터 정리 및 연결 (40%) – 가장 어렵고 많은 노력이 필요한 핵심 영역

기업이 자체적으로 체력을 갖추어야 할 가장 기본적이면서도 고난도의 영역입니다. 사내에 필요한 데이터가 어디에 있는지 확인하는 것부터 시작해, 흩어진 데이터를 수집하고, 파이프라인을 구축하며, 데이터 품질과 보안을 확보하는 일까지 가장 많은 에너지가 투입됩니다.

3. Agent 개발 (10%) – 고도화된 개발 환경 덕분에 가장 낮은 비중

최근 거대언어모델(LLM)의 성능이 비약적으로 좋아지고, 개발 프레임워크와 환경이 극적으로 발전했습니다. 덕분에 외부 툴(Tool)을 활용해 쉽고 빠르게 Agent 형태로 도입 및 개발을 할 수 있게 되어, 전체 프로세스 중 공수 비중이 가장 낮다고 할 수 있습니다.

4. Product 운영 (20%) – 단순 PoC를 넘어선 실전 체계 구축

초기 개념 검증(PoC) 단계에 머무는 것이 아니라, 실제 비즈니스 현장에서 의사결정을 지원하고 실행(Action)할 수 있는 서비스 형태로 안착시켜야 합니다. 이를 위해서는 제품 관점에서의 철저한 기획과 체계적인 운영 인프라 구축이 필수적입니다.

왜 지금 '데이터의 시간'인가? 

앞서 살펴본 것처럼 AI Agent 개발에서 가장 큰 비중을 차지하는 것은 데이터 정리와 연결(40%)입니다. 그렇다면 왜 이 작업이 이토록 중요하며, 무엇이 기업들을 어렵게 만드는지 조금 더 깊이 살펴보겠습니다.

첫째, 데이터 거버넌스의 부재와 관리의 복잡성

AI에 활용할 목적에 맞는 데이터를 확보하는 것이 모든 것의 시작입니다. 하지만 많은 기업이 데이터 거버넌스 체계의 부재, 시스템 파편화, 관리 주체의 다원화 등으로 인해 데이터의 존재 여부를 확인하고 안정적으로 확보하는 데에만 엄청난 시행착오와 노력을 겪고 있습니다.

둘째, 'AI-Friendly' 데이터 구조화와 메타정보의 중요성

기업 내에는 정형 데이터뿐만 아니라 문서, 도면 등 수많은 비정형 데이터가 혼재해 있습니다. 이를 AI가 정확히 이해할 수 있는 최소한의 수준으로 구조화하고 정보(Context)를 제공해야 하며, 특히 메타정보(Metadata) 정리가 치명적으로 중요합니다. 사람이 이해할 수 있는 데이터라고 해서, AI도 당연히 이해할 수 있을 것이라 착각해서는 안 됩니다.

셋째, 비즈니스 맥락(Context)을 반영한 데이터 연결

기업의 복잡한 현실 데이터를 정확한 맥락(Context) 속에서 연결하는 작업이 필요합니다. 동일한 데이터라 할 수 있어도 비즈니스 상황과 흐름에 따라 전혀 다른 의미를 지닌 데이터와 연결되기 때문입니다. 이 과정은 결국 현업의 암묵적인 업무 지식을 데이터 형태로 유형화하는 작업입니다. 따라서 업무 프로세스에 대한 깊은 도메인 이해와 데이터 자체에 대한 전문성이 동시에 요구됩니다.

마지막으로, 끊임없이 반복되는 지속성의 문제

위에서 언급한 데이터 확보, 구조화, 맥락 연결의 과정은 새로운 AI Agent 과제나 사례가 등장할 때마다 매번 반복적으로 수행되어야 합니다. 물론 프로세스 분석이나 Agent 개발, Product 운영 등 다른 영역도 반복적인 성격을 띕니다. 그러나 이 영역들은 방법론이 체계화되고 통합 환경(플랫폼)이 구축되면 점차 자동화되거나 효율화하기가 상대적으로 수월합니다. 반면 데이터는 비즈니스 영역의 방대함과 고유성, 그리고 품질 수준의 편차가 너무나 크기 때문에 체계화가 되더라도 지속적이고 끊임없는 정제 작업이 요구되는 영역입니다.

결론

AI Agent 시대의 진정한 차별화는 단순히 더 좋은 모델을 쓰는 것에서 오지 않습니다. 기업 내부의 정제되고 잘 준비된 데이터가 실제 운영 환경에서 막힘없이 흐르고 작동하도록 만드는 것, 그것이 AI 도입의 성패를 가르는 본질입니다. 결국 AI Agent라는 화려한 기술의 중심에는 단단한 '데이터'가 버티고 있어야 합니다. 기업의 데이터를 어떻게 AI-Friendly하게 관리하고 연결할 것인지 진지하게 고민해야 할 '데이터의 시간'입니다.