1. 우버는 맥싱을 멈춘 게 아니다 저는 지난 6월 사내 발표에서 이런 이야기를 했습니다. “토큰 맥싱은 낭비가 아니라 AX(AI Experience) 비용이다. 조직 내 고숙련자 상위 5명 정도는 ROI를 따지지 말고 충분히 쓰게 해야 한다. 비용 최적화는 AI가 실제 업무와 서비스에 깊게 들어간 뒤 고민해도 된다.” 그런데 두 달 뒤 우버 CTO 프라빈 네팔리 나가(Praveen Neppalli Naga)가 정반대처럼 보이는 말을 꺼냈습니다. “토큰맥싱(tokenmaxxing)의 시대가 끝나가고 있다.” 우버는 올해 초 몇 달만에 연간 토큰 예산을 모두 소진했습니다. 그렇다고 사용을 막진 않았습니다. 최첨단 AI 도구를 사용하는 직원은 연초 대비 4배로 늘었고, 토큰당 비용은 오히려 내려갔습니다. 한 일은 의외로 평범합니다. 캐싱을 늘려 같은 컨텍스트를 반복해서 사지 않았고, 작업에 맞춰 기본 모델과 컨텍스트를 조정했습니다. 엔지니어에게는 사용량과 비용을 보여줬고, 오픈 웨이트를 포함해 더 적합한 모델도 계속 시험했습니다. 저는 이 대목이 재미있었습니다. 우버는 맥싱을 막은 게 아닙니다. 사용자를 4배로 늘려놓고 토큰 단가를 깎았습니다. 토큰 사용을 예산으로 통제하는 대신 비용을 엔지니어링 문제로 바꾼 겁니다. 그러니 ‘토큰맥싱의 종말’이라기보다 다음 단계에 도달했다고 볼 수 있습니다. 2. 지능이 싸지면 무엇이 비싸질까 그런데 우버가 한 일에는 다음 질문이 따라옵니다. "AI를 더 싸게 쓸 수 있게 되면, 기업에는 무엇이 남을까요?" 8월 11일 a16z에 크리스티안 카탈리니(Christian Catalini)가 쓴 「Some Simple Economics of Open versus Closed AI」라는 글이 올라왔습니다.카탈리니의 주장을 제 방식대로 줄이면 이렇습니다. 클로즈드 AI 기업은 가장 범용적인 지능을 만드는 데 막대한 돈을 투자한다. 반면 오픈 웨이트는 그 지능을 각 산업에 흩어진 데이터와 유통망, 암묵지에 결합하는 것을 더 쉽게 만든다. 여기서 오픈 웨이트의 장점은 단순히 싸다는 데 있지 않습니다. 통제권입니다. 클로즈드 모델에서도 기업 데이터를 붙이고 RAG나 툴을 연결할 수 있습니다. 실제로 대부분의 기업은 그렇게 시작할 겁니다. 다만 AI가 회사의 핵심 업무 안으로 깊게 들어갈수록 질문은 달라집니다. • 우리가 쌓은 데이터와 워크플로우는 누구에게 종속되는가. • 모델 공급자가 바뀌어도 우리의 자산은 남는가. • 우리 회사의 중요한 판단 기준을 어디까지 외부 모델 위에 올려도 되는가. 모델 선택이 기술 문제에서 사업 문제로 바뀌는 순간입니다. 3. 싸지는 것은 지능이고, 남는 것은 맥락이다 법률 AI 기업 Harvey를 보면 조금 더 쉽게 이해됩니다. Harvey는 처음부터 자체 기반 모델로 승부한 회사가 아닙니다. 범용 모델 위에서 법률 데이터와 평가 체계, 실제 변호사들의 업무 흐름을 쌓아왔습니다. 올해 초 기업가치 110억 달러를 인정받았고, 당시 이미 고객들이 2만5천 개가 넘는 커스텀 에이전트를 사용하고 있었습니다. 투자금의 주요 용도 중 하나도 고객과 함께 이런 업무를 만드는 리걸 엔지니어링 조직의 확대였습니다. 그리고 8월 18일 Harvey는 첫 자체 법률 모델 Harvey Tenet을 공개했습니다. 앞으로는 고객사의 실제 법률 업무를 반영해 서로 다른 전문 모델을 만드는 방향도 제시했습니다. 저는 이 순서가 중요하다고 봅니다. 먼저 좋은 범용 모델을 가져다 썼습니다. 그 위에서 고객과 함께 현실의 데이터를 모으고, 평가 기준과 워크플로를 만들었습니다. 그리고 이제 그 축적물이 다시 모델로 들어가기 시작했습니다. 결국 모델만으로는 얻을 수 없는 것이 있습니다. 오랫동안 일한 사람의 판단 기준, 기존 시스템에 남은 기록, 고객마다 다른 예외 처리, 문서에는 없지만 회사 안에서는 당연하게 여겨지는 업무 방식 같은 것들입니다. 범용 지능이 싸질수록 이런 맥락의 상대적인 가치는 오히려 올라갑니다. 4. 그래서 이제는 ‘얼마나 쓰느냐’보다 ‘무엇을 태우느냐’다 우버는 토큰의 유효 단가를 낮췄습니다. Harvey는 그 토큰에 태울 자기만의 맥락을 쌓았습니다. 두 사례를 보면서 6월에 했던 제 주장도 조금 수정하게 됐습니다. 저는 여전히 조직 내 고숙련자 몇 명에게는 토큰 비용을 너무 따지지 않는 편이 낫다고 생각합니다. 처음부터 사용량을 통제하면 AI를 어디까지 활용할 수 있는지조차 알기 어렵기 때문입니다. 하지만 이제 목적은 단순히 ‘AI를 많이 써보는 것’에서 한 단계 더 가야 합니다. 그 사람들이 알고 있는 것을 회사의 자산으로 꺼내야 합니다. 어떤 상황에서 어떤 판단을 하는지, 무엇을 좋은 결과라고 보는지, 어디서 예외를 두는지. 이런 것들이 프롬프트와 스킬, 평가 기준, 데이터, 워크플로로 남아야 합니다. 그렇게 보면 고숙련자가 쓰는 토큰은 단순한 사용료가 아닙니다. 조직의 암묵지를 꺼내는 추출비에 가깝습니다. 인터넷에 있는 정보를 다시 요약하는 데 쓰는 토큰과 우리 회사에만 있는 판단 기준을 AI가 활용할 수 있는 형태로 바꾸는 데 쓰는 토큰은 가격은 같아도 가치가 전혀 다릅니다. 그래서 앞으로는 토큰을 몇 개 썼는지만 볼 게 아니라, 그 토큰으로 무엇을 남겼는지도 봐야 한다고 생각합니다. 5. 우리도 이제 그걸 해보려 한다 ARK Point도 AI에 맡기는 일이 늘면서 토큰 비용이 계속 올라가고 있습니다. 그래서 우버가 했던 것처럼 캐시 적중률을 보고, 작업마다 적절한 기본 모델과 컨텍스트를 정하고, 반복되는 업무는 스킬로 만들어볼 생각입니다. 구성원도 자신이 얼마나 쓰는지 볼 수 있어야 합니다. 이건 결국 비용 관리입니다. 제가 더 관심 있는 건 그 다음입니다. 저희가 운영하는 마케팅 자동화만 해도 시간이 지날수록 고객군별 특성, 광고 규칙, 콘텐츠 제작 기준, 이미지 배치 방식, 규제 준수 같은 지식이 쌓입니다. 인터넷을 검색한다고 바로 나오는 정보가 아닙니다. 실제 업무를 하면서 계속 생기는 판단들입니다. 이런 것이 회사 안에서 사람에게만 남아 있다면 AI를 많이 쓴다고 해도 별로 축적되는 게 없습니다. 반대로 그 판단을 데이터와 규칙, 평가 기준, 워크플로로 남길 수 있다면 이야기가 달라집니다. 모델이 바뀌어도 그 자산은 회사에 남습니다. 그래서 저희 스스로와 파트너들에게 던져보려는 질문이 하나 있습니다. AI가 배울만한 할 숨은 데이터, 워크플로, 암묵지를 당신의 회사는 가지고 있는가? 그리고 있다면 하나를 더 물어야 합니다. 그것을 회사의 자산으로 남기고 있는가? 아니면 개인의 머릿속에만 남아 있는가? 범용 지능의 가격은 앞으로도 내려갈 가능성이 높습니다. 그럴수록 중요한 것은 어떤 AI를 쓰는가보다, 그 AI에 무엇을 줄 수 있는가가 될 겁니다. 미래에는 AI가 배워야 할 것을 가진 회사. 그리고 그것을 축적할 수 있는 회사가 남을 것 입니다.