OpenAI의 8억 사용자 전략 - 강화 학습 미세 조정과 수직/수평 사업 공존 심층 분석

 

이 내용은 OpenAI 개발자 플랫폼 엔지니어링 팀을 이끄는 Sherman Woo와의 대담 내용을 정리한 것입니다.

---

1. 발표자 Sherman Woo의 배경 및 역할

• 현재 역할: OpenAI 개발자 플랫폼(Developer Platform)의 엔지니어링 팀을 이끌고 있으며, 주력 제품은 API입니다.
• 업무 범위: API 외에도 정부 관련 작업, 특히 로스 앨러모스 국립 연구소(Los Alamos National Labs)와 같은 곳에 모델을 로컬로 배포하는 기밀 슈퍼컴퓨터 관련 업무를 포함하고 있습니다.
• OpenAI 경력: 2022년에 OpenAI에 합류했으며, 약 3년간 개발자 플랫폼에서 일해왔습니다. 당시 API는 OpenAI의 유일한 제품이었습니다.
• 이전 경력: OpenAI 이전에는 부동산 기업 OpenDoor에서 약 6년간 근무하며, 주택 매입 가격을 결정하는 ML 모델을 담당했습니다. 이는 자산 가치가 비싸고(expensive asset) 변동성이 크며 보유 비용이 많이 드는(holding costs are very expensive) 매우 복잡한 기술적 ML 문제였습니다.
• 첫 직장: 대학 졸업 후 첫 직장은 Quora였으며, 뉴스피드 순위(newsfeed ranking) 작업을 했고, 여기서 산업계의 실제 ML을 처음 접했습니다. Quora의 초기 팀은 매우 뛰어난 인재들로 구성되어 있었으며, OpenAI에 합류하게 된 계기 중 하나도 Quora 출신들이 OpenAI에 합류하면서 관련 정보를 얻었기 때문입니다.

---

2. 수직적(ChatGPT) 및 수평적(API) 비즈니스의 공존

• 독특한 구조: OpenAI는 API를 통해 다양한 기업에 서비스를 제공하는 수평적(horizontal) 기업인 동시에, ChatGPT와 같은 자체 애플리케이션을 가진 수직적(vertical) 기업이라는 점에서 매우 이례적입니다.
• 내부 긴장과 사명: 이 두 사업 모델 사이에는 어느 정도 긴장감이 존재하지만 , 창업자들은 'AI를 만들고 그 혜택을 최대한 널리 분배한다'는 OpenAI의 사명(mission)에 따라 두 가지 모두를 추진하고 있습니다.
• 도달 범위:
  • ChatGPT: '퍼스트 파티 앱(first party app)'으로서, 현재 주간 사용자 약 8억 명(전 세계의 10% 수준)이라는 엄청난 도달 범위(reach)를 자랑합니다.
  • API: API를 통한 최종 사용자 도달 범위도 매우 넓으며, 한때는 ChatGPT보다 더 컸을 정도로 광범위합니다.
• 경쟁자 문제: API를 통해 경쟁자가 생길 수 있다는 우려(내부 긴장)는 있지만, OpenAI의 빠른 성장세 덕분에 현재는 큰 문제로 보지 않고 있습니다.

---

3. 모델 전문화와 API의 '끈끈함'

• 모델 추세의 변화: 불과 2~3년 전에는 OpenAI 내부에서도 '모든 것을 지배하는 하나의 모델(one model that rules them all)'이 있을 것이라는 생각이 지배적이었지만 , 이제는 전문화된 모델(specialized models)을 위한 공간이 있으며, 다양한 유형의 모델이 확산될 것(proliferation of other types of model)이 분명해지고 있습니다. 이는 AGI로 나아가는 과정에서 시장이 예상치 못하게 진화한 결과로, AI 생태계 전체의 성장에 긍정적입니다.
• 중개 배제(Disintermediation)의 어려움: 모델의 특성상, 전통적인 컴퓨터 시스템처럼 API 위에 소프트웨어 레이어를 두어 기반 모델 공급자를 숨기거나 쉽게 전환하는 것(중개 배제)이 어렵습니다. 모델이 너무 다루기 어렵기 때문에(unruly), 모델 자체를 사용자에게 노출해야 하는 경향이 있습니다.
• API의 높은 유지율: 이러한 이유로, 모델을 쉽게 교체할 수 있을 것이라는 초기 예상과는 달리, OpenAI API를 사용하는 개발자들의 유지율(retention)이 예상외로 높습니다.
  • 이유: 최종 사용자가 모델 자체의 동작에 익숙해지는 감성적 측면과 , 개발자가 특정 모델 주변에 제품을 구축하고 반복하여 모델과 제품이 고유하게 잘 작동하도록 만들기 때문인 기술적 측면이 모두 작용합니다.

---

4. 모델 미세 조정(Fine-Tuning)의 발전

• 미세 조정의 필요성: 미세 조정 API에 투자한 주요 이유는 모델을 사용자 정의하려는 높은 수요와, 기업들이 보유한 방대한 양의 '데이터 보물 창고(giant treasure troves of data)'를 AI 물결에 활용하고자 하기 때문입니다.
• 강화 학습 미세 조정(RFT)의 도입:
  • 초기 지도 학습 미세 조정(SFT)은 주로 명령어 따르기(instruction following)나 톤 변경 등 제한적인 개선에만 유용했습니다.
  • 최근의 '큰 진전(big unlock)'은 강화 학습 미세 조정(RFT, Reinforcement Fine-Tuning)의 도입입니다. 이는 더 까다롭지만, 사용자가 데이터를 훨씬 더 많이 활용하여 특정 사용 사례에 대해 최첨단(SOTA) 수준으로 모델을 개선할 수 있도록 패러다임을 변화시켰습니다.
• 데이터 활용 방식: 미세 조정 API는 장기간 축적된 오프라인 데이터와 제품 사용 중 실시간으로 얻는 데이터(온라인 학습) 모두를 처리하는 것을 목표로 했으나, 실제로는 오프라인 데이터로 모델을 학습하는 방식이 주로 사용되고 있습니다.
• 데이터 공유 인센티브: OpenAI는 고객이 데이터를 공유하는 것에 동의할 경우, 강화 학습 미세 조정 API 사용 시 추론(inference) 할인을 제공하거나 잠재적으로 무료 학습(training)을 제공하는 가격 책정 정책을 시범 운영하고 있습니다.

---

5. 기타 주제

• 프롬프트 엔지니어링에 대한 관점 변화: 2022년에는 모델이 충분히 발전하여 프롬프트 엔지니어링이 필요 없어질 것이라는 견해가 있었으나 , 실제로 필요성이 사라지지 않으면서 업계의 관점이 바뀌었습니다.
• 오픈소스 모델 (GPOSS): OpenAI는 GPOSS를 오픈소스로 공개했는데, 이는 AI 생태계 전반의 성장을 돕고(rising tide) 궁극적으로 OpenAI에도 도움이 될 것이라는 판단 때문입니다.
  • 오픈소스 모델은 API 비즈니스와 고객층 및 사용 사례가 달라 사업적 충돌(cannibalization risk) 위험이 매우 낮습니다.
  • 또한, GPT-5와 같은 대규모 모델의 경우, OpenAI가 제공하는 수준의 확장성, 속도, 성능을 갖춘 추론(inference)을 자체적으로 구현하기가 매우 어렵다는 기술적 장벽이 존재합니다.
• 이미지 및 텍스트 모델 인프라: 이미지 모델(예: Sora)과 언어 모델을 같은 회사에서 운영하는 것은 일반적으로 비효율적인 방식(anti-pattern)으로 여겨지지만 , OpenAI는 리서치 팀의 뛰어난 역량과 인프라를 분리하여 운영하는 방식으로 이를 해소하고 있습니다. 이미지 모델의 추론 스택(inference stack)은 텍스트 모델과 다르게 운영되며, 이미지 팀이 자체 스택을 더 많이 소유하고 최적화합니다.