Generative AI의 tech stack

12 min readFeb 20, 2023

Metaverse가 지고 Generative AI가 뜨고 있다. Covid-19 시작과 함께 비대면에 대한 관심이 높아지면서 세간의 이목을 집중시켰던 Metaverse는 Covid-19의 엔데믹화와 함께 관심을 잃고 있는 반면, 2022년 말 ChatGPT 발 Generative AI에 대한 대중의 관심은 Metaverse를 크게 앞서고 있다.

Metaverse vs ChatGPT. source: google trend

이와 같은 분위기를 반영하듯 Metaverse를 외치던 기업들의 대규모 손실 및 투자 축소, 정리해고가 단행되었다.

그렇다면 ChatGPT발 Generative AI도 Metaverse와 같은 길을 걷지 않을까?라는 의문이 들지도 모른다. 하지만 이미 ChatGPT가 AI hype 사이클 중 peak에 이르렀지만 회의론자들 조차 Generative AI의 유용성에 대해선 부정하지 않는 것으로 보인다.

그렇다면 하락의 길을 걷는 Metaverse와 달리 떠오르고 있는 ChatGPT는 무슨 차이점이 있을까? CNBC의 기사(The ChatGPT AI hype cycle is peaking, but even tech skeptics don’t expect a bust.)는 이를 한 문장으로 요약하고 있다.

Unlike the metaverse concept, which had a hype cycle based on an idea still nebulous to many, generative AI as tech’s next big thing is being built on top of decades of existing machine learning already embedded in business processes.
요약하자면, 대중들이 생각하기엔 여전히 모호한 Metaverse와 달리, Generative AI는 이미 잘 알려진 머신러닝 상에 구축되고 있다는 점이다.

2012년 Alexnet의 성공을 시작으로 AI는 10년간의 개발 기간과 숙성기간을 거쳤다. 그동안 조금씩 사람들과 기업들에게 스며들고 있던 AI는 ChatGPT, Midjouney, Lensa AI 등과 같은 Generative AI App이 등장하면서 많은 화제를 일으키고 있다.

이와 같은 Generative AI의 붐은 2020년 GPT-3와 같은 Foundation Model의 등장으로 인해 가능한 것이었다. Foundation model의 등장은 Generative AI가 더 이상 연구 주제가 아니라 실제 문제를 해결하고 모든 산업에서 가치를 창출하는데 사용할 수 있는 실용적인 도구를 제공하는 시대를 열었다.

이로 인해 수백 개의 Startup을 비롯한 AI 기업들이 Generative AI를 활용하여 실질적인 이익을 창출할 수 있는 계기가 마련되었다. Generative AI가 어떻게 수익을 창출할 수 있는지 이해하기 위해선 가장 먼저 Foundation Model을 중심으로 Geneative AI의 tech stack을 이해할 필요성이 있다.

Generative AI의 tech stack 분류

미국의 VC Madrona는 Foundation Model관련 tech stack을 세부적으로 6가지로 나누었다. 이를 다시 크게 나누자면 3가지 (Application, Foundation Model, Infrastructure) stack으로 나눌 수 있다.

1.Application 관련 stack: 자체 모델 파이프라인(“End-to-End Apps”)을 구축하거나, 타사 Generative API을 자체 AI 제품에 통합하는 App

User Apps, End-to-End Apps
Tooling & Data Sources 기업

2.Foundation Model 관련 stack: Foundation Model을 생성, 호스팅, 운영

Foundation Model (Proprietary or Open-source)
Foundation Model OPS

3.Infrastrcuture 관련 stack: Generative AI 모델을 학습/추론하기 위한 infrastructure를 제공

Cloud
Silicon (Compute Resource)

다음은 Generative AI의 tech stack을 구성하는 기업들을 설명한다.

Applications

수 많은 Generative AI App이 B2B, B2C 고객을 유치하며 급속히 성장 중이며 다양한 분야(e.g. 정보 검색, 혼합 모달리티, 학습/추론 효율성)에서 이전에 불가능했던 혁신적인 서비스를 만들 수 있는 기회가 존재한다.

하지만 소수의 Foundation Model 기업의 API에 의존하면서 상대적으로 차별화에 어려움을 겪을 수 있으며 총 수익의 40%~50%가 추론 서비스 비용으로 지출되므로 기타 부대 비용을 고려하였을 때 수익을 남기는 것이 예상보다 어려울 수도 있다.

User Apps & End-to-End Apps

User App 기업: 혁신적인 아이디어와 Foundation Model을 지속적으로 finetuning하여 경쟁 기업과 차별화를 시도할 것으로 예상된다.

End-to-End Apps 기업: 일부 App 기업들은 자체 Foundation Model을 확보하여 App과 Foundation Model을 통합하려는 시도를 진행 중이다.

Tooling

Orchestraion 기업: Foundation Model 용 프레임워크를 사용하면 훨씬 더 광범위한 신규 App 빌더가 Foundation Model 스택에 손쉽게 접근할 수 있다. 다음은 LangChain의 코드 4줄이다. 이와 같은 Foundation Model용 프레임워크는 새로운 App의 생성을 가속화시킨다.

Evaluation 기업: HoneyHive와 HumanLoop는 개발자가 Foundation Model 아키텍처를 반복하고, 프롬프트를 수정하고, 새로운 학습 데이터셋을 필터링 및 추가하고, 특정 usecase에 대한 추론 성능을 개선하기 위해 모델 distillation을 제공하는 기업 사례이다.

Foundation Model (Proprietary or Open-source)

Foundation Model(FM)인 LLM을 구축하고 이를 수익의 주요 흐름으로 상용화하는데 주력하는 회사들로 Generative AI를 상용화하는데 중추적인 역할을 하고 있다. Foundation Model은 또한 IPhone vs Android, Windows vs Linux와 같이 독점적 모델과 오픈소스 모델이 존재한다.

Proprietary FM(e.g. OpenAI, co:here, AI21, Anthrophic, Google)

OpenAI는 Model 기업 중 가장 모범 사례로 ChatGPT를 무료 베타 서비스로 오픈하면서 대중의 주목을 끄는데 대성공하였다. OpenAI는 MS의 대규모 투자를 받아 MS Azure에서 GPT 모델의 독점적 API를 상용화와 호스팅을 진행 중이며 수익 모델을 창출하기 위해 다양한 시도를 하고 있다. (“Open”AI가 Proprietary Model을 제공한다는 것이 한편으로 아이러니한 상황이기도 하다.)

Open-source Model (e.g. Stable Diffusion , Eleuther, GLM130B, OPT, BLOOM, Alexa Teacher Model)

오픈소스 FM 성능은 독점 FM 성능만큼 높지 않았지만, 최근 성능이 점차 향상되었다. Model 기업들이 유사한 데이터셋과 유사한 모델 아키텍처를 사용하면서 모델 성능의 차이가 점차 줄어들면서 독점 및 오픈소스 FM 기업의 경쟁력은 차츰 평준화될 가능성이 있다. 또한 더 중요한 것은 혁신적 기업이 오픈소스인 FM 아키텍처를 확장하고 독점 FM과 차별화된 기능을 구축할 수 있는 유연성이다. (e.g. Runaway)

모델을 오픈소스로 제공하는 Huggingface와 같은 Foundation Model 기업은 고객들을 대상으로 모델 호스팅 서비스를 통해 수익을 창출한다. 왜냐하면 대부분의 기업들은 Foundation Model을 production에 투입하고 확장 가능한 방식으로 제공할 수 있는 역량을 가지고 있지 못한다. 따라서 기업 고객들에게 finetuning 및 호스팅 서비스를 제공하여 수익 창출이 가능하다.

Proprietary FM & Open-source FM 기업 모두 대규모 자본 투자가 필요한 모델 학습과 호스팅을 위해 결국 Infrastructure 기업과 합종 연횡이 필요하다.

Google의 DeepMind는 Google Cloud를 이미 사용하고 있으며 Google은 최근 Anthrophic에 지분 투자를 하면서 Anthrophic은 Google Cloud를 사용하기로 하였다. Stability.ai는 AWS를 기본 클라우드 공급자로 선택하였다.

Foundation Model OPS

Foundation Model은 학습 및 추론을 위한 막대한 양의 컴퓨팅 리소스를 요구하므로 배포 최적화, 학습/추론용 HW, 새로운 데이터 툴링 및 Infrastructure를 제공하기 위한 기업들이 새롭게 등장하였다.

가장 큰 Foundation Model을 학습하는데 1천만$ 이상이 소요될 수 있었지만, DeepMind의 Chinchilla(70B) 모델 및 Beyond neural scaling laws 논문은 강력한 Foundation Model을 50만$ 이하로 학습할 수 있는 가능성을 보여준다.

학습 비용에 비해 추론 비용은 급격하기 절감하는 것은 쉽지 않다. 또한 컴퓨팅 비용의 대부분은 학습이 아닌 추론이 차지하므로 추론 비용은 App 빌더가 선택할 수 있는 Foundation Model을 제한하기 때문에 App 빌더에게 훨씬 더 큰 제약으로 작용한다.

Modal Labs, Beam, Saturn Cloud, Banana와 같은 추론 회사들은 AWS, Azure 또는 GCP와 같은 하이퍼스케일러에서 직접 실행하는 것 보다 더 저렴한 비용으로 추론하는 것이 목표이다.

Infrastructure

Infrastructure관련 기업인 Big-3 Cloud (AWS, MS Azure, GCP)와 GPU 업체인 NVIDIA는 이번 Generative AI발 AI Gold Rush의 최대 수혜자가 될 것으로 전망된다.

Cloud

App 기업과 Foundation Model 기업은 Cloud의 GPU (or TPU)가 반드시 필요하므로 결과적으로 Generative AI 시장의 많은 돈이 Cloud 회사로 들어간다. Big-3 Cloud 외 Coreweave 및 Lambda Labs와 같은 신생 기업이 등장하여 비용, 가용성, 고객 맞춤형 지원으로 Cloud 경쟁에 뛰어들고 있다.

OpenAI는 Foundation Model 기업이 특정 Cloud와 전략적 제휴를 맺고 기존 Cloud 플랫폼에 통합되어 서비스된다면 강력한 시너지를 발휘하는 사례이다. 기존 Cloud 고객은 새로운 플랫폼을 배울 필요없이 seamless하게 Generative AI 서비스를 이용할 수 있어 Cloud 기업과 Foundation Model 기업 모두 win-win 할 수 있다.

Silicon (Compute Resource)

Cloud는 Big-3의 과점 체제라고 하면 실제 FLOPS를 제공하는 가속기는 Google의 TPU, AWS의 inferentia/Trainium을 제외하고 NVIDIA의 GPU가 거의 독점하는 체제이다. 이는 Cloud 사업자간의 동일한 HW 가속기를 사용하므로 비용과 옵션에 따라 App 기업과 Foundation Model 기업이 다른 Cloud 사업자로 언제든 migration이 가능함을 의미한다.

Google와 같이 Apps + Foundation Model + Cloud + Silicon(TPU)을 모두 가지고 있는 기업은 수직 최적화로 비용을 최소화하고 차별화가 가능할 것으로 예측된다. 결국 Infrastructure 기업은 Cloud와 Silicon을 모두 갖추는 것이 유리할 것으로 전망된다.