[AI] AI 에이전트 시대, GPU 다음 인프라는 무엇일까

핵심 요약
생성형 AI가 질문에 답하는 챗봇을 넘어 실제 업무를 수행하는 AI 에이전트로 발전하면 필요한 인프라도 달라진다. 모델 추론을 담당하는 GPU뿐 아니라 작업 실행을 조율하는 CPU, 외부 시스템과 연결하는 통신 플랫폼, 데이터를 빠르게 저장·불러오는 메모리와 스토리지의 중요성이 커진다.

AI가 '답변'이 아니라 '행동'하기 시작했다

지금까지 생성형 AI의 대표적인 사용 방식은 비교적 단순했다. 사용자가 질문을 입력하면 모델이 내용을 처리하고 텍스트·이미지·코드 같은 결과물을 생성한다.

하지만 AI 에이전트는 여기서 한 단계 더 나아간다. 사용자가 목표를 전달하면 필요한 작업을 여러 단계로 나누고, 브라우저를 열거나 데이터를 조회하고 API를 호출하며 실제 애플리케이션을 이용해 작업을 수행하는 방향으로 발전하고 있다.

기존 생성형 AI
질문 → 모델 추론 → 답변 생성

AI 에이전트
목표 입력 → 계획 수립 → 검색 → 프로그램 실행 → API 호출 → 결과 확인 → 필요하면 재시도 → 최종 작업 완료

영상의 핵심 논지는 바로 이 차이에서 출발한다. AI가 실제 업무를 수행하기 시작하면 데이터센터 역시 단순히 GPU를 많이 배치하는 구조만으로는 충분하지 않다는 것이다.

1. 왜 AI 에이전트 시대에는 CPU가 중요해질까?

GPU는 대규모 행렬연산과 모델 추론에 매우 강하다. 반면 AI 에이전트가 수행하는 모든 작업이 GPU 연산인 것은 아니다.

예를 들어 AI가 항공권을 조사한다고 생각해보자.

GPU가 잘하는 일

언어 이해, 추론, 답변 생성, 모델 연산

CPU가 담당하는 일이 많은 영역

브라우저 실행, 프로그램 관리, API 호출, DB 접근, 파일 처리, 작업 스케줄링

즉 AI 에이전트는 하나의 모델을 한 번 실행하는 것이 아니라 여러 시스템을 지속적으로 연결하고 관리해야 한다.

이 과정에서 중요한 개념이 오케스트레이션(Orchestration)이다. 어떤 작업을 먼저 수행할지 결정하고, 프로그램을 실행하고, 결과를 확인하고, 오류가 발생하면 다시 시도하는 전체 실행 흐름을 관리한다.

영상에서는 이러한 변화로 인해 AI 데이터센터에서 CPU의 역할이 과거보다 커질 가능성을 강조한다. AMD EPYC, Intel Xeon 같은 서버 CPU뿐 아니라 Arm 기반 서버 CPU도 이 흐름과 연결해서 볼 수 있다.

2. AMD·Intel·Arm은 같은 CPU 회사가 아니다

AI 에이전트 인프라라는 하나의 흐름 안에서도 AMD, Intel, Arm은 서로 다른 위치에 있다.

기업	주요 위치	AI 인프라에서 보는 포인트
AMD	서버 CPU + AI GPU	EPYC CPU와 Instinct GPU를 함께 공급할 수 있는 시스템 사업 구조
Intel	기존 x86 서버 CPU 강자	대규모 기존 서버 생태계와 데이터센터 설치 기반
Arm	CPU 아키텍처 IP	AWS·빅테크의 자체 서버 CPU 설계 확대 시 라이선스 생태계 성장 가능성

특히 Arm은 AMD나 Intel처럼 동일한 방식으로 CPU를 판매하는 회사가 아니다. CPU 설계에 필요한 아키텍처와 IP를 라이선싱한다.

따라서 AWS Graviton처럼 클라우드 기업이 자체 데이터센터 CPU를 설계하는 흐름이 확대되면, 그 자체가 Arm 생태계 확장으로 이어질 수 있다.

3. AI가 실제 세상과 연결되면 통신 인프라도 필요하다

AI 에이전트가 컴퓨터 내부에서만 움직이는 것은 아니다. 실제 사용자를 상대하려면 문자, 전화, 이메일, 메신저 같은 외부 통신 시스템과 연결되어야 한다.

영상에서는 이를 설명하기 위해 Twilio와 Bandwidth 같은 CPaaS·통신 인프라 기업을 예로 든다.

CPaaS란?
Communications Platform as a Service의 약자로, 개발자가 전화·문자·인증·메시징 등의 기능을 API 형태로 애플리케이션에 연결할 수 있도록 제공하는 플랫폼이다.

기존에는 사람이 만든 서비스가 문자나 전화를 보내는 구조였다면, 앞으로는 AI 에이전트 자체가 고객에게 전화를 걸고, 상담 내용을 기억하며, 필요할 경우 인간 상담원에게 연결하는 구조도 가능하다.

따라서 AI 사용량의 증가가 단순히 GPU 사용량 증가로만 끝나지 않고 API 호출량 → 음성 트래픽 → 메시징 트래픽 → 통신 인프라 사용량으로 확장될 수 있다는 것이 영상의 관점이다.

4. AI 에이전트가 많아질수록 데이터 저장 문제가 커진다

에이전트는 한 번 답하고 끝나는 AI보다 훨씬 많은 상태 정보를 관리해야 한다.

• 이전에 사용자가 했던 요청
• 현재 진행 중인 작업 상태
• 검색해서 확보한 정보
• 프로그램 실행 결과
• 다른 에이전트와 주고받은 데이터
• LLM 추론 과정에서 사용하는 캐시 데이터

결과적으로 데이터센터에서는 연산 성능뿐 아니라 데이터를 얼마나 빠르게 저장하고 다시 읽느냐가 중요한 병목이 된다.

그래서 HBM, 서버 DRAM, 기업용 SSD, NAND 같은 메모리·스토리지 계층도 AI 인프라에서 중요해진다.

5. HBM과 SSD 사이에는 왜 새로운 메모리 계층이 필요할까?

AI 시스템에서 모든 데이터를 가장 빠른 메모리에 저장하면 이상적이지만 현실적으로는 비용 문제가 있다.

계층	특징	한계
HBM	매우 높은 대역폭	비싸고 용량 확대 비용이 큼
DRAM	빠른 접근 속도	스토리지보다 비용이 높음
SSD / NAND	대용량·상대적으로 저렴함	HBM·DRAM보다 느림

영상에서는 이 간극을 설명하면서 HBF(High Bandwidth Flash)와 같은 새로운 메모리 계층 가능성을 소개한다.

핵심 아이디어는 간단하다.

모든 데이터를 비싼 HBM에 넣는 대신, 자주 필요한 데이터는 빠른 메모리에 두고 대규모 캐시 데이터는 더 저렴한 고대역폭 스토리지 계층에 배치한다.

AI 모델이 커지고 에이전트가 사용하는 컨텍스트와 KV Cache가 증가할수록 이러한 메모리 계층 최적화는 더 중요한 기술 문제가 될 수 있다.

6. 결국 AI 인프라는 하나의 시스템으로 봐야 한다

생성형 AI 초기에는 GPU 성능이 가장 눈에 띄는 병목이었다. 하지만 AI가 에이전트 형태로 발전할수록 시스템 전체를 봐야 한다.

① GPU
모델 추론과 대규모 AI 연산

② CPU
프로그램 실행·API·DB·작업 순서 관리

③ 메모리
모델과 캐시 데이터를 빠르게 공급

④ SSD·스토리지
대규모 데이터를 상대적으로 저렴하게 저장

⑤ 네트워크·통신
서비스·사용자·외부 시스템과 AI를 연결

결국 AI 에이전트 시대의 데이터센터는 GPU 한 종류의 반도체만으로 설명하기 어렵다.

CPU, GPU, 메모리, 스토리지, 네트워크, 클라우드와 API 플랫폼까지 하나의 시스템으로 연결해야 한다.

정리

이번 영상에서 기술적으로 가장 중요한 포인트는 특정 기업의 주가 전망보다 AI 워크로드 자체가 변하고 있다는 점이다.

챗봇은 주로 모델에게 질문하고 결과를 받는 구조였다. AI 에이전트는 모델이 실제 애플리케이션과 데이터를 오가며 지속적으로 일을 수행한다.

그래서 앞으로 AI 인프라를 이해할 때는 단순히 “어떤 GPU가 빠른가?”에서 끝나지 않고 다음 질문까지 봐야 한다.

AI가 하나의 작업을 끝낼 때 CPU·메모리·스토리지·네트워크에는 실제로 어떤 부하가 발생하는가?

이 질문이 AI 에이전트 시대의 데이터센터와 클라우드 구조를 이해하는 중요한 출발점이 될 수 있다.

---

※ 참고
본문에 포함된 기업별 시장점유율·매출·시장전망 등의 수치는 제공된 유튜브 영상에서 제시한 내용을 바탕으로 정리했다. 해당 수치는 투자 추천이나 미래 수익을 보장하는 의미가 아니며, 실제 기업 분석이 필요한 경우 각 기업의 최신 실적자료와 공식 공시를 별도로 확인해야 한다.