AIXX 백과사전 › 기술 개념 › Scale-up과 Scale-out
Scale-up(수직 확장)과 Scale-out(수평 확장)은 AI 클러스터의 두 계층 상호연결 아키텍처입니다. Scale-up은 '랙 내 확장'으로, GPU 간 NVLink/NVSwitch 고속 풀 인터커넥트로 하나의 도메인을 구성하고(GB200 NVL72의 72-GPU 단일 도메인), Scale-out은 '랙 간 확장'으로, InfiniBand 또는 이더넷으로 여러 랙을 연결해 더 큰 클러스터를 만듭니다.
구매자 관점의 해석: Scale-up은 '랙 내 통신이 얼마나 빠른가'를 결정하고(NVLink 도메인 내 대역폭은 높지만 규모 제한), Scale-out은 '랙 간 통신이 얼마나 빠른가'를 결정합니다(InfiniBand/이더넷 대역폭은 낮지만 확장에는 사실상 제한이 없음). 대규모 모델 학습의 처리량 병목은 대개 Scale-out 계층에 있으며, 패브릭 설계(토폴로지/라우팅/혼잡 제어)가 시스템 통합 업체의 핵심 역량입니다.
| 항목 | 수치 / 기준 |
|---|---|
| Scale-up 인터커넥트 | NVLink / NVSwitch(랙 내) |
| Scale-out 인터커넥트 | InfiniBand / RoCE 이더넷(랙 간) |
| Scale-up 대역폭 | GB200 NVL72 도메인 내 130TB/s |
| Scale-out 대역폭 | ConnectX-8 카드당 800G |
B300 계열의 Scale-up은 NVLink 5(카드당 1.8TB/s·도메인 내 풀 인터커넥트), Scale-out은 ConnectX-8(800G·노드 간 패브릭)을 사용합니다. 완제품 구매 시 두 계층 모두 계획해야 합니다. 랙 내 NVLink 도메인의 규모가 '몇 장의 카드를 한 장처럼 쓸 수 있는가'를 결정하고, 랙 간 패브릭 설계가 '클러스터 확장 효율'을 결정하기 때문입니다.