대규모 GPU 클러스터를 구축할 때, 단순히 GPU 수량만 늘린다고 성능이 비례해서 올라가지 않습니다. 네트워크, 전력, 스토리지, 소프트웨어, 운영 다섯 가지 영역을 통합적으로 설계해야 실제 워크로드에서 기대 성능을 달성할 수 있습니다.
이 글에서는 엠키스코어가 국내 주요 기업의 GPU 클러스터를 구축하면서 축적한 노하우를 바탕으로, 각 영역에서 반드시 점검해야 할 핵심 체크포인트를 정리합니다.
1. 네트워크 토폴로지
분산 학습에서 가장 큰 병목은 GPU 간 통신입니다. InfiniBand 또는 RoCEv2 기반의 고속 네트워크를 구성하되, Fat-tree 토폴로지를 기본으로 설계해야 어떤 노드 조합에서도 균일한 대역폭을 보장합니다.
실무 팁: 400G HDR InfiniBand 기준, 스파인-리프 구조에서 오버서브스크립션 비율을 1:1로 유지하면 대규모 All-Reduce 연산에서 성능 저하를 최소화할 수 있습니다.
네트워크 설계 시 고려할 주요 항목:
- 대역폭: GPU당 최소 200Gbps 이상의 전용 패브릭
- 레이턴시: 스위치 홉 수를 최소화하는 토폴로지 선택
- 확장성: 향후 노드 추가를 고려한 포트 여유
- 이중화: 스파인 스위치 장애 시에도 서비스 연속성 보장
2. 전력 및 냉각 설계
최신 GPU 서버 1대(HGX H100 8-GPU 기준)의 최대 전력 소비는 약 10.2kW에 달합니다. 100노드 클러스터라면 GPU 서버만으로 1MW 이상의 전력이 필요합니다.
전력 인프라 체크리스트
- UPS 용량을 피크 전력의 120% 이상으로 설계
- PDU 분기별 부하 밸런싱 검증
- 비상 발전기 절체 시간 10초 이내 확보
냉각 방식 선택
GPU 밀도가 높아지면서 전통적인 공랭 방식으로는 열 관리가 어려워지고 있습니다. DLC(Direct Liquid Cooling) 방식은 GPU 발열의 80% 이상을 액체로 직접 제거하여, 랙당 전력 밀도를 2배 이상 높일 수 있습니다.
3. 스토리지 아키텍처
AI 학습 데이터의 I/O 병목을 해소하려면 병렬 파일시스템이 필수입니다. Lustre, GPFS(Spectrum Scale), 또는 WekaFS를 워크로드 특성에 맞게 선택합니다.
벤치마크 결과: 동일 스토리지에서 파일시스템만 변경했을 때, 이미지 학습 데이터 로딩 속도가 최대 3.2배 차이가 났습니다.
체크포인트 저장을 위한 고속 NVMe 티어와, 대용량 데이터 보관을 위한 HDD 티어를 계층화하여 비용 효율성을 확보하는 것이 일반적입니다.
4. 소프트웨어 스택
하드웨어 성능을 100% 끌어내려면 소프트웨어 스택의 최적화가 동반되어야 합니다.
- OS: Ubuntu 22.04 LTS + NVIDIA GPU Driver 최신 안정 버전
- CUDA Toolkit: 워크로드 프레임워크와 호환되는 버전 고정
- 컨테이너 런타임: Enroot + Pyxis 조합으로 GPU 패스스루 간소화
- 작업 스케줄러: Slurm 기반, 멀티테넌시 지원
# Slurm 멀티노드 학습 작업 제출 예시
srun --nodes=4 --ntasks-per-node=8 --gpus-per-task=1 \
--container-image=nvcr.io/nvidia/pytorch:24.01-py3 \
python train.py --distributed5. 운영 모니터링 체계
구축 이후의 안정적 운영이 인프라 투자 가치를 결정합니다. GPU 온도, 메모리 사용률, ECC 에러, 네트워크 대역폭 등을 실시간으로 모니터링하고, 이상 징후를 선제적으로 감지해야 합니다.
엠키스코어의 자체 솔루션 M-OWL은 대규모 GPU 클러스터의 통합 관제를 위해 설계되었습니다. 클러스터 전체의 GPU 상태를 단일 대시보드에서 확인하고, 장애 예측 알림을 제공합니다.
GPU 1만 대 이상 규모에서도 실시간 모니터링이 가능하며, 평균 장애 감지 시간을 기존 대비 70% 단축한 사례가 있습니다.
GPU 클러스터 구축은 하드웨어 도입에서 끝나지 않습니다. 네트워크, 전력, 스토리지, 소프트웨어, 운영의 다섯 가지 축을 균형 있게 설계해야 투자 대비 최대 성능을 달성할 수 있습니다.
