목차
토스증권의 증권 분석 LLM을 위한 고성능 GPU 클러스터 (2024-07)
원문 정보
- 원문: 고성능 GPU 클러스터 도입기 #1: 요리하라고 해서 왔는데 프라이팬이 없어요
- 매체 · 게시일: 토스 기술 블로그 · 2024-07-19
- 저자: 김진웅 (토스증권 ML Engineer)
- 시리즈 1편입니다. 원문은 다음 글에서 더 자세한 도입기를 다루겠다고 예고하며, 이어지는 2편은 통신 병목과 하드웨어 구성을 다룹니다.
- 원문 내용을 바탕으로 재구성한 요약입니다.
클라우드로 옮기기 어려운 금융 데이터
토스증권이 투자 분석을 맡길 대형 언어 모델(LLM)을 위해 GPU 클러스터를 직접 구축하는 가장 큰 이유는 개인정보 보호입니다. 사용자의 민감한 데이터를 클라우드로 옮기기는 어렵습니다. 올릴 수 있어도 일부 데이터에 그치는 경우가 많고, 민감한 정보에는 마스킹, 일부 삭제, 랜덤값 대체 같은 비식별 조치를 해야 합니다.
클라우드 이용료만 따질 일이 아닙니다. 관련 규제를 검토하고 데이터를 가공하는 데 자원이 더 들며, 추가 절차 때문에 실시간성도 떨어집니다.
외부 API 비용도 제약입니다. 입력·출력 길이와 모델별 기준 가격에 따라 과금되며, 특히 출력이 길수록 비용이 커집니다. 여러 서비스에서 LLM을 적극적으로 호출해 보거나 성능을 높이려고 더 큰 모델을 쓰려 할 때 이 비용이 이용을 제한합니다. 자체 클러스터를 준비하는 데는 이런 비용 효율의 문제도 작용했습니다.
증권 특화 LLM의 바탕이 될 대도서관
토스증권이 원하는 것은 증권 기초 지식을 넘어서는 분석 능력입니다. 주가 변동과 거래량, 경제 지표, 뉴스 기사를 종합해 투자에 쓸 정보를 추출하는 일은 보통 애널리스트가 맡습니다. 수년에서 수십 년의 훈련과 경험이 필요한 작업입니다. 토스증권은 이 분석을 인공지능에 맡길 수 있을지 연구해 왔습니다.
LLM에 기대한 역할도 여기에 있습니다. 텍스트뿐 아니라 표, 그래프, 그림을 학습하고 판별하는 능력을 복잡한 금융 보고서 분석이나 트렌드 예측, 사용자 맞춤형 투자 조언에 활용하려는 구상입니다. 여기서 LLM은 원문의 표기대로 LMM(Large Multimodal Model)까지 포함한 표현입니다.
시중 LLM만으로는 부족했습니다. 대부분 일반 텍스트로 언어 이해와 생성을 학습해 증권 기초 지식은 갖췄지만, 고도화된 분석 능력은 부족하다는 판단입니다. 가장 큰 이유는 증권 데이터를 구축하기 어렵다는 데 있습니다. 양이 방대하고 형태도 다양한 데다 개인정보를 포함해 수집과 사용이 제한됩니다.
토스증권은 ‘대도서관’ 프로젝트로 자체 금융 데이터 해자를 구축하고 있습니다. 경제지표와 금리 등 여러 데이터를 모아 다양한 서비스의 기반으로 삼는 프로젝트입니다. 이 데이터를 LLM에 학습시켜 증권에 특화된 모델을 만들고, 사용자에게 더 정확하고 유용한 금융 정보를 제공하려 합니다.
큰 행렬을 병렬로 계산하는 GPU
이 모델을 학습하고 추론하는 데 GPU가 필요한 가장 큰 이유는 행렬 연산입니다. 딥러닝에는 크기가 몇 만에 이르기도 하는 행렬의 연산이 많이 포함되며, GPU는 대규모 행렬 곱에서 CPU보다 뛰어난 성능을 냅니다.
코어를 구성하는 방식부터 다릅니다. CPU는 소수의 고성능 코어와 상대적으로 큰 L1 캐시를 갖춰 복잡한 제어나 재귀 연산에 적합합니다. GPU는 성능이 낮은 코어를 훨씬 많이 두어 병렬 연산에 유리한 대신, 코어별 컨트롤러와 L1 캐시가 작아 복잡한 제어 작업에는 적합하지 않습니다.
메모리 대역폭도 큽니다. NVIDIA H100은 약 3TB/s로, DDR5 기준 약 40~60GB/s인 CPU와 비교하면 같은 시간에 약 50배의 데이터를 처리할 수 있습니다. 설계 단계부터 AI 워크로드를 고려하는 경우도 많습니다. 혼합 정밀도 연산에 특화된 텐서코어는 행렬 곱을 빠르게 처리해 딥러닝 모델이 높은 정확도를 유지하면서 더 빨리 학습하도록 돕습니다.
초기 GPU가 화면을 초당 수십 번 그리던 때와는 요구가 달라졌습니다. 당시에는 부동 소수점 연산 값이 조금 틀려도 화면을 보는 사람이 알아차리기 어려워 정확도보다 처리량이 중요했습니다. 데이터 처리를 목적으로 하는 현대의 과학 연산용 GPU는 정확한 결과와 다른 CPU/GPU에서의 재현성에도 신경을 씁니다.
GPU 메모리 대역폭과 데이터센터 매출 비중
| 항목 | 값 |
|---|---|
| NVIDIA H100 메모리 대역폭 | 약 3TB/s |
| CPU(DDR5 기준) | 약 40~60GB/s |
| 비교 | 약 50배 |
| NVIDIA 매출 중 데이터센터 비중 | 87%(원문이 쓴 시점의 올해 기준) |
큰 모델과 긴 응답을 감당할 GPU 클러스터
GPU 한 대의 연산 능력만으로 끝나는 이야기는 아닙니다. LLM은 모델 자체가 크기 때문에 학습할 때 여러 GPU 서버를 묶어 대용량 데이터를 함께 학습하는 것이 일반적입니다. 이렇게 여러 GPU 서버를 하나의 네트워크로 연결한 것이 GPU 클러스터입니다.
추론은 단일 GPU 서버로도 가능합니다. 하지만 응답에 걸리는 시간이 길어집니다. 생성형 AI는 한꺼번에 여러 단어를 생성하지 못하므로, 많은 단어를 만들어야 하는 응답이 느려지면 사용자의 서비스 만족도도 낮아집니다. 여러 GPU를 엮어 추론하는 것이 일반적인 이유입니다. 여기에 여러 사용자의 요청이 한꺼번에 들어오는 상황까지 고려해야 합니다.
모델 저장을 기다리는 학습 작업
빠른 GPU를 모아 놓아도 클러스터 전체가 기다리는 순간이 생깁니다. 예를 들어 LLM을 학습하다 주기적으로 모델을 저장할 때, 스토리지의 쓰기 성능이 낮으면 저장을 마칠 때까지 다른 작업을 수행하지 못합니다. 대규모 GPU 클러스터에서 매우 빈번한 문제입니다.
아웃라이어 하나가 전체 클러스터의 성능을 떨어뜨릴 수 있다는 뜻입니다. GPU 하드웨어의 균일성을 유지하고, 성능 테스트로 아웃라이어를 찾아 조치해야 합니다.
연산에 들어가기 전에도 병목이 생길 수 있습니다. GPU에서 처리할 데이터는 먼저 CPU에서 GPU로 보내야 합니다. 데이터가 클수록 전송 시간도 길어지므로, 연산이 아무리 빨라도 데이터를 옮기는 데 시간이 걸립니다. GPU 성능을 충분히 쓰려면 이 전송 시간을 줄이는 전략이 필요합니다.
병렬 처리 코드를 다루는 일도 만만치 않습니다. 데이터 분할과 동기화, 레이스 컨디션을 고려해야 하며, CUDA 같은 프레임워크가 있어도 익히는 데 많은 노력이 듭니다. 특히 디버깅이 어렵습니다. 작업이 순차적으로 진행되지 않아 오류의 원인을 추적하고 재현하기 어렵고, GPU 디버깅 도구도 CPU 도구만큼 성숙하지 않습니다. LLM 학습처럼 여러 GPU와 서버를 묶으면 이 복잡도는 더 높아집니다.
이 요소들을 어떻게 관측하고 해결해 나갔는지는 원문에서 예고한 다음 글의 주제입니다.