서버에서 Disk 데이터를 DRAM으로 가져와 CPU가 연산하는 흐름 : (단순 Flow) Disk → DRAM → CPU(연산)
-
Disk Controller가 DMA를 사용해 Disk 데이터를 DRAM으로 데이터를 옮기고, CPU는 DRAM에 올라온 데이터를 Cache로 읽어와 연산.
-
흐름
**Application** → read() / mmap() **→ Linux Kernel** → Page Cache 확인 → Disk I/O 요청 생성 **→ NVMe/SATA (Disk) Controller** **→ DMA로 Disk Data를 DRAM에 적재 # Disk -> DRAM** **→ CPU가 DRAM에서 데이터를 읽어 Cache로 가져옴 # DRAM -> CPU** → CPU Core가 연산 → 결과를 Register/Cache/DRAM/File로 저장- 글 서술 시, 쉬운 이해를 위해 CPU 내부에 L1/L2/L3 Cache 와 Register 생략하고 CPU로 표현합니다.
-
(참고) DMA Direct Memory Access 역할
- Disk Controller가 CPU를 거치지 않고 DRAM에 직접 데이터를 씀 ⇒ 대량 데이터 이동은 Controller가 하고, CPU는 제어와 연산에 집중.
- DMA없을 경우 ⇒ CPU가 Disk Controller에서 데이터를 하나씩 읽고 DRAM에 써야 합니다. CPU가 데이터 복사 작업에 계속 묶임.
GPU를 사용하는 코드 실행 시, CPU/GPU 연산 흐름 : Disk → DRAM → CPU → PCIe/NVLink → GPU Memory → GPU(연산)
-
(약식) 구성 요소 : Disk - DRAM - CPU - PCIe/NVLink - GPU - GPU Memory
https://docs.nvidia.com/cuda/cuda-programming-guide/01-introduction/programming-model.html
-
Disk → System DRAM → CPU → PCIe → GPU Memory → GPU(연산) ⇒ (결과 리턴) GPU Memory → PCIe → DRAM → CPU
- Disk → DRAM : dataset, model weight, checkpoint 같은 데이터가 디스크에서 서버 메인 메모리인 System DRAM으로 올라온다.
- DRAM → CPU : CPU가 DRAM에 있는 데이터를 읽어서 전처리, batch 구성, tensor 생성, 실행 흐름 제어를 한다.
- CPU → PCIe : CPU가 GPU 연산을 요청하고, 필요한 tensor를 GPU 쪽으로 보내기 위해 PCIe 전송을 시작한다.
- PCIe → GPU Memory : 입력 tensor나 model weight가 PCIe를 통해 GPU 전용 메모리로 복사된다.
- GPU Memory → GPU(연산) : GPU가 GPU Memory에 있는 데이터를 읽어서 GPU kernel을 실행한다.
- GPU → (결과 리턴) GPU Memory : GPU 연산 결과는 다시 GPU Memory에 저장된다. 다음 layer나 다음 GPU kernel이 있으면 CPU로 돌아가지 않고 HBM 안에서 계속 이어진다.
- GPU Memory → PCIe → DRAM → CPU : 최종 결과를 CPU가 필요로 하면 GPU Memory의 결과가 PCIe를 통해 DRAM으로 복사되고, CPU가 그 값을 읽어서 출력, 저장, 후처리를 한다.
-
요약
- 입력 준비: Disk → DRAM → CPU
- GPU로 전달: CPU → PCIe → GPU Memory
- GPU 연산: GPU Memory ↔ GPU
- 결과 회수: GPU Memory → PCIe → DRAM → CPU
-
정리
-
Disk 데이터는 CPU DRAM 옮겨가고, 다시 GPU Memory로 옮겨간 후, GPU 내부로 옮겨간 후 GPU가 연산 수행!
출처 toss tech : https://toss.tech/article/securities_llm_2
-
