AIXX 백과사전 › 기술 개념 › Tensor Core 텐서 코어
Tensor Core는 NVIDIA Volta 아키텍처(2017)에서 도입된 전용 행렬 연산 유닛입니다. 각 Tensor Core는 한 클럭 사이클에 4×4 행렬 곱셈을 한 번 수행합니다. 해결하는 문제는 하나입니다. 딥러닝의 핵심 연산은 행렬 곱셈(GEMM)이고, 범용 CUDA 코어로 행렬 곱을 처리하면 효율이 낮기 때문에 Tensor Core가 이를 위해 전용으로 설계되었습니다.
세대마다 Tensor Core가 지원하는 정밀도는 계속 진화해 왔습니다. 1세대(Volta) FP16, 2세대(Turing) INT8/INT4, 3세대(Ampere) BF16/TF32, 4세대(Hopper) FP8, 5세대(Blackwell) FP4. 세대가 올라갈 때마다 새로운 정밀도는 '같은 면적에 더 많은 연산력을 담는 것'을 가능하게 했고, 이것이 B300의 FP4 연산력이 폭발적으로 증가한 근본적인 이유이기도 합니다.
| 항목 | 수치 / 기준 |
|---|---|
| 5세대(Blackwell) | FP4/FP6/FP8/FP16/BF16/TF32/FP64 |
| FP4 연산력(B300) | 약 15 PFLOPS dense / sparse는 그 이상 |
| FP8 연산력(H100) | 3,341 TFLOPS(sparse) |
| 세대 수 | 5세대(Blackwell) |
B300의 5세대 Tensor Core는 FP4와 FP6 정밀도를 네이티브로 지원합니다. 대규모 모델 추론은 FP4까지 양자화해도 정밀도 손실이 거의 없으며, 이는 같은 실리콘 면적에 FP8 대비 2배의 연산력을 담을 수 있다는 의미입니다. 구매자가 스펙을 볼 때 주의할 점은 NVIDIA가 표기하는 FP4 연산력은 sparse 기준이라는 것이며, dense 기준으로는 절반입니다. 실제 추론 처리량은 프레임워크의 양자화 지원 수준(TensorRT-LLM / vLLM 등)에 좌우됩니다.