AIXX Pedia › Техническая концепция › Диагностика здоровья и неисправностей видеопамяти
Видеопамять — самый трудолюбивый и самый боящийся жара компонент GPU. Первый урок в оценке её здоровья — механизм ECC (кодов коррекции ошибок). В официальной документации NVIDIA сказано: «однобитовые ошибки автоматически исправляются аппаратно и не приводят к повреждению данных; двухбитовые ошибки обнаруживаются, но не исправляются» — однобитовые (исправляемые) ошибки на ранней стадии деградации чипов незаметны, но неуклонный рост их счётчика — часто предвестник старения микросхем; двухбитовые (неисправимые) ошибки напрямую угрожают корректности вычислений: сбои посреди обучения и деградация результатов инференса могут быть связаны именно с ними.
NVIDIA предусмотрела три уровня защиты от деградировавших ячеек: page retirement (срабатывает при многократных однобитовых ошибках на одной странице или одной двухбитовой — драйвер скрывает сбойную страницу), remapping строк (сбойная строка перенаправляется на резервную; поддерживается начиная с Ampere, по официальной документации NVIDIA бюджет A100 — не более 64 переназначений, H100 — до 512); на уровне самих микросхем начиная с HBM3 встроена ончейн ECC (официальное заявление SK hynix). Как читать показания инструментов — см. статью по проверке карт в этой базе; здесь речь о механике за цифрами.
| Параметр | Значение / формат |
|---|---|
| Однобитовые против двухбитовых | Однобитовые исправляются аппаратно · двухбитовые обнаруживаются, но не исправляются (официальное руководство nvidia-smi NVIDIA) |
| Две системы отсчёта счётчиков | Волатильные (с момента загрузки драйвера) / накопленные (за весь срок службы) · начиная с Ampere накопленные нельзя обнулить (документация NVIDIA) |
| Бюджет ремаппинга строк | A100 — не более 64 · H100 — до 512 (документ NVIDIA GPU Memory Error Management) |
| Защита на уровне чипов | Начиная с HBM3 встроенная ончейн ECC (официальное заявление SK hynix, 2021) |
Поколение B300 с 288 ГБ HBM3e на карту: здоровье видеопамяти напрямую определяет срок службы всей системы. При проверке б/у карты сначала читайте ECC: если волатильные счётчики близки к нулю, а накопленные высокие — карта служила с дефектами. Поскольку начиная с Ampere накопленные счётчики нельзя обнулить, этот «пожизненный» счётчик — один из самых весомых аргументов для покупателя подержанной карты. Карты, у которых число ремаппингов строк приближается к бюджету (у H100 — 512), следует оценивать по принципу «пул видеопамяти вот-вот сократится».
Физический осмотр по трём пунктам: контакты золотого пальца (кромка PCIe) — на окисление, износ и следы переподключений; потемневшее и стёртое покрытие означает многократную перепродажу или риск плохого контакта. Радиатор — на следы разборки, старение термопрокладок и температуру со стороны памяти (GPU-Z показывает температуру памяти и производителя чипов — см. статью по проверке карт). Длительный перегрев памяти — главная причина накопления однобитовых ошибок, поэтому под нагрузкой следите за температурой памяти и приростом ECC одновременно.