Das MLPerf Training Die Benchmark-Suite misst die Geschwindigkeit, mit der verschiedene Systeme Modelle trainieren können, um eine bestimmte Qualitätsmetrik zu erfüllen. Die Benchmarks decken verschiedene Bereiche ab, darunter Vision, Sprache und Handel, und verwenden unterschiedliche Datensätze und Qualitätsziele.
Benchmark-Details
| Gebiet | Benchmark | Datensatz | Qualitätsziel | Referenzimplementierungsmodell |
|---|---|---|---|---|
| Vision | Bildklassifizierung | IMAGEnet | 75.90 % Einstufung | ResNet-50 v1.5 |
| Vision | Bildsegmentierung (medizinisch) | KiTS19 | 0.908 Mittlerer DICE-Score | 3D-U-Net |
| Vision | Objekterkennung (geringes Gewicht) | Öffnen Sie Bilder | 34.0 % Karte | RetinaNet |
| Vision | Objekterkennung (schweres Gewicht) | KOKOSNUSS | 0.377 Box-Min.-AP und 0.339 Masken-Min.-AP | Maske R-CNN |
| Sprache | Spracherkennung | LibriSpeech | 0.058 Wortfehlerrate | RNN-T |
| Sprache | NLP | Wikipedia 2020 | 0.72 Mask-LM-Genauigkeit | BERT-groß |
| Sprache | LLM | C4 | 2.69 Log Ratlosigkeit | GPT3 |
| Geschäfte | Software Empfehlungen | Criteo 4 TB Multi-Hot | 0.8032 AUC | DLRM-dcnv2 |