GROBE INDIKATION
NICHT VERBINDLICHE TECHNISCHE DIMENSIONIERUNG
Grobindikation
LLM Fine-Tuning
L
LLM Fine-Tuning – L
LoRA, QLoRA und Adapter-Fine-Tuning bestehender Modelle.
Erkannte Workload-Klassen: Conversational AI, Multimodal / Vision, LLM Fine-Tuning, Batch AI
GPU-Speicher (VRAM)2× 80 GBGrobe Kapazitätsklasse für Modell und Kontext
GPU-Speicherbandbreiteca. 1,5–3,5 TB/s je GPUGrobe Richtwert-Spanne je GPU
Warum? hohe Nutzungsintensität, LLM Fine-Tuning, mehrere Workload-Klassen.
Verwendete Angaben
ZielgruppeFachbereich
Gesamt-User50–250
Gleichzeitig aktive Nutzer (Schätzung)100–1.000
IntensitätHäufig
PhaseProof of Concept / Experiment
EinsatzbereicheCoding / Entwicklung, Bilder analysieren, LLM Fine-Tuning (LoRA / QLoRA), Batch AI / Embeddings / Klassifikation
Einordnung: Die Bandbreite ist eine grobe Orientierung für einzelne GPU-Modelle, keine zugesicherte Leistung. Bei mehreren GPUs werden die Werte nicht einfach addiert. Das konkrete Modell, die Verbindung zwischen GPUs und die tatsächliche Anwendung beeinflussen die erreichbare Leistung. Für eine genaue Auslegung braucht es zusätzlich Modell, Anfragen, Kontext und ein gewünschtes Antworttempo.
Neue Bewertung