Der vor acht Jahren veröffentlichte Grafikbeschleuniger Nvidia Tesla V100 zeigt bei der lokalen Ausführung von KI-Modellen immer noch eine hohe Effizienz. Tests des Kanals Hardware Haven zeigen, dass diese alte Serverkarte sogar moderne Modelle wie die RTX 3060 12 GB und Radeon RX 7800 XT 16 GB übertrifft. Dies berichtet Ixbt.com .
Die Tesla V100, die derzeit auf dem Gebrauchtmarkt für etwa 100 Dollar erhältlich ist, erfordert für den Einbau in einen normalen PC einen SXM-zu-PCIe-Adapter, ein separates Netzteil und ein 3D-gedrucktes Kühlsystem. Die Gesamtkosten des Systems beliefen sich inklusive aller Zusatzkomponenten auf 235 Dollar.
Den Testergebnissen zufolge generierte die Tesla V100 beim Modell GPT-oss 20B 130 Tokens pro Sekunde, was deutlich über dem Wert der Radeon RX 7800 XT (90 Tokens/s) liegt. Auch beim Modell Gemma4:e4b übertraf sie die RTX 3060 12 GB mit einem Verhältnis von 108 zu 76 Tokens/s.
Der Hauptvorteil dieser Karte liegt in der hohen Bandbreite des HBM2-Speichers und ihrer Optimierung für Rechenprozesse. Obwohl der Installationsprozess komplex ist, bleiben Server-GPUs eine sehr nützliche und erschwingliche Lösung für KI-Enthusiasten.
Experten empfehlen auch, die 32-GB-Versionen der Tesla V100 in Betracht zu ziehen. Diese Modelle, die für etwa 400–500 Dollar verkauft werden, können eine würdige Alternative zu teuren modernen RTX-Karten sein, um schwerere LLMs lokal auszuführen.
Lesen Sie „Zamin“ auf Telegram!
