Mit meiner RTX 4090 laufen Topaz AI, verschiedene KI Modelle und co. ausreichend schnell für Modelle, die in ihren Speicher passen.
Bei Text Generation ist die Geschwindigkeit zumeist höher als meine Lesegeschwindigkeit.
Aber viele komplexere Modelle passen nicht in den Speicher.
Bei 70B+ Modellen oder NVIDIAS neuem 49B Modell wären wohl 32 GB+ (49B + 4er Quantifizierung oder so (Modell wird zumeist merklich "dümmer")) gerade so machbar, aber dann die Geschwindigkeit mit sowas wie Spark oder Strix evtl. relativ langsamer.
Ein Turin Threadripper mit CDNA 4 GPUs, die vermutlich nicht zahlbar sind, oder Blackwell Pro Karten, die vermutlich auch nicht zahlbar sind, wären vermutlich leistungsfähig und upgradebar.
An CPU und RAM will ich eigentlich nicht rumspielen, da soll ja alles NAS relevante ran, und das soll primär stabil sein und funktioniert vermutlich mit Spark und Strix nicht![]()