Wer sich ein wenig mehr mit dem Ai-Thema beschäftigt, will sicher auch mal was offline generieren.
Und ja, das geht heute recht problemlos.
Anlaufstation wie Hugging-Face bieten da ein ziemliches Rabbit-Hole.
Aber wenn man dann mal alles aufgesetzt hat, merkt man schnell: meine Fresse ist das alles lahm.
PC dreht voll auf, Grafikkarte am Anschlag - um nach einer halben Stunde etwas rauszubekommen.
Erinnert ihr euch noch an die Voodoo-FX Karten?
3D-beschleuniger Karten waren mal DAS DING in jedem PC.
Und für Ai-Anwendungen gibt es so etwas auch.
Der größte Unterschied ist ganz einfach die hohe Optimierung exakt für den Job.
Max 2W Stromverbrauch bei einer recht beeindruckenden Leistung wie zb Objekterkennung in einem Live-Stream.
-> https://memryx.com/products/
Und gar nicht mal so teuer. Nur leider bei Mouser nur als "min. 20 Einheiten". Dann ist es wieder unbezahlbar.
-> https://www.mouser.de/ProductDetail/…vyru843LNUKgVch
Das heute in fast jedem Produkt "Ai" als Buzzword enthalten ist, geht mir auch auf den Sack.
Denn in fast jedem Fall ist es das nicht.
Bestenfalls eine Algorhytmus.
Meist aber nur eine schöne Umschreibung, um Userdaten abzugreifen.
So eine kleine, lokale Karte nur für den Zweck der "Edge-Ai" wäre zB etwas für ein erstklassiges Home-Assistant System.
Deren Karte ist ja auch nicht für große LLMs gedacht. Aber für solche Zwecke wäre es was.
![[ap]](https://www.kodinerds.net/wcf/images/smilies/smiley53.gif "ap"){kind=small}
NVidia GPU investiert, dann hat man doch wohl viel eher die Sicherheit, das damit alles laeuft. Wenn auch evtl. langsamer/weniger effizient ?
