[blog] Freitag ist Ki-Tag :)

ich frag mich g'rad, was ihr so in sachen ki, offline, win sagts.

gibts da was kostenloses, das im idealfall auf einem nuc rennt?

CPU only KI kannste so ziemlich vergessen, selbst auch meinem Laptop mit 8 Kernen 16 Threads sind die meisten Modelle verdammt lahm.

Ohne dedizierte Grafik (die ein NUC idR nicht hat brauchste nicht drüber nachdenken.

Das mit den Schildkröten ist schon wild...

Das Kino-Plakat zu der Beschreibung dürfte interessant aussehen. don

mir geht zumindest is telefon ab, dass man nicht anrufen soll *g*

Zitat von the ratman

ich frag mich g'rad, was ihr so in sachen ki, offline, win sagts.

gibts da was kostenloses, das im idealfall auf einem nuc rennt?

Wie auch dark geschrieben hat: ich mach hin und wieder was mit ComfyUI lokal auf Windows. Minimum ist ne nVidia 30XX, auch reichlich RAM um etwas auszulagern.

Beim Ram sind wohl 16GB das absolute Minumum und ne Graka sollte wohl auch schon um die 12GB VRam haben.

na dann vergessen wirs - wobei ... zu viel geld haben und dann die neuen asus gaming nucs kaufen ( https://stadt-bremerhaven.de/asus-bringt-de…c-rog-nuc-2025/ )?
3400 euronen solte einem ein bissi spaß wert sein, oder? *lach*

darkside40

Bilder funktionieren mit meiner 12GB nVidia ganz gut, Videos gehen nur mehr mit Auslagerung vernünftig und da brauchst schon RAM >= 64GB.

wie gsagt: eher ein witz.

wenn ma mich fragen würde, würde mir eh nur eine anwendung einfallen: das natürliche sprechen mit der hausautomatisation. nachdem dass hier sicher 1 woche für spaß und anschließend für ignoranz sorgen würde, wirds eh nie passieren.

Beim Sprechen mit der Hausautomatisierung scheitert es weniger an der KI sondern eher daran das man verdammt gute Mikrofonhardware braucht damit das anständig funktioniert.

gabs zumindest mal. habs nicht weiter verfolgt, aber im endeffekt wars ein array, ähnlich der alexa hw. das ging echt gut. hätte eines pro raum an der decke gereicht. aber i bin dann doch mehr der typ vollautomatisierer. also weder knöpfe, schalter, micros oder vortanzen. *g*

Zitat von SkyBird1980

https://shop.m5stack.com/products/atom-…it?ref=NabuCasa

Habe ich da und auch schon getestet. Die erkennung ist selbst wenn man das Gerät knapp vor den Mund hält recht mau. Quer durch den Raum echt mies.

In der Mittagspause "mal eben" Ollama auf den Gaming PC mit der Nvidia Graka gepackt und OpenWebUI auf dem Laptop via Docker Compose zum laufen gebracht. So kann ich nachher mal ein bisschen mit ein paar LLM's experimentieren.

Gibt schon sachen die ich erstaunlich finde. Eigentlich performen die 7B Modelle bei mir echt gut, auch was die Reaktionszeit angeht. Aber Mistral muss bei seinem Mistral-small-3.2 mit 24B nen echt guten Job gemacht haben denn das auch unglaublich schnell

Zitat von darkside40

Habe ich da und auch schon getestet. Die erkennung ist selbst wenn man das Gerät knapp vor den Mund hält recht mau. Quer durch den Raum echt mies.

KinCony AS ESP32-S3 voice assistant For Home Assistant by ESPHome

KinCony ESP32-S3 voice assistant based on ESP32-S3-WROOM-1U (N16R8) wifi chip. It use by I2S INMP441 microphone and MAX98357A amplifier. SD card socket on PCB.…

shop.kincony.com

Home Assistant Voice Preview Edition | Open-Source Voice Assistant

Privacy-friendly voice assistant for Home Assistant Discover the Home Assistant Voice Preview Edition: the voice assistant that combines privacy, open source,…

slimhuisje.nl

Keine Ahnung, aber scheint da mehrere Alternativen zu geben, ueber die man sich ja vielleicht schlau machen will...

F1 erzählt gerade dass es in so ner Fratzenbuchgruppe gerade steil geht chatgpt dazu zu bringen einen selbst anhand eines Fotos in einem Bild unterzubringen bei dem man gerade in ein Auto steigt und - wichtig - dabei den Türgriff in den Händen hält.

Scheint wohl nicht zu klappen...

Die Schweizer ETH Zürich hat mit Apertus jetzt ein vollständiges Open Source Modell mit 8B und 70B Parametern rausgebracht:

Apertus: a fully open, transparent, multilingual language model

EPFL, ETH Zurich and the Swiss National Supercomputing Centre (CSCS) released Apertus today, Switzerland’s first large-scale, open, multilingual language model…

ethz.ch

Bin mal gespannt wann das in Ollama auftaucht dann würde ich die 7B Variante auf jeden Fall mal lokal testen.