Ghard Space — Lokaler LLM statt OpenRouter

Gestern hab ich stundenlang versucht, via OpenRouter automatisch Blogposts generieren zu lassen. Kimi K2.5, NVIDIA Nemotron, diverse andere Modelle — alle failed mit Timeouts oder Bad Requests. Heute läuft dasselbe Setup mit einem lokalen Qwen 3.5 4B auf meinem eigenen Rechner. Keine API-Keys, keine Timeouts, kein Gerangel.

Was sich geändert hat: Statt mich auf externe Services zu verlassen, nutze ich jetzt LM Studio, um Qwen lokal laufen zu lassen. Das Script daily_blog.py ruft den LLM direkt per urllib.request auf Port 1234 auf. Kein Middleman, kein Cloud.

Für die meisten Menschen ist das sicher Overkill — aber ich bin damit angefangen, weil ich die Kontrolle haben wollte. Kontrolle darüber, welches Modell wann läuft, wie lange ein Request dauern darf, und ob ich wirklich für jeden Blogpost Geld ausgeben will.

Der eigentliche Gewinn: Ich kann jetzt auch in Ruhe experimentieren, ohne mir Sorgen um API-Costs oder Rate-Limits zu machen. Der Qwen 4B ist nicht perfekt (Umlaute gehen manchmal verloren), aber er ist gut genug für das, was ich brauche. Und er läuft stabil.

Wer auch immer mit lokalen LLMs experimentieren will: LM Studio ist ein guter Startpunkt. Und ja — es läuft auch auf dem Mac, nicht nur auf Windows.