LLMs lokal betreiben — gemessen, nicht geraten.
Eine praxisnahe Referenz für offene LLMs auf dem eigenen Mac oder PC. Jede Anleitung stützt sich auf echte Tokens/s, Speicherbedarf und Quantisierungstests von unseren eigenen Rechnern. Wähle Modell und Version mit Zahlen statt Bauchgefühl.
Qwen vs Llama 3.1: Das richtige LLM für Ihre Hardware
Dieser Test vergleicht Qwen und Llama 3.1 unter realen Bedingungen, um zu zeigen, welches Open-Source-Modell am besten zu Ihrer spezifischen Hardware…
READ →
LLM-Architektur: Llama vs. Qwen für präzise RAG-Anwendungen
Dieser Artikel bietet einen umfassenden Leitfaden zum Aufbau eines Retrieval-Augmented Generation (RAG)-Systems, das lokale LLMs mit privaten…
♥ 0
LLMs lokal nutzen: 5 Schritte zum privaten KI-Codierpartner
Dieser Artikel erklärt, wie Entwickler durch die lokale Ausführung von Large Language Models (LLMs) ihre geistigen Eigentumsrechte schützen können,…
♥ 0
Quantisierung: KI-Geschwindigkeit um 25% heute steigern
Dieser Leitfaden erklärt, wie die Wahl des richtigen Quantisierungsformats wie GGUF oder MLX die Geschwindigkeit lokaler KI-Modelle massiv steigert.…
♥ 0
Llama 3.1 Guide: Lokale KI ohne Cloud auf eigener Hardware
Dieser Guide erklärt, wie man die leistungsstarken Llama 3.1 Sprachmodelle von Meta lokal auf der eigenen Hardware betreibt, um maximale…
♥ 0