Ollama
Open-Source-Software zur lokalen Ausführung großer Sprachmodelle (LLMs)
From Wikipedia, the free encyclopedia
Ollama ist eine Open-Source-Software zur lokalen Ausführung großer Sprachmodelle (Large Language Models, LLMs) auf Desktop-Computern. Die Plattform ermöglicht die lokale Nutzung frei verfügbarer KI-Modelle und unterstützt die Integration mit weiteren lokalen Werkzeugen, die über eine Kommandozeilenschnittstelle oder eine Programmierschnittstelle (API) angebunden werden können. Ollama ist für macOS, Linux und Windows verfügbar.[3]
| Ollama | |
|---|---|
 | |
| Basisdaten | |
| Aktuelle Version | 0.17.5[1] (2. März 2026) |
| Betriebssystem | macOS, Linux, Windows |
| Programmiersprache | Go[2] |
| Lizenz | MIT-Lizenz |
| ollama.com | |
Ollama wurde entwickelt, um KI-Modelle lokal und ohne Cloud-Infrastruktur nutzen und verwalten zu können.[4] Anfangs wurde die Llama-Modellfamilie unterstützt, die durch Meta entwickelt und als Open Source zur Verfügung gestellt wurde.[5] Für Ollama stehen Stand Juni 2025 über 240 verschiedene vortrainierte KI-Modelle zur Einbindung zur Verfügung. Die Modelle werden direkt auf dem lokalen Rechner ausgeführt, wodurch eingegebene Daten und der KI-Output vollständig auf dem eigenen System verbleiben und etwaige Beschränkungen der Cloud-Versionen nicht greifen.[6][7]
Funktionen
Die Plattform ermöglicht das Herunterladen und Verwalten verschiedener Sprachmodelle über eine Paketstruktur, die lokal wahlweise über die Kommandozeile oder ein optionales Web-Interface angesteuert werden kann. Externe Anwendungen können über eine REST-API angebunden werden, für gängige Programmiersprachen stehen Client-Bibliotheken zur Verfügung.
Ollama kann rein auf der CPU des Hostsystems betrieben werden, aber auch vorhandene Nvidia-GPUs einbinden, sofern diese mit mindestens 8 GB Speicher ausgestattet sind und die CUDA-Laufzeitumgebung installiert wurde.[6] Eingebundene KI-Modelle können in Ollama modifiziert werden.[5]
Seit Juli 2025 kann Ollama auf Windows und MacOS über eine grafische Benutzeroberfläche bedient werden.[8] Für MacOS steht darüber hinaus eine experimentelle Funktion zur KI-Bildgenerierung zur Verfügung.[9] Auf der Linux-Version wie auch den anderen Plattformen kann darüber hinaus Open Web UI als grafische Oberfläche über den Webbrowser genutzt werden.[10] Open Web UI hieß ursprünglich Ollama Web UI und stammt von dem Team, das bereits die Ollama-CLI entwickelte. Es kann auch als grafische Schnittstelle für weitere KI-Plattformen genutzt werden.
Das Ollama-Paketformat zur Einbindung der KI-Module wird inzwischen durch weitere Plattformen unterstützt, beispielsweise von Msty oder AnythingLLM.[5]
Unterstützte Modelle
Ollama unterstützt eine Vielzahl frei verfügbarer Sprachmodelle, darunter:
- Llama 2 von Meta
- Mistral von Mistral AI
- Qwen3.5 von Alibaba Cloud
- Gemma von Google
Die Verfügbarkeit einzelner Modelle hängt von deren Lizenzbedingungen sowie der Hardware des Nutzers ab.
Technische Grundlagen
Ollama basiert auf einer Laufzeitumgebung zur effizienten Ausführung quantisierter Transformer-Modelle auf Consumer-Hardware. Durch Modellquantisierung (z. B. 4-Bit- oder 8-Bit-Varianten) können große Modelle auch auf Computern mit begrenztem Arbeitsspeicher betrieben werden. Die Software bietet zudem Mechanismen zur Erstellung eigener Modellkonfigurationen („Modelfiles“), mit denen sich Systemprompts oder Modellparameter dauerhaft definieren lassen.
Einsatzgebiete
Ollama kann zum lokalen Hosten beispielsweise von Chatbots eingesetzt werden. Mit den geeigneten Modellen kann die Plattform auch zur Codegenerierung dienen, wobei anders als bei externen Cloud-Modellen wie Claude oder Codex keine Kosten für Tokens anfallen.[11] Nvidia empfiehlt Ollama als flexible Plattform zur Implementierung lokaler KI-Agenten wie OpenClaw.,[12]
Sicherheit
Im November 2025 wurde eine Sicherheitslücke bekannt, über die Ollama bei der Nutzung modifizierter Modelle zur Ausführung beliebigen Codes auf dem Hostsystem gebracht werden konnte. Mit Version 0.7.0 wurde die Lücke behoben.[13]
Im Januar 2026 wurden in einer Sicherheitsanalyse über 175.000 ungesichert betriebene Ollama-Instanzen im Netz gefunden, die von Angreifern missbraucht werden konnten.[14] Das wachsende Netz an „Schatten-KI-Infrastruktur“ wird als Problem betrachtet, da die betroffenen Systeme ohne Autorisierung oder Limitierungen durch beliebige Nutzer verwendet werden können und häufig Zugriff auf externe Dienste und Ressourcen anbieten. Ollama werde standardmäßig für den lokalen Host freigegeben, lasse sich aber sehr einfach komplett exponieren. Da die Hosts häufig mit ähnlichen Modellen und Ressourcen ausgestattet seien, könnten sie leicht automatisiert missbraucht werden, was das exponierte Ollama-Ökosystem zu einer neuen Art von Risiko mache.[15]