Der Ollama-Server kann grundsätzlich auf zwei unterschiedliche Arten installiert werden: entweder über das offizielle Installationsskript oder durch eine manuelle Installation. Die Installation mittels Skript (curl -fsSL https://ollama.com/install.sh | sh) ist zwar schnell und komfortabel, hat jedoch den Nachteil, dass die für den Betrieb benötigten Dateien auf verschiedene Systemverzeichnisse verteilt werden.
So werden die Modell-Dateien abhängig von der Art der Ausführung (Root oder Benutzer) beispielsweise unter folgenden Pfaden gespeichert:
- Bei Installation über das offizielle Installationsskript:
/usr/share/ollama/.ollama/models/
- Bei Verwendung einer manuell heruntergeladenen Binärdatei:
/home/$USER/.ollama/models/
Zusätzlich werden die von Ollama benötigten CUDA-Bibliotheken standardmäßig unter /usr/local/lib/ollama abgelegt, was je nach installierten Komponenten mehrere Gigabyte Speicherplatz beanspruchen kann.
Aus Gründen der Übersichtlichkeit, Datensicherung und Portabilität empfiehlt es sich daher, den Ollama-Server manuell in einem eigenen Verzeichnis zu installieren und die erforderlichen Umgebungsvariablen wie PATH oder LD_LIBRARY_PATH selbst anzupassen. Dadurch befinden sich sämtliche für den Betrieb benötigten Dateien – einschließlich der Binärdateien, CUDA-Bibliotheken und Modell-Dateien – in einer gemeinsamen Verzeichnisstruktur. Dies erleichtert nicht nur Backups, sondern ermöglicht auch eine einfache Migration oder Portierung des gesamten Ollama-Servers auf andere Systeme.
Installation via Ollama Installationsskript
Die Installation mittels des offiziellen Installationsskripts kann bereits mit einem einzigen Befehl durchgeführt werden:
|
1 |
curl -fsSL https://ollama.com/install.sh | sh |
Installation via Ollama Sourcecode / GitHub
Bei der manuellen Installation wird Ollama vollständig in einem eigenen Verzeichnis installiert, wodurch systemweit verteilte Installationspfade vermieden werden.
Verzeichnisstruktur anlegen
|
1 2 |
mkdir -p /home/ollama-portable cd /home/ollama-portabl |
Ollama herunterladen und entpacken
|
1 2 |
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst -o ollama.tar.zst tar x --zstd -f ollama.tar.zst |
Nach dem Entpacken stehen typischerweise folgende Verzeichnisse zur Verfügung:
bin/lib/
Models-Verzeichnis anlegen
|
1 |
mkdir -p /home/ollama-portable/models |
Symlink für globale Nutzung
Damit ollama systemweit verfügbar ist:
|
1 |
sudo ln -s /home/ollama-portable/bin/ollama /usr/local/bin/ollama |
Prüfen:
|
1 2 |
ollama version which ollama |
Teststart (manuell)
|
1 2 3 |
export OLLAMA_MODELS=/home/ollama-portable/models export LD_LIBRARY_PATH=/home/ollama-portable/lib export PATH=/home/ollama-portable/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin" ollama serve |
systemd Service einrichten
|
1 |
sudo nano /etc/systemd/system/ollama-portable.service |
Inhalt (User und Group anpassen) :
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
[Unit] Description=Ollama Portable Service After=network-online.target [Service] Type=simple User=User Group=User WorkingDirectory=/home/ollama-portable ExecStart=/home/ollama-portable/bin/ollama serve Environment="OLLAMA_MODELS=/home/ollama-portable/models" Environment="LD_LIBRARY_PATH=/home/ollama-portable/lib" Environment="PATH=/home/ollama-portable/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin" Restart=always RestartSec=3 [Install] WantedBy=multi-user.targe |
Service aktivieren
|
1 2 |
sudo systemctl daemon-reload sudo systemctl enable --now ollama-portable |
Status prüfen:
|
1 |
systemctl status ollama-portable |
Nutzung
|
1 2 |
ollama pull llama3.2 ollama run llama3.2 |
Vorteile dieser Methode
- Nahezu alle Dateien befinden sich in einem einzigen Verzeichnis.
- Die Modelle werden direkt im Unterordner
models/gespeichert. - Das gesamte Verzeichnis kann einfach gesichert oder auf andere Systeme kopiert werden.
- Keine verstreuten Installationspfade innerhalb des Betriebssystems.
- Einfache Migration und Wiederherstellung.
- Symlink macht CLI systemweit verfügbar
- systemd sorgt für stabilen Dauerbetrieb
Konfiguration
Nach dem Start von Ollama über ollama serve erscheint ein interaktives Auswahlmenü. Dieses bietet verschiedene Integrationen und Agenten-Erweiterungen an, die direkt aus der Oberfläche gestartet oder installiert werden können:
|
1 2 3 4 5 6 |
Chat with a model Launch Claude Code (not installed) Launch Hermes Agent (install) Launch OpenClaw (install) Launch OpenCode (not installed) More... |
Wichtiger Hinweis für Produktivsysteme
Auf Produktivsystemen oder Servern mit sensiblen Daten (z. B. Login-Datenbanken, API-Keys, interne Dienste oder Accounts) wird dringend empfohlen, keine zusätzlichen Agenten oder Integrationen zu installieren.
Die aufgeführten Tools wie:
- Claude Code
- Hermes Agent
- OpenClaw
- OpenCode
sind darauf ausgelegt, eigenständig Code auszuführen, Workflows zu steuern und teilweise autonome Aktionen durchzuführen. Dies kann zu unerwünschtem Verhalten oder unbeabsichtigten Systemzugriffen führen.
Empfohlene Betriebsweise
Für stabile und kontrollierte Umgebungen sollte ausschließlich der reine Ollama-Server verwendet werden:
- Betrieb des Ollama-Servers als API-Dienst
- Nutzung von lokal installierten Sprachmodellen (LLMs)
- Zugriff ausschließlich über HTTP-API (
http://127.0.0.1:11434oder LAN-Freigabe)
Die gesamte Interaktion mit Modellen erfolgt dann über definierte API-Aufrufe, ohne zusätzliche Agentenlogik oder externe Automatisierungswerkzeuge.
by Speefak
