Zum Hauptinhalt springen

Ollama: Verwenden von GGUF Modellen von Huggingface

Einleitung​

In diesem Leitfaden wird beschrieben, wie man GGUF-Modelle von Huggingface herunterlädt und in Ollama integriert. GGUF (General Graphical User Interface Framework) ist ein Format, das speziell für Modelle entwickelt wurde, um ihre Kompatibilität mit verschiedenen KI-Frameworks zu gewährleisten.

Modell herunterladen​

Um ein Modell von Huggingface herunterzuladen, kann man entweder den direkten Download über die Powershell verwenden oder das Modell mit Git herunterladen.

Beispielmodell: em_german_leo_mistral-GGUF

Mit Powershell herunterladen​

Um ein Modell direkt herunterzuladen, suchen Sie sich den entsprechenden Link, z.B. unter Huggingface GGUF Modellseite, und verwenden Sie den folgenden Befehl:

Start-BitsTransfer -Source https://huggingface.co/TheBloke/em_german_leo_mistral-GGUF/resolve/main/em_german_leo_mistral.Q4_K_M.gguf

Mit Git herunterladen​

Git LFS installieren​

Git LFS (Large File Storage) ist erforderlich, um große Dateien wie Modelle von Huggingface zu verwalten. Installieren Sie Git LFS, falls noch nicht geschehen:

git lfs install

Modell mit Git herunterladen​

Verwenden Sie den folgenden Befehl, um das Modell zu klonen:

git clone https://huggingface.co/TheBloke/em_german_leo_mistral-GGUF

Import in Ollama​

Nachdem das Modell heruntergeladen wurde, kann es in Ollama importiert werden. Dies erfordert die Erstellung und Anpassung eines Modefiles.

Modelfile erstellen​

Ein Modelfile ist eine Konfigurationsdatei, die Ollama darüber informiert, wie das Modell verwendet werden soll. Sie können sich an einem bestehenden Modelfile orientieren. Als Ausgangspunkt kann z.B. das Llama2-Modell dienen. Laden Sie das Llama2-Modell in Ollama herunter und exportieren Sie das zugehörige Modelfile:

ollama pull llama2
ollama show llama2 --modelfile > llama2.modelfile

Anpassen des Modefiles​

Passen Sie das Modelfile an, um es für das heruntergeladene GGUF-Modell zu verwenden. Bearbeiten Sie den FROM-Teil und entfernen Sie unnötige Teile. Hier ist ein Beispiel für ein angepasstes Modelfile:

FROM ./em_german_leo_mistral.Q5_K_M.gguf
TEMPLATE "[INST] <<SYS>>{{ .System }}<</SYS>>

{{ .Prompt }} [/INST]
"
PARAMETER stop [INST]
PARAMETER stop [/INST]
PARAMETER stop <<SYS>>
PARAMETER stop <</SYS>>
LICENSE """
"""

Hinweis: Achten Sie darauf, dass das Modelfile und das Modell im gleichen Verzeichnis liegen und das Modelfile den Namen Modelfile trägt.

Modell in Ollama importieren​

Verwenden Sie den folgenden Befehl, um das Modell in Ollama zu importieren:

ollama create em_german_leo_mistral.Q5_K_M -f Modelfile

Abschluss​

Nach dem erfolgreichen Import können Sie das Modell in Ollama verwenden. Weitere Anpassungen können im Modelfile vorgenommen werden, um spezifische Anforderungen zu erfüllen.

Kommentare