MACreative/phi3-mini-128k-instruct-ru-gguf

Спасибо https://huggingface.co/alvis44/ модель взята с его репозитория Phi-3-mini-128k-instruct-RU, сконвертирована в gguf, есть квантованная версия 4-бит. Original model: alvis44/Phi-3-mini-128k-instruct-RU

FP16 and Quantized version (GGUF q4_K_M) of the Phi-3-mini-128k-instruct-RU model.

For example, to install 4-bit run: Убедитесь, что у вас установлен Ollama до выполнения команды ollama create. Если его нет, команда не выполнится. Его нужно скачать и установить с https://ollama.com/

pip install huggingface_hub

python -c "from huggingface_hub import hf_hub_download; hf_hub_download(repo_id='MACreative/phi3-mini-128k-instruct-ru-gguf', filename='phi3-mini-ru-q4_k_m.gguf', local_dir='.')"

curl -OutFile ModelFile https://huggingface.co/MACreative/phi3-mini-128k-instruct-ru-gguf/raw/main/ModelFile

ollama create my-phi3-ru -f ModelFile ollama run my-phi3-ru