16 lines
946 B
Bash
16 lines
946 B
Bash
#!/usr/bin/env bash
|
|
# Запуск ollama в боевом конфиге стенда (как в ~/vojo-local-up.sh, без туннеля/релея).
|
|
# Флаги: держать модель в VRAM, flash attention, q8 KV-кэш. Прокси для localhost — в обход.
|
|
# Использование: bash eval/ollama-up.sh
|
|
set -u
|
|
LOG="${OLLAMA_LOG:-$HOME/ollama.log}"
|
|
pkill -f "ollama serve" 2>/dev/null || true
|
|
sleep 2
|
|
export OLLAMA_HOST=0.0.0.0:11434 OLLAMA_KEEP_ALIVE=-1 OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0
|
|
export NO_PROXY="localhost,127.0.0.1,0.0.0.0,::1" no_proxy="localhost,127.0.0.1,0.0.0.0,::1"
|
|
setsid nohup ollama serve >"$LOG" 2>&1 < /dev/null &
|
|
for _ in $(seq 1 40); do
|
|
curl -s --noproxy '*' --max-time 1 http://127.0.0.1:11434/api/version >/dev/null 2>&1 && break
|
|
sleep 0.5
|
|
done
|
|
curl -s --noproxy '*' http://127.0.0.1:11434/api/version && echo " <- ollama up (FA=1, KV=q8_0, keep_alive=-1); log: $LOG"
|