參考：http://www.rzrgm.cn/a120608yby/p/17896138.html

# 下載部署腳本
wget https://ollama.ai/install.sh

# 執行安裝腳本
# sh ./install.sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
########################################################################################################################################################################### 100.0%########################################################################################################################################################################### 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

# 查看服務狀態
systemctl status ollama

# 查看端口監聽情況
ss -napt | grep ollama

# 修改端口監聽地址并重啟服務
# vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0"    #第6行增加
ExecStart=/usr/local/bin/ollama serve
...

systemctl daemon-reload
systemctl restart ollama.service

# 下載模型
# 下載llama3 8B模型
ollama pull llama3:8b
# 下載微軟phi3模型
ollama pull phi3
# 下載谷歌Gemma模型
ollama pull gemma
# 下載IBM Granite Code模型
ollama pull granite-code:8b
# 下載阿里云Qwen2.5模型
ollama pull qwen2.5:7b

# 使用模型
ollama run llama3:8b
ollama run phi3
ollama run gemma
ollama run qwen2.5:7b

# 通過Ollama API使用模型
# curl http://localhost:11434/api/chat -d '{
  "model": "gemma",
  "stream": false,
  "messages": [
    { "role": "user", "content": "當諸葛亮和豬八戒相遇會發生什么?" }
  ]
}'
{"model":"gemma","created_at":"2024-09-13T10:09:36.935197131Z","message":{"role":"assistant","content":"諸葛亮和豬八戒相遇會發生以下可能性：\n\n**1. 合作與共存：**\n\n* 諸葛亮以其睿智和策略能力，可以幫助豬八戒解決一些困境。\n* 豬八戒可以提供諸葛亮關于 monastic生活和佛教思想的見解。\n* 他們可以彼此學習，共同解決問題。\n\n**2. 沖突與對立：**\n\n* 諸葛亮以追求卓越和理性和方法論著稱，而豬八戒則更注重精神和直覺。\n* 他們的價值觀和方法可能會產生沖突。\n* 諸葛亮可能會試圖將豬八戒約束于他的邏輯和方法中。\n\n**3. 尊重與共同成長：**\n\n* 諸葛亮可以認可豬八戒的精神能力和直覺，并尊重他的觀點。\n* 豬八戒可以認可諸葛亮的人理和策略能力，并從他的方法中學習。\n* 他們可以互相尊重，共同成長。\n\n**具體情況的可能性：**\n\n* 如果諸葛亮與豬八戒 mutual respect，并嘗試理解彼此的觀點，他們可以建立一個強大的合作關系。\n* 如果諸葛亮試圖控制豬八戒，或豬八戒試圖打破諸葛亮的方法，他們可能會發生沖突。\n\n最終的結果取決于諸葛亮和豬八戒的具體行為和態度。"},"done_reason":"stop","done":true,"total_duration":105130720831,"load_duration":25978118434,"prompt_eval_count":38,"prompt_eval_duration":4825198000,"eval_count":289,"eval_duration":74283620000}

# curl http://127.0.0.1:11434/api/chat -d '{
  "model": "phi3",
  "stream": false,
  "messages": [
    { "role": "user", "content": "1加1有可能會等于3么？" }
  ]
}'
{"model":"phi3","created_at":"2024-09-13T10:10:51.787029427Z","message":{"role":"assistant","content":"在數學上，基本規則仍然適用。在一個標準的數字體系中，1是一個基本的單位數字，而三是兩倍大于1的整數值。因此，如果我們按照標準算法進行加法操作（1加1等于2），1加1就不會等于3。然而，在特定情境下，如果我們將\"1加1有可能等于3\"看作是一種拋籃型的數學問題或者幽默表達式，這樣我們就可以認為這個陳述在特定情境下是成立的。例如：\n\n- 如果我們關于數字“1”引入了一些非標準或外星文化的解釋，其中\"1\"可能有不同的意義或屬性。\n- 如果在某種幽默或討論的場景下，我們提出這個問題，供人們玩謎或開篇討論。\n- 在某種拋籃型的方式，如幽默表達或故意的錯誤引入，我們可以說“1加1等于3”是成立的。\n\n這里我們不會邏賦予任何非標準或拋籃型的解釋給數字“1”，因此按照標準算法來看，1加1等于2。"},"done_reason":"stop","done":true,"total_duration":51918876515,"load_duration":54541099,"prompt_eval_count":21,"prompt_eval_duration":1192978000,"eval_count":424,"eval_duration":50628413000}

# 拉取鏡像
podman pull ghcr.io/open-webui/open-webui:main

# 啟動
# podman run -d -p 3000:8080 --add-host=host.containers.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
或者
# vim open-webui/docker-compose.yml 
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: always
    ports:
      - "3000:8080"
    extra_hosts:
      - "host.containers.internal:host-gateway"
    volumes:
      - open-webui:/app/backend/data

volumes:
  open-webui:

訪問地址：http://部署主機IP:3000/