一個命令行參數解決open-webui鏡像啟動失敗的問題（huggingface網站訪問失敗問題）

　　最近鼓搗ollama本地運行開發大模型，配合open-webui搭建自己的服務確實不錯，可以本地用cpu運行本地化運行開發大模型，號稱只要內存夠用就行。當然，沒有顯卡支持是真的慢！（這個沒錢解決不了的問題不是本文的關注點。）

　　一切仿佛都很美好（除了需要耐心），但是玩了兩三天后出問題了。這天心血來潮，拉取了一下open-webui的最新鏡像，接著停掉并移除運行中的鏡像，再次啟動新版本鏡像，結果發現啟動不了了。用命令”docker ps --all“查看，發現鏡像啟動18秒后就退出了。于是使用 logs命令查看docker鏡像啟動的日志。

[yh@lnew ~]$ sudo docker ps --all
CONTAINER ID   IMAGE                                                  COMMAND                   CREATED          STATUS                      PORTS     NAMES
196fafb4344e   ghcr.io/open-webui/open-webui:main                     "bash start.sh"           22 seconds ago   Exited (1) 13 seconds ago             open-webui
[yh@lnew ~]$ sudo docker logs 196fafb4344e
No WEBUI_SECRET_KEY provided
Generating WEBUI_SECRET_KEY
Loading WEBUI_SECRET_KEY from .webui_secret_key
No sentence-transformers model found with name sentence-transformers/all-MiniLM-L6-v2. Creating a new one with MEAN pooling.
Traceback (most recent call last):
  File "/usr/local/bin/uvicorn", line 8, in <module>
    sys.exit(main())
             ^^^^^^
  File "/usr/local/lib/python3.11/site-packages/click/core.py", line 1157, in __call__
    return self.main(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^

 ...此處省略不到十萬行...

File \"/usr/local/lib/python3.11/site-packages/transformers/utils/hub.py line 441, in cached_file
raise EnvironmentError
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like sentence-transformers/all-MiniLM-L6-v2 is not the path to a directory containing a file named config.json.
Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'

　　（注意日志中紅色的錯誤行，是我自己著色的）看了日志才知道，原來是open-webui啟動時期需要首先在線安裝transformers庫，但是huggingface.co對于國內來說是經常不可訪問):

　　于是趕緊求助bing，找到一個鏡像網站，"hf-mirror.com"，于是給docker啟動命令中增加一個環境變量"HF_ENDPOINT"，經測試完美解決了。后來又想到開始雖然運行鏡像啟動成功了，但是啟動特別慢，2、3分鐘服務才能訪問，看來也是需要訪問huggingface網站的原因。

　　注意這里設置環境變量HF_ENDPOINT，必須設置為”https://hf-mirror.com“，否則依然會報錯，大概是說未知的scheme，我已經趟過這個坑了。完整的命令行如下：

[yh@lnew ~]$sudo docker run -d -e HF_ENDPOINT=https://hf-mirror.com -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.2.26:11434 -v open-webui/backend/data:/app/backend/data --name open-webui  ghcr.io/open-webui/open-webui:main

posted @ 2024-04-07 14:22 柒零壹閱讀(13807) 評論(0) 收藏舉報

刷新頁面返回頂部

我看青山多嫵媚

一個命令行參數解決open-webui鏡像啟動失敗的問題（huggingface網站訪問失敗問題）