局域網(wǎng)windows服務(wù)器部署deepseek+chatbox+局域網(wǎng)訪問設(shè)置詳解+本地知識(shí)庫(kù)搭建

1、從能上網(wǎng)的電腦上下載3個(gè)文件 ：

     ollama安裝文件：  OllamaSetup.exe
  chatbox安裝文件： Chatbox-1.11.5-Setup.exe


2、將這3個(gè)文件復(fù)制到d:\ollama   （我們是為了把所有程序都安裝到此目錄）
在D盤或其他盤內(nèi)創(chuàng)建一個(gè)名為ollama的文件夾，將ollama安裝包移動(dòng)至該文件夾內(nèi)

在cmd命令窗口輸入“D:”將目錄切換到D盤

輸入該指令：

setx OLLAMA_MODELS d:\ollama\models/M

然后回車，提示“成功”就說明輸入成功了

接下來(lái)繼續(xù)

輸入cd ollama 回車

再輸入OllamaSetup.exe /dir=d:\ollama 回車

等待一會(huì)后，會(huì)自動(dòng)彈出該界面，點(diǎn)擊“Install/安裝”進(jìn)行安裝

檢測(cè)是否安裝成功：在cmd令窗口輸入：D: 回車

輸入：cd ollama 回車

再輸入ollama -v,如果像下面這樣

顯示“ollama version is 0.5.12”

就是安裝成功了

3、設(shè)置環(huán)境變量

在D盤創(chuàng)建一個(gè)用于安裝ollama模型的文件夾，文件夾名稱設(shè)置成“ollamamx”(文件夾名稱可以自定義)

創(chuàng)建一個(gè)“系統(tǒng)變量”，

變量名：OLLAMA_MODELS

變量值：在“瀏覽目錄”找到我們剛才在D盤創(chuàng)建的“ollamamx”文件夾

下面我們?cè)賱?chuàng)建一個(gè)跟“系統(tǒng)變量”一樣的“用戶變量”

然后把ollama退出重新打開：桌面右下角找到“ollama”

鼠標(biāo)右鍵點(diǎn)擊選擇“Quit ollama/退出ollama”

退出后再打開ollama

4、 下載大模型文件

    如果部署的服務(wù)器無(wú)法直接連外網(wǎng)，可以先在能上網(wǎng)的一臺(tái)筆記本上按照上述說明部署一個(gè)環(huán)境，然后在   

cmd窗口輸入： ollama run deepseek-r1:14b    （可以從官網(wǎng)https://ollama.com/library/deepseek-r1找到下載不同大型模的命令）

  大模型文件開始下載

  等下載完成后，將ollamamx  文件夾復(fù)制到部署的服務(wù)器上，替換服務(wù)器上的ollamamx文件夾。

   

5、cmd窗口輸入：ollama list 回車 查看已安裝的模型

復(fù)制模型名稱然后在指令窗口輸入：ollama run 模型名稱 回車即可進(jìn)入對(duì)話

如何退出對(duì)話？

A:指令窗口輸入：/bye

6、部署chatbox

     安裝chatbox，點(diǎn)擊左下角的設(shè)置 -模型提供方 選擇： OLLAMAAPI   模型選擇 deepseek-r1:14b---保存

7、設(shè)置局域網(wǎng)訪問：
     默認(rèn)Ollama僅允許本地訪問，需創(chuàng)建Ollama變量，并設(shè)置系統(tǒng)環(huán)境變   
使用管理員身份打開 cmd窗口   執(zhí)行如下命令：
    setx  OLLAMA_HOST  "0.0.0.0"
    setx OLLAMA_ORIGINS "*"


   然后設(shè)置兩個(gè)系統(tǒng)環(huán)境變量

系統(tǒng)變量OLLAMA_HOST  值設(shè)置為  0.0.0.0
系統(tǒng)變量OLLAMA  ORIGINS 值設(shè)置為  *      （備注  OLLAMA和 ORIGINS中間是空格，不是下劃線）  


電腦右下角右鍵退出 Ollama程序后，重新啟動(dòng)Ollama程序。
進(jìn)入 chatbox 設(shè)置， api域名由  http://127.0.0.1:11434修改為  http://ip:11434

局域網(wǎng)中其他電腦上：
    安裝chatbox軟件， 然后設(shè)置-模型提供方 選擇： OLLAMAAPI  API域名：http://ip:11434  模型選擇 deepseek-r1:14b---保存

部署本地知識(shí)庫(kù)
1、下載 AnythingLLM，https://anythingllm.com/desktop
2、在離線服務(wù)器上安裝時(shí)，安裝目錄 d:\AnythingLLm，安裝完之后會(huì)報(bào)錯(cuò)，提示需要聯(lián)網(wǎng)下載一些依賴庫(kù)。
3、找一臺(tái)聯(lián)網(wǎng)的機(jī)器，安裝 anythingLLM，安裝速度比較慢，而且最后也報(bào)錯(cuò)了，根據(jù)網(wǎng)上的建議，將dns修改為8.8.8.8，然后安裝python,重新安裝，安裝正常。然后將D:\deepseek\AnythingLLM\resources\ollama\lib 目錄復(fù)制覆蓋到離線服務(wù)器上。

4、打開anythingllm-配置：
      外觀-displaylanguage  選擇  chinese
     LLM首選項(xiàng)：  LLM提供商，選擇 Ollama
     向量數(shù)據(jù)庫(kù): 不變，默認(rèn)的免費(fèi)，其他有速度更快的，但是收費(fèi)
     Embedder首選項(xiàng)：嵌入引擎提供商： Ollama
     保存

5、創(chuàng)建新工作區(qū)，工作區(qū)右側(cè)點(diǎn)擊設(shè)置
     聊天設(shè)置：工作區(qū)LLM提供者 Ollama，聊天模式：查詢,聊天提示：改為： 你是一個(gè)知識(shí)庫(kù)專家，所有問題請(qǐng)用中文回答
6、向量數(shù)據(jù)庫(kù)：  搜索偏好： Accuracy  Optimized(準(zhǔn)確性提升) ，最大上下文片段，改為10
7、代理配置：  Ollama
8、本地知識(shí)庫(kù)上傳。
   發(fā)現(xiàn)問題：   AnythingLLM 只能單人使用，局域網(wǎng)中其他用戶無(wú)法使用，除非其他人再安裝AnythingLLM，但是其他人安裝AnythinkLLM 又需要配置知識(shí)庫(kù)，上傳知識(shí)庫(kù)。
9、所以需要安裝 Docker  AnythingLLM的方式，可以供局域網(wǎng)用戶使用。



經(jīng)過測(cè)試，AnythingLLM  搜索效果不理想， 后面準(zhǔn)備安裝  ragflow
首先需要確保服務(wù)器操作系統(tǒng)版本滿足 docker desktop 最低要求（ win10  19044之上），如果不滿足，請(qǐng)先聯(lián)網(wǎng)更新系統(tǒng)，建議升級(jí)至19045
1、在 BIOS/UEFI 中啟用 Intel VT-x/AMD-V
  啟用必需的 Windows 功能

• 啟用“虛擬機(jī)平臺(tái)”與“適用于 Linux 的 Windows 子系統(tǒng)”
  

• 打開【控制面板】→【程序】→【啟用或關(guān)閉 Windows 功能】。
• 勾選Hyper-V 、虛擬機(jī)平臺(tái)、適用于 Linux 的 Windows 子系統(tǒng)，媒體功能、遠(yuǎn)程差分壓縮API支持
  

2、啟用 WSL 功能powershellCopy#
以管理員身份運(yùn)行 PowerShell dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart
wsl  --install   (如果此步驟卡住，或無(wú)法運(yùn)行，可以將   適用于 Linux 的 Windows 子系統(tǒng)功能刪除，然后再執(zhí)行  wsl --install
  wsl   --update
wsl --set-default-version 2
Restart-Computer

• 開始菜單中出現(xiàn)  Ubuntu 虛擬機(jī)，第一次運(yùn)行時(shí)會(huì)提示建立用戶：
  
  在 PowerShell 終端或 Ubuntu 窗口中，按照以下步驟輸入信息：
  1?? 輸入你的 UNIX 用戶名
  在 Enter new UNIX username: 后輸入你想要的 Linux 賬戶名，例如：administrator
  
  
  然后按 Enter。
  ? 注意：
  
  
  • 不能使用大寫字母。
  • 不能有空格。
  • 這個(gè)用戶名將是默認(rèn)用戶，具有 sudo 權(quán)限（類似 Windows 的管理員權(quán)限）。
    
  2?? 創(chuàng)建一個(gè)密碼
  它會(huì)提示：
  
  Enter new UNIX password:
  輸入你的密碼（?? 輸入時(shí)不會(huì)顯示任何字符，這是 Linux 的安全特性），然后按 Enter。
  ? 密碼要求：
  • 必須記住這個(gè)密碼！ 因?yàn)橐院笫褂?sudo（管理員權(quán)限）時(shí)需要輸入它。
  • 至少6個(gè)字符，盡量使用大小寫字母、數(shù)字、特殊字符的組合，以增強(qiáng)安全性。
    
  
  3?? 確認(rèn)密碼Retype new UNIX password:
  
  再次輸入 相同的密碼，然后按 Enter。
  如果輸入正確，你會(huì)看到類似：
  passwd: password updated successfullyInstallation successful!
  
  說明你的 WSL Ubuntu 用戶已創(chuàng)建，并且安裝完成 ！
  
  四. 接下來(lái)可以做什么？
  1?? 測(cè)試 Ubuntu 是否成功安裝 在 Ubuntu 終端中輸入：
  whoami
  如果返回的是你的用戶名（例如 tracy），說明賬戶創(chuàng)建成功。
  2?? 檢查 WSL 版本 在 PowerShell 運(yùn)行：
  wsl --list --verbose
  
  如果返回：
  NAME            STATE           VERSIONUbuntu-22.04    Running         2
  
  說明 WSL 2 已成功啟用。
  3?? 更新 Ubuntu 首次使用建議更新系統(tǒng)軟件，在 Ubuntu 終端中輸入：<br/>sudo apt update && sudo apt upgrade -y<br/>
  然后輸入剛才創(chuàng)建的 密碼 進(jìn)行更新。
  
  你現(xiàn)在可以開始使用 Ubuntu 22.04 了！
  你可以：
  • 在 PowerShell 或 CMD 運(yùn)行 wsl 進(jìn)入 Linux 終端：powershell
    wsl
  • 使用 exit 退出 WSLsh
    exit
  • 直接在 Windows 終端中打開 Ubuntu 按 Win + S 搜索 Ubuntu 22.04，打開即可。
    
• 點(diǎn)擊確定后，重啟計(jì)算機(jī)。
  

安裝 ragflow
1、下載 ragflow    https://github.com/infiniflow/ragflow    兩種方法，一種直接下載，另一種使用  git clone https://github.com/infiniflow/ragflow.git
2、安裝docker
到docker官網(wǎng)下載4.29.0版本安裝包（4.30.0及以上不支持更改鏡像）。


安裝docker之后，點(diǎn)擊桌面上的 docker圖標(biāo)進(jìn)入，然后修改鏡像源：

docker默認(rèn)不允許修改，進(jìn)入設(shè)置-General,  選中/或不選中  Expose daemon on tcp:/localhost:2375 without TLS 之后，就允許修改了

點(diǎn)擊  Docker Engine,將文本框中的內(nèi)容替換為:
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "http://mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com",
    "https://docker.hpcloud.cloud",
    "https://docker.m.daocloud.io",
    "https://docker.unsee.tech",
    "https://docker.1panel.live",
    "https://docker.chenby.cn",
    "http://mirror.azure.cn",
    "https://dockerpull.org",
    "https://dockerhub.icu",
    "https://hub.rat.dev"
  ]
}

點(diǎn)擊  apply&restart

3、找到剛才下載好的  ragflow 文件夾，  進(jìn)入 d:\deepseek\ragflow\docker
    編輯 .env文件， 將RAGFLOW_IMAGE=infiniflow/ragflow:v0.18.0-slim  注釋掉，將RAGFLOW_IMAGE=infiniflow/ragflow:v0.18.0  取消注釋
   
4、cmd
d:\deepseek\ragflow>     docker compose -f docker/docker-compose.yml up -d


    第一次運(yùn)行，速度很慢，運(yùn)行完成后，

打開網(wǎng)頁(yè)，輸入 localhost:80   
這里注意， 有的瀏覽器localhost:80  只有標(biāo)題顯示ragflow,頁(yè)面是空白，這是瀏覽器不支持，更換微軟瀏覽器或者firefox 確認(rèn)可以登錄。

注冊(cè)賬號(hào)登錄
修改語(yǔ)言為中文
點(diǎn)擊最右側(cè)的設(shè)置按鈕-模型提供商  添加模型  Ollama  ,   [chat     deepseek-r1:14b   http://ip:11434 ]

設(shè)置默認(rèn)模型：   deepseek-r1:14b   嵌入模型  默認(rèn)，  保存
創(chuàng)建知識(shí)庫(kù)  ，上傳文檔
聊天-創(chuàng)建助理
聊天測(cè)試。