即可插足Docker

发布日期：2024-06-21 15:06    点击次数：81

我有别称AI助手，名字叫'老六'。为什么呢？是因为它巧合辰会一册正经的瞎掰八说念。

没错，这是大模子的错误——'幻觉'。是以LLMs+学问库是管束'幻觉'的步调。

同期关于企业来说，需要磋商信息安全，企业稀奇的学问库昭彰不行行使公域的大模子。那么搭建一套基于腹地大模子的个东说念主/企业学问库，是一个很好的管束决议。

1. 搭建腹地大模子

装配Ollama

咱们先插足Ollama的官网，下载对应操作系统的装配包。下载完成后，胜仗装配即可，莫得任何选项。

https://ollama.com

图片

拉取大模子

在Ollama的官网上不错插足Models页面中张望不错下载的模子，其中Meta的Llama2 7b版块需要八成8GB内存就不错跑起来。若是你要求充足，不错跑13b和70b版块，分散对应16GB和64GB内存。除了Meta的Llama模子，你也不错下载其它的模子。

图片

大开终局，键入如下代码，即可自动下载模子。

ollama run llama2

图片

恭候下载完成后，你就不错胜仗在终局中与大模子进行对话了。如何样，如斯通俗你就领有了一个属于你我方私东说念主的chatAI。

然而不是以为终局里运行对话不那么面子，你但愿在chatGPT那样的网页上进行对话。没问题，让open WebUI来帮你管束问题。

2. 搭建用户界面

Open WebUI是一个可推广的、功能丰富的、用户友好的自托管网页用户界面，旨在全皆离线运行。它维持各式LLM运行才调，包括与Ollama和openAI兼容的API。

装配Docker

在此之前，需要先装配Docker，它就像一个容器，为每个技俩装载了必备的环境和必要要求。

当先咱们去Docker官网，安徽省利丰工艺品有限公司下载Docker Desktop的装配包， 首页-利西奋香精有限公司并进行装配。

图片

装配完成后， 广州市卓城伟业电器有限公司恭候才调加载完成，即可插足Docker。若是你是初次使用，则Containers中是莫得任何技俩标。

装配open WebUI

刚才还是装完ollama以及告捷装配并运行模子后。在终局中运行以下代码，即可运行装配WebUI。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

图片

恭候下载和装配完成后，插足Docker Desktop中，即可看见装配告捷的WebUI技俩。

图片

此时，插足放荡浏览器中，在地址栏中输入：http://localhost:3000 即可造访WebUI。

图片

初次登录，输入邮箱密码注册，即可登录。

图片

遴选模子llama2，蔬菜种子即可在对话框中输入翰墨，运行对话。界面是不是很闇练，很像chatGPT，用着顺遂多了。

open WebUI还有许多其它功能，比如它自己自带RAG。不错在对话框中输入“#”，然后跟上网址，即可造访网页的奉行信息，并进行骨子生成。

还不错上传文档，基于文本进行更深线索的学问交互。若是你对学问库的要求不高，作念到这少许以后，基本能得志大大量个东说念主的需求了。

3. 与学问库邻接

若是你对学问库交互有更大的需求，不错装配以下这款应用。

AngthingLLM

https://useanything.com

这是一个不错基于大模子的学问库交互软件，不错应用腹地大模子，或调用公域大模子API。学问库也雷同不错使用腹地的，况兼果然不占用很大的资源。

图片

完成装配后，先会要求确立大模子。这里不错遴选Ollama的腹地模子，遴选Llama2 7b。

图片

然后会让你遴选镶嵌模样和向量数据库，咱们遴选默许的即可，或者接入外部API。

图片

确立完成后，再为你的职责空间起个名字，即可插足AnythingLLM中。

图片

在庄重使用前，你需要上传你的学问文档，维持多种体式，但图片体式PDF不可读取。

图片

终末，你就不错在对话框中，和你的学问进行对话调换了。

图片

这么，你就领有了一个腹地化的大模子，且能和你我方的学问库交互，信息安全，骨子可靠。还等什么，马上确立起来吧。

图片

—— E N D ——

翰墨：Jason

封面、配图：GPT4 DALLE3 MJ蔬菜种子

本站仅提供存储行状，系数骨子均由用户发布，如发现存害或侵权骨子，请点击举报。

• 极氪
• 插足
• 蔬菜种子
• Docker