个人知识库问答入门：AnythingLLM、Dify 本地部署与文档切片怎么核对（2026）

摘要：想把 PDF、笔记变成「可追问的本地知识库」，关键不在换哪家聊天 App，而在部署形态、文档切片与嵌入、以及数据出不出本机。本文按 AnythingLLM 官方 Docker 说明与 Dify 自托管文档，整理一套开源本地 RAG 入门核对清单，并对照《生成式人工智能服务管理暂行办法》划清个人自用与对外服务的边界。

把一堆 PDF、Markdown 笔记丢进对话框，模型经常「答得像、出处对不上」。个人知识库问答（常见叫 RAG：检索增强生成）的思路更朴素：先把文档切成小段、做成可检索的向量，提问时只把相关片段塞进上下文，再让模型组织答案。AnythingLLM 和 Dify 都是开源路线里上手较快的两套：前者偏「本机/私有化聊天工作区」，后者偏「可编排的知识库与应用」。本文只做入门核对，不写行情，也不承诺某套工具「一定答得准」。

查询日期：2026-10-10，北京时间。界面与命令以官方文档为准；AnythingLLM 官网文档站本次在 box 内触发了 Cloudflare 人机验证，部署命令以 GitHub 官方 HOW_TO_USE_DOCKER.md 为准，切片参数以官方文档公开说明为准。

和本站已有文的分工：Obsidian 笔记库见Obsidian + AI 插件搭建个人知识库；整份 PDF 翻译校对见AI 翻译整份 PDF；云端大模型 App 选型见国内大模型 App 怎么选。本文只讲 本地/自托管 RAG 的部署与切片。

一、先分清三条路：本机、Docker、自托管云

形态	典型做法	适合	要盯的点
本机桌面 / 本地端口	AnythingLLM Desktop，或 Docker 映射到 `localhost`	个人笔记、不出公网	磁盘权限、端口别对公网暴露
Docker Compose 自托管	Dify 官方 Docker Compose；AnythingLLM 官方 Docker 镜像	小团队内网、长期挂着	持久化卷、备份、升级回滚
接云端模型 API	本地只做检索，推理走远端 API	本机算力不够	文档切片与向量可仍在本地，但提问文本可能出域

没有「最好」：数据敏感就优先本机推理（可配 Ollama 本地模型）；要做多人权限与工作流，再看 Dify 一类平台。提示词怎么写清楚任务与约束，可对照提示词四段框架。

二、AnythingLLM：Docker 挂载存储再跑

官方 GitHub 文档写明：用 Docker 跑 AnythingLLM 时，必须把存储目录挂到宿主机，否则容器一重启数据就没了。Linux/macOS 常见流程是：先 docker pull mintplexlabs/anythingllm，再设置 STORAGE_LOCATION，创建目录与 .env，用 -v 挂载后映射 3001 端口。

个人知识库问答入门：AnythingLLM、Dify 本地部署与文档切片怎么核对（2026）-有序 — AnythingLLM 官方 GitHub《HOW_TO_USE_DOCKER》：docker pull 与 Linux/macOS、Windows 挂载存储后 docker run 示例（映射 3001 端口）（2026-10-10，box 内 Chrome 截图）

核对清单（按官方说明理解，不替代原文档）：

镜像与持久化：确认挂载的是 /app/server/storage（及 .env），不要只跑「无卷」的临时容器。
工作区与嵌入：上传文档不等于模型已「读过」——需要嵌入（embed）进工作区后，检索才会用到。官方 RAG 说明强调：模型通常只看到少量相关文本块，而不是整库全文。
切片参数：官方 Text Splitting 文档写明默认 chunk size 1000 字符、overlap 20；改参数只影响之后新嵌入的文档，旧文档要删掉再嵌才能换切片。
权限：官方提醒 Linux 上自定义存储路径若属 root，可能导致容器内 anythingllm 用户写不进——优先用家目录路径，或按文档 chown 到镜像使用的 UID/GID。

三、Dify：Docker Compose 与知识库分段

Dify 自托管文档（中文版）把 Docker Compose 部署写成「先准备硬件与 Docker，再克隆并启动」。硬件门槛官方写的是 CPU ≥ 2 核、内存 ≥ 4 GiB；macOS 还提示 Docker Desktop 建议至少 2 CPU / 8 GiB。

知识库侧，重点不在「传了几个文件」，而在怎么切：

模式	检索大致怎么走	更合适
通用模式	匹配到的分段直接返回	FAQ、词条、短条目彼此独立
父子模式	子段匹配提问，返回父段给模型当上下文	手册、论文等「局部命中但需要上下文」

高质量索引下，Dify 文档还区分向量检索、全文检索与混合检索（可配 Top K、分数阈值、Rerank 等）。入门先用默认，答非所问时再动切片与检索，不要一边改模型一边改切片——否则分不清是哪一层的问题。

四、文档切片：先想「一问一答需要多大一块」

无论 AnythingLLM 还是 Dify，切片都是在做同一件事：块太大 → 噪声多、占窗口；块太小 → 句子被切断、答案缺前提。可操作的入门顺序：

先清洗：去掉页眉页脚、扫描坏页、重复目录；Dify 文档也提示可替换连续空白与换行。
按文档形态选策略：词条、FAQ 用较小块；叙事、规章用较大块或父子分段。
保留一点重叠：Dify 用「分段重叠」避免关键句落在边界；AnythingLLM 默认 overlap 较小，长段落可酌情加大后再重新嵌入对比。
问法与入库一致：入库是「操作步骤」，提问却写「能不能赚钱」——检索容易偏。提问可参考提示词框架把任务与格式写清。
答案必须可回源：让系统返回引用片段，再人工点开原文；数字、条款、截止日期一律按幻觉核查清单过一遍。

做 PPT、短视频稿时同样要「先结构后生成」，流程可对照AI 做 PPT 六步——知识库问答也是「先检索、后生成」，不是一键定论。

五、隐私与合规边界：本地部署 ≠ 可以随便对外提供

本地部署解决的是你自己的数据路径，不自动等于「可以面向公众提供生成式 AI 服务」。中国政府网公布的《生成式人工智能服务管理暂行办法》适用于在中华人民共和国境内利用生成式人工智能技术向公众提供生成文本、图片、音频、视频等内容的服务；同时写明：行业组织、企业、教育和科研机构等研发、应用生成式人工智能技术，未向境内公众提供生成式人工智能服务的，不适用本办法。