Ollama
- https://ollama.com/
- 官网下载即可，用于跑模型
模型
- 我机器是40908G,只考虑16B以下模型
- Qwen/Qwen2.5-Omni-7B
- 要转换才能在Ollama上跑
- Google/gemma3:27b
- 8G内存输出很慢，建议12B
- qwen2.5-coder:14B
- 发现25年有更新。。
- ~~starcoder2:7B
- 不响应中文。。是有点扯
- deepseek-coder-v2:16B
RagFlow
- https://github.com/infiniflow/ragflow
- 别外一个RAG，看上去比Anything LLM更简洁
安装
- wsl里安装docker
- win10 如果docker不能用的话建议在商店安装wsl,或ps里运行wsl --update,更新完wsl后就可以用systemd了
- docker.io版本可能会比较低,建议安装docker-ce使用docker-ce源apt安装即可
- 根据官方文档一律安装即可
- https://github.com/infiniflow/ragflow/blob/main/README_zh.md
- 建议使用带模型的镜像
- 建议根据文档设备走阿里/华为云镜像服务
- 建议在.env里加一行HF镜像站配置 HF_ENDPOINT=https://hf-mirror.com,便于以后拉模型
- ragflow 完全版镜像有8个G会下载很久...
- 折腾了好久,发现用处并不大
- 核心场景是根据表结构写sql,但是就算使用知识库,他也不知道怎么找到最匹配的表
- sudo docker compose -f docker-compose.yml down -v 再见!