统一集成 LLM 推理、模型微调、图像标注三大能力。
| 模块 | 功能 | 目录 |
|---|---|---|
| Llama 推理 | llama.cpp 高性能推理,支持 Qwen3.5 | / |
| LLaMA Factory | 100+ 大模型零代码微调平台 | /llamaFactor |
| SAM3 AN | 智能图像标注工具 | /sam3-an |
./start-llama.sh
访问 http://localhost:11434
| 模型 | 显存 |
|---|---|
| qwen3.5:27b | ~20GB |
| qwen3.5:35b | ~25GB |
curl http://localhost:11434/health # 健康检查
pkill -f llama-server # 停止
cd llamaFactor
pip install -e .
llamafactory-cli webui
访问 http://localhost:7860
支持 LLaMA、Qwen、Mistral、DeepSeek 等全参数/LoRA 微调。
cd sam3-an
pip install -r requirements.txt
python app.py
访问 http://localhost:5000
支持文本/点击/框选分割,导出 YOLO/COCO 格式。