本章将通过多个案例实现私有数据集检索功能，虽然 LangChain 也可以实现向量检索，但在企业级项目中，通常会选用 LlamaIndex 这类专门面向检索场景的框架。LlamaIndex 是 MIT 协议开源、以 RAG 为核心的大模型应用开发框架。它充当大模型与私有数据之间的中间层，能够接入 PDF、Word 等各类本地或内网文档，对原始数据构建索引，以此解决大模型无法读取私有资料、容易产生幻觉的问题，可用于搭建知识问答、AI 智能体等应用。
在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。
在大模型开发流程中，分词器（Tokenizers）是文本预处理的核心组件。神经网络无法直接理解人类的原始文本，分词器的核心作用，就是将自然语言转换为模型可用于计算的数值序列。Hugging Face Tokenizers 是底层由 Rust 编写的高性能开源分词库，原生支持 BPE、WordPiece、Unigram 等多种分词算法，内置批量处理、padding、truncate 等能力，可适配绝大多数开源大模型。本文将编写分词器训练脚本，基于高质量语料，参考 Qwen3 分词器的设计思路，从零训练一套自定义分词词典，为后续自研大模型的训练搭建词典基座。
企业内部私有环境部署大模型推理集群时，很容易遇到流量调度混乱、节点负载失衡、会话上下文丢失、接口缺少鉴权防护等一系列问题，单 vLLM 推理节点难以支撑并发请求。本文基于 Ubuntu 22.04 系统环境，搭建 Nginx + vLLM-Semantic-Router + vLLM-Router + vLLM Node 多层推理集群。全文从环境准备、模型拉取、组件分步部署、Nginx SSE 流式反向代理，一直到接口联调验证，完整记录一套可直接复现的落地方案。
LLaMA Factory 是一款开源、低代码、一站式大语言与多模态模型微调框架，用于降低大模型的微调落地门槛。框架兼容 Qwen、LLaMA、ChatGLM、LLaVA 等上百款主流开源模型，支持增量预训练、SFT 监督微调、DPO、KTO、ORPO 等多种训练对齐方案，原生集成 LoRA、QLoRA 量化微调技术，可在消费级显卡完成轻量级模型微调。框架支持可视化网页端和命令行双操作模式，完整覆盖模型训练、评估、权重合并、推理部署全流程，适配科研实验、行业轻量化模型定制等场景。
大模型微调是实现模型领域定制的核心方案，本文承接《千问大模型二次 LoRA‑SFT 指令微调指南》部分内容，聚焦 Qwen3.5‑Base 纯文本基座全参数微调，完整复现 ChatGPT 风格 RLHF 对齐工程链路，覆盖数据预处理、SFT 监督微调、RM 奖励模型训练、PPO 强化学习、DPO 直接偏好优化全实验流程，提供可直接运行的工程脚本，帮助开发者完成千问小模型的垂直领域轻量化定制，为后续模型推理、业务上线部署提供完整实践参考。
大模型微调是实现模型领域定制的核心方案。本文基于 Ubuntu 22.04 服务器环境，依托 NVIDIA RTX 家用高性能显卡，选用千问 Qwen3.5‑0.8B‑Instruct 指令模型，完整演示二次 LoRA‑SFT 微调全流程，包含环境搭建、模型选型、ChatML 数据集制作校验、LoRA 参数配置、SFT 训练、效果验证、权重合并，附带可直接运行的工程脚本，便于开发者快速实现千问模型轻量化定制与上线部署。
本文将教大家在Ubuntu系统中，从零完成Ollama本地大模型部署与Open-WebUI可视化网页配置，全程采用虚拟环境隔离依赖、配置系统自启服务，最终搭建可远程访问的本地AI交互网页，无需联网调用、运行稳定、适配CPU及GPU本地部署场景，新手可直接复刻操作。
本文基于 Ubuntu 22.04 服务器环境，依托 NVIDIA RTX 家用高性能显卡，手把手讲解MiniMind轻量大语言模型从零搭建、数据集部署、全流程训练、可视化Web服务搭建及GGUF格式量化的完整实操方案。全程摒弃复杂高阶封装，基于原生PyTorch实现，适配个人开发者、人工智能入门学习者低成本完成大模型训练全链路的需求，整套方案仅需极低算力与成本，3小时即可完成基础对话训练，完美适配新手入门大模型训练、模型私有化部署、及底层原理学习等场景，是一套低成本、可落地、可复现全流程实战教程。
本文基于 Ubuntu 26.04 系统、纯CPU无CUDA硬件环境，完整演示基于 llama.cpp 实现 HF 原始模型转换 GGUF 格式与CPU量化的落地实操流程。以 Qwen2-0.5B-Instruct 中文对话模型为案例，循序渐进讲解Swap分区配置、系统依赖安装、llama.cpp源码编译、Python虚拟环境部署、原生HF模型下载、HF模型转GGUF格式封装、Q4_K_M等级量化的完整步骤。