LyShark®

本文提出面向二进制安全的大模型多智能体框架，系统由底层沙箱存储集群、多领域安全专家智能体、AI网关MCP工具层、VLLM大模型算力调度与结果可视化Web平台组成。框架融合静态逆向、动态调试、内存堆栈捕获与漏洞验证能力，解决单纯静态分析无法确认漏洞可利用性的痛点，实现二进制漏洞挖掘与恶意代码分析全链路自动化。项目构想工程量巨大，现开放整套架构思路，欢迎国内安全团队共同研讨、自行落地，抢占AI时代信息安全领域的技术先机。

二进制哨兵是首款面向 AI Agent 智能化场景的原生动态调试引擎，聚焦解决传统调试工具无法被智能体调用、接口非标准化、协同与规模化能力不足等问题。产品以调试能力接口化、大模型调用原生化为设计理念，将专业级进程调试、逆向分析、内存操作、反汇编、样本追踪等完整能力，封装为 HTTP+JSON 标准化工具接口，让大模型与 AI Agent 无需适配复杂交互，即可像调用普通服务接口一样，自主驱动二进制逆向、漏洞挖掘、恶意样本分析等任务，最大化释放安全专家生产力，实现逆向分析效率指数级提升。

传统LangChain是LLM应用的组件工具箱，以Chain与Runnable为核心抽象，提供提示词模板、文档处理、向量检索、工具调用、记忆能力等标准化组件，目的是快速构建简单线性的LLM任务。而LangGraph是面向复杂场景的状态图编排运行时，专注于有状态、可动态迭代的智能体工作流精细管控。它基于节点、边与全局状态三大原语，并支持带环拓扑结构，能够高效适配智能体自主决策、循环迭代的复杂生产级业务场景。

前文《基于 LlamaIndex+PostgreSQL 实现 RAG 持久化》已完成向量数据库持久化部署，并封装了 RAGService 基础检索服务，解决了 RAG 系统的向量存储与索引持久化核心能力。但单纯依赖基础向量检索，普遍存在语义漂移、关键词精准匹配能力弱、场景适配性差等工业落地问题，难以适配企业复杂知识库的检索诉求。基于此，本节将重点讲解工业界主流的 Hybrid‑RAG 混合检索方案，并提供完整落地实现方案。

前文《基于 LlamaIndex 实现 RAG 向量检索入门》已完成本地大模型与 Embedding 向量检索的基础搭建，但仅支持临时向量存储，无法持久化复用。本文将在此基础上实现 RAG 持久化存储方案，借助 PostgreSQL + pgvector 向量插件对接 LlamaIndex。环境采用 CentOS Stream 10，演示数据库编译安装与插件配置，基于 VectorStoreRetriever 实现持久化向量检索，搭建可稳定复用的本地 RAG 服务。

本章将通过多个案例实现私有数据集检索功能，虽然 LangChain 也可以实现向量检索，但在企业级项目中，通常会选用 LlamaIndex 这类专门面向检索场景的框架。LlamaIndex 是 MIT 协议开源、以 RAG 为核心的大模型应用开发框架。它充当大模型与私有数据之间的中间层，能够接入 PDF、Word 等各类本地或内网文档，对原始数据构建索引，以此解决大模型无法读取私有资料、容易产生幻觉的问题，可用于搭建知识问答、AI 智能体等应用。

在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。

在大模型开发流程中，分词器（Tokenizers）是文本预处理的核心组件。神经网络无法直接理解人类的原始文本，分词器的核心作用，就是将自然语言转换为模型可用于计算的数值序列。Hugging Face Tokenizers 是底层由 Rust 编写的高性能开源分词库，原生支持 BPE、WordPiece、Unigram 等多种分词算法，内置批量处理、padding、truncate 等能力，可适配绝大多数开源大模型。本文将编写分词器训练脚本，基于高质量语料，参考 Qwen3 分词器的设计思路，从零训练一套自定义分词词典，为后续自研大模型的训练搭建词典基座。

企业内部私有环境部署大模型推理集群时，很容易遇到流量调度混乱、节点负载失衡、会话上下文丢失、接口缺少鉴权防护等一系列问题，单 vLLM 推理节点难以支撑并发请求。本文基于 Ubuntu 22.04 系统环境，搭建 Nginx + vLLM-Semantic-Router + vLLM-Router + vLLM Node 多层推理集群。全文从环境准备、模型拉取、组件分步部署、Nginx SSE 流式反向代理，一直到接口联调验证，完整记录一套可直接复现的落地方案。

LLaMA Factory 是一款开源、低代码、一站式大语言与多模态模型微调框架，用于降低大模型的微调落地门槛。框架兼容 Qwen、LLaMA、ChatGLM、LLaVA 等上百款主流开源模型，支持增量预训练、SFT 监督微调、DPO、KTO、ORPO 等多种训练对齐方案，原生集成 LoRA、QLoRA 量化微调技术，可在消费级显卡完成轻量级模型微调。框架支持可视化网页端和命令行双操作模式，完整覆盖模型训练、评估、权重合并、推理部署全流程，适配科研实验、行业轻量化模型定制等场景。