在 LlamaIndex 中使用 SGLang 高性能 LLM 服务llama-index-llms-sglang 集成指南【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index导读本文围绕 LlamaIndex 官方 API 参考文档SGLang类展开系统讲解llama-index-llms-sglang集成包的定位、安装、完整参数配置、四种调用方式complete / chat / stream / async以及与 SGLang Server 通信的底层实现帮助你在 LlamaIndex 数据框架中直接驱动本地或远端 SGLang 推理服务并正确配置采样参数、消息模板与服务地址。什么是 llama-index-llms-sglangSGLang 是一个面向大模型推理的高性能服务框架其服务端通过 OpenAI 兼容的 HTTP 接口对外提供文本补全与流式输出能力。为了让 LlamaIndex 应用能够无缝接入这类自托管服务官方提供了llama-index-llms-sglang这一 LLM 集成包其核心是位于 base.py 中的SGLang类。该类继承自llama_index.core的LLM基类from llama_index.core.llms.llm import LLM因此它天然具备 LlamaIndex LLM 的统一抽象能力可以直接作为LLM传入索引查询引擎、Agent、程序化Program等上层组件同时它不直接加载模型权重而是通过 HTTP 请求连接一个已经由 SGLang Server 启动的推理端点默认http://localhost:30000源码中称其为 connects to an SGLang server for high-performance LLM inference。在 docs 侧的 API 参考页 sglang.md 使用 mkdocstrings 指令::: llama_index.llms.sglang自动渲染该类本文内容即围绕该页所指向的类与其配套源码展开。安装与依赖约束包名为llama-index-llms-sglang当前仓库内版本为 0.2.0作者信息、构建配置可见于 pyproject.toml。安装方式源码 docstring 中的官方说明pip install llama-index-llms-sglang从 pyproject.toml 可见该包的运行时依赖与约束项约束Python3.10,4.0llama-index-core0.13.0,0.15SGLang 类所继承的LLM抽象与回调体系来自核心包requests2.31.0HTTP 客户端依赖见utils.py安装后从顶层导入即可使用init.py 只对外暴露一个符号from llama_index.llms.sglang import SGLang需要注意的是本集成只负责客户端一侧运行前必须自行启动一个 SGLang Server例如通过 sglang 官方工具加载模型并监听 30000 端口类本身不会做模型下载或推理。快速开始SGLang类 docstring 给出了可直接复用的最小示例位于 base.py。由于 Mistral Instruct 等对话模型需要特定的提示词包装格式示例中通过自定义messages_to_prompt/completion_to_prompt完成from llama_index.llms.sglang import SGLang # 针对 mistral instruct 定制消息格式化 def messages_to_prompt(messages): prompt \n.join([str(x) for x in messages]) return fs[INST] {prompt} [/INST] /s\n def completion_to_prompt(completion): return fs[INST] {completion} [/INST] /s\n llm SGLang( modelmistralai/Mistral-7B-Instruct-v0.1, api_urlhttp://localhost:30000, temperature0.7, max_new_tokens256, messages_to_promptmessages_to_prompt, completion_to_promptcompletion_to_prompt, ) response llm.complete(What is a black hole?) print(response)这段代码的完整执行链路是complete()将prompt连同采样参数组装为请求体POST 到{api_url}/v1/completions解析响应后包装为CompletionResponse返回response.text即为模型生成的文本。构造参数与默认值速查SGLang.__init__的全部参数名称、默认值与含义在 base.py 的构造函数与各 PydanticField上均有明确声明下表为字段默认值与语义参数默认值说明modeldefault模型名源码注释说明主要用于元数据不参与推理端选择api_urlhttp://localhost:30000SGLang Server 的 API 地址实际请求会拼上/v1/completionsapi_keyNone服务端鉴权所需的 API key提供后以Bearer形式写入请求头temperature1.0采样温度max_new_tokens512每条输出序列最多生成的 token 数top_p1.0控制参与采样的 top tokens 累计概率top_k-1控制参与采样的候选 token 数量-1表示不做 top-k 截断frequency_penalty0.0依据 token 在已生成文本中出现频率施加的惩罚presence_penalty0.0依据 token 是否已出现在生成文本中施加的惩罚stopNone一旦生成即终止输出的字符串列表n1对同一 prompt 返回的输出序列数量skip_special_tokensTrue输出中是否跳过特殊 tokenregexNone可选的约束生成正则模式structured/constrained decodingis_chat_modelFalse是否将模型标记为 chat 模型反映到LLMMetadataadditional_kwargs{}透传给 SGLang API 的额外关键字参数除上述推理参数外构造函数还兼容 LlamaIndex LLM 的标准扩展点callback_manager、system_prompt、messages_to_prompt、completion_to_prompt、pydantic_program_mode、output_parser。若未提供messages_to_prompt会回退到核心包generic_utils中的通用实现completion_to_prompt则默认为恒等函数见 base.py。内部采样参数组装SGLang通过_model_kwargs属性base.py把上述字段统一打包成字典property def _model_kwargs(self) - Dict[str, Any]: base_kwargs { temperature: self.temperature, max_new_tokens: self.max_new_tokens, top_p: self.top_p, top_k: self.top_k, frequency_penalty: self.frequency_penalty, presence_penalty: self.presence_penalty, stop: self.stop, n: self.n, skip_special_tokens: self.skip_special_tokens, } if self.regex: base_kwargs[regex] self.regex return {**base_kwargs, **self.additional_kwargs}从源码可看出两个关键设计其一regex仅在非空时才被加入请求参数避免给不支持约束生成的服务端发送无用字段其二additional_kwargs拥有最高优先级后合并可用于追加_model_kwargs未覆盖的任意 SGLang 采样参数每次调用时的临时参数则通过**kwargs进一步覆盖_get_all_kwargs合并顺序即字段默认值 → additional_kwargs → 调用时 kwargs。与服务端通信端点的构成与请求实现SGLang的服务端通信并不直接使用 OpenAI SDK而是封装在两个工具函数中utils.pypost_http_request(api_url, sampling_params, stream, api_key)使用requests.post发送 JSON 请求请求头固定携带User-Agent: LlamaIndex SGLang Client与Content-Type: application/json提供api_key时追加Authorization: Bearer key。stream参数会同时写入请求体并用于底层requests的流式读取utils.py。get_response(response)解析非流式响应。它按优先级兼容三种返回结构OpenAI 兼容格式的choices[i].text补全、choices[i].message.contentchat 补全、以及 SGLang 原生text字段utils.py。端点统一使用 OpenAI 兼容路径/v1/completions非流式endpoint f{self.api_url}/v1/completionsbase.py流式同一路径streamTruebase.py。因此api_url只需要填写服务根地址例如http://localhost:30000无需手动附带/v1/completions。四大调用入口与内部实现SGLang完整实现了 LlamaIndexLLM基类的补全/对话/同步/异步方法均以装饰器llm_completion_callback()/llm_chat_callback()标记以便接入 LlamaIndex 的事件与回调体系base.py。complete非流式补全complete(prompt)将_model_kwargs与调用时临时参数合并后额外写入prompt与model两个键并 POST 至/v1/completions随后用get_response取出文本数组的首个元素包装为CompletionResponsebase.py。chat对话接口chat(messages)先把消息序列经self.messages_to_prompt渲染成单个文本 prompt再复用complete得到补全结果最后经核心包工具completion_response_to_chat_response转换为ChatResponsebase.py。这意味着对 SGLang 服务端而言chat 本质上仍是文本补全对话格式完全取决于你提供的messages_to_prompt——这正是快速开始示例中自定义 Mistral Instruct 模板的原因。若模型是 Qwen/DeepSeek 等带 chat template 的模型也可让服务端在启动参数中接管格式化。stream_complete / stream_chat流式输出stream_complete以streamTrue发起请求然后按行读取 SSE 分块base.py逐段解析若行以data:开头则剥离前缀若内容为[DONE]则终止生成否则json.loads解析后从data[choices][0][text]读取增量delta累加为response_str每次yield一个携带累计文本与本次增量的CompletionResponse。stream_chat则调用messages_to_prompt后转交stream_complete再用核心包stream_completion_response_to_chat_response转成ChatResponseGen。单元测试 test_llms_sglang.py 通过 Mock 三块 SSE 数据Hello、world、[DONE]验证了上述解析逻辑断言共产出 2 个增量且首块delta Hello。异步接口achat/acomplete/astream_chat/astream_complete均已提供base.py。从源码结构看异步变体目前是通过对同步方法做薄封装内部使用同步迭代或直接调用同步实现实现的属于以同步实现为底座、异步包装其上的模式在面向高并发异步场景时需要关注这一实现特征对吞吐的影响。metadata 与 is_chat_model 的联动SGLang.metadata属性返回LLMMetadata(model_nameself.model, is_chat_modelself.is_chat_model)base.py与测试test_metadata的断言metadata.model_name test-model一致。由于is_chat_model默认FalseLlamaIndex 上层默认将其视为补全型模型若你的 SGLang 服务实际承担对话职责并希望上层按 chat 语义调度应在构造时显式传入is_chat_modelTrue。class_name()返回字符串SGLang可用于序列化/去序列化与日志标识base.py。典型使用场景与注意事项把SGLang接入 RAG 流水线的方式与其他任何 LlamaIndex LLM 一致例如直接喂给索引的as_query_engine(llm...)或作为 Agent 的llm使用from llama_index.core import Settings from llama_index.llms.sglang import SGLang Settings.llm SGLang( modelQwen/Qwen2.5-7B-Instruct, api_urlhttp://localhost:30000, temperature0.2, max_new_tokens1024, )实际落地时请重点核对以下前提先起服务再建客户端SGLang不校验服务可达性仅在实际调用时发起 HTTP 请求启动顺序错误会得到连接类异常而非构造期报错。模型名匹配model字段仅作元数据记录真正加载哪个模型由 SGLang Server 启动参数决定多模型部署时应确保二者对应以免语义错配。提示词格式对需要 chat template 的开源对话模型务必提供匹配的messages_to_prompt/completion_to_prompt如示例中的 Mistral Instruct 包装否则生成质量与格式会受影响。约束生成需要结构化输出如 JSON schema 正则约束时可通过regex参数开启 constrained decoding服务端不支持时可改用additional_kwargs传递兼容字段。鉴权api_key支持 Bearer 鉴权适用于服务端开启了 key 校验的场景。仓库取证路径汇总API 参考页文章主体来源docs/api_reference/api_reference/llms/sglang.md类实现参数/方法/元数据llama-index-integrations/llms/llama-index-llms-sglang/llama_index/llms/sglang/base.pyHTTP 请求与响应解析llama-index-integrations/llms/llama-index-llms-sglang/llama_index/llms/sglang/utils.py包导出与元数据llama-index-integrations/llms/llama-index-llms-sglang/llama_index/llms/sglang/init.py、llama-index-integrations/llms/llama-index-llms-sglang/pyproject.toml单元测试初始化/元数据/complete/chat/流式解析llama-index-integrations/llms/llama-index-llms-sglang/tests/test_llms_sglang.py【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
在 LlamaIndex 中使用 SGLang 高性能 LLM 服务（llama-index-llms-sglang 集成指南）
在 LlamaIndex 中使用 SGLang 高性能 LLM 服务llama-index-llms-sglang 集成指南【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index导读本文围绕 LlamaIndex 官方 API 参考文档SGLang类展开系统讲解llama-index-llms-sglang集成包的定位、安装、完整参数配置、四种调用方式complete / chat / stream / async以及与 SGLang Server 通信的底层实现帮助你在 LlamaIndex 数据框架中直接驱动本地或远端 SGLang 推理服务并正确配置采样参数、消息模板与服务地址。什么是 llama-index-llms-sglangSGLang 是一个面向大模型推理的高性能服务框架其服务端通过 OpenAI 兼容的 HTTP 接口对外提供文本补全与流式输出能力。为了让 LlamaIndex 应用能够无缝接入这类自托管服务官方提供了llama-index-llms-sglang这一 LLM 集成包其核心是位于 base.py 中的SGLang类。该类继承自llama_index.core的LLM基类from llama_index.core.llms.llm import LLM因此它天然具备 LlamaIndex LLM 的统一抽象能力可以直接作为LLM传入索引查询引擎、Agent、程序化Program等上层组件同时它不直接加载模型权重而是通过 HTTP 请求连接一个已经由 SGLang Server 启动的推理端点默认http://localhost:30000源码中称其为 connects to an SGLang server for high-performance LLM inference。在 docs 侧的 API 参考页 sglang.md 使用 mkdocstrings 指令::: llama_index.llms.sglang自动渲染该类本文内容即围绕该页所指向的类与其配套源码展开。安装与依赖约束包名为llama-index-llms-sglang当前仓库内版本为 0.2.0作者信息、构建配置可见于 pyproject.toml。安装方式源码 docstring 中的官方说明pip install llama-index-llms-sglang从 pyproject.toml 可见该包的运行时依赖与约束项约束Python3.10,4.0llama-index-core0.13.0,0.15SGLang 类所继承的LLM抽象与回调体系来自核心包requests2.31.0HTTP 客户端依赖见utils.py安装后从顶层导入即可使用init.py 只对外暴露一个符号from llama_index.llms.sglang import SGLang需要注意的是本集成只负责客户端一侧运行前必须自行启动一个 SGLang Server例如通过 sglang 官方工具加载模型并监听 30000 端口类本身不会做模型下载或推理。快速开始SGLang类 docstring 给出了可直接复用的最小示例位于 base.py。由于 Mistral Instruct 等对话模型需要特定的提示词包装格式示例中通过自定义messages_to_prompt/completion_to_prompt完成from llama_index.llms.sglang import SGLang # 针对 mistral instruct 定制消息格式化 def messages_to_prompt(messages): prompt \n.join([str(x) for x in messages]) return fs[INST] {prompt} [/INST] /s\n def completion_to_prompt(completion): return fs[INST] {completion} [/INST] /s\n llm SGLang( modelmistralai/Mistral-7B-Instruct-v0.1, api_urlhttp://localhost:30000, temperature0.7, max_new_tokens256, messages_to_promptmessages_to_prompt, completion_to_promptcompletion_to_prompt, ) response llm.complete(What is a black hole?) print(response)这段代码的完整执行链路是complete()将prompt连同采样参数组装为请求体POST 到{api_url}/v1/completions解析响应后包装为CompletionResponse返回response.text即为模型生成的文本。构造参数与默认值速查SGLang.__init__的全部参数名称、默认值与含义在 base.py 的构造函数与各 PydanticField上均有明确声明下表为字段默认值与语义参数默认值说明modeldefault模型名源码注释说明主要用于元数据不参与推理端选择api_urlhttp://localhost:30000SGLang Server 的 API 地址实际请求会拼上/v1/completionsapi_keyNone服务端鉴权所需的 API key提供后以Bearer形式写入请求头temperature1.0采样温度max_new_tokens512每条输出序列最多生成的 token 数top_p1.0控制参与采样的 top tokens 累计概率top_k-1控制参与采样的候选 token 数量-1表示不做 top-k 截断frequency_penalty0.0依据 token 在已生成文本中出现频率施加的惩罚presence_penalty0.0依据 token 是否已出现在生成文本中施加的惩罚stopNone一旦生成即终止输出的字符串列表n1对同一 prompt 返回的输出序列数量skip_special_tokensTrue输出中是否跳过特殊 tokenregexNone可选的约束生成正则模式structured/constrained decodingis_chat_modelFalse是否将模型标记为 chat 模型反映到LLMMetadataadditional_kwargs{}透传给 SGLang API 的额外关键字参数除上述推理参数外构造函数还兼容 LlamaIndex LLM 的标准扩展点callback_manager、system_prompt、messages_to_prompt、completion_to_prompt、pydantic_program_mode、output_parser。若未提供messages_to_prompt会回退到核心包generic_utils中的通用实现completion_to_prompt则默认为恒等函数见 base.py。内部采样参数组装SGLang通过_model_kwargs属性base.py把上述字段统一打包成字典property def _model_kwargs(self) - Dict[str, Any]: base_kwargs { temperature: self.temperature, max_new_tokens: self.max_new_tokens, top_p: self.top_p, top_k: self.top_k, frequency_penalty: self.frequency_penalty, presence_penalty: self.presence_penalty, stop: self.stop, n: self.n, skip_special_tokens: self.skip_special_tokens, } if self.regex: base_kwargs[regex] self.regex return {**base_kwargs, **self.additional_kwargs}从源码可看出两个关键设计其一regex仅在非空时才被加入请求参数避免给不支持约束生成的服务端发送无用字段其二additional_kwargs拥有最高优先级后合并可用于追加_model_kwargs未覆盖的任意 SGLang 采样参数每次调用时的临时参数则通过**kwargs进一步覆盖_get_all_kwargs合并顺序即字段默认值 → additional_kwargs → 调用时 kwargs。与服务端通信端点的构成与请求实现SGLang的服务端通信并不直接使用 OpenAI SDK而是封装在两个工具函数中utils.pypost_http_request(api_url, sampling_params, stream, api_key)使用requests.post发送 JSON 请求请求头固定携带User-Agent: LlamaIndex SGLang Client与Content-Type: application/json提供api_key时追加Authorization: Bearer key。stream参数会同时写入请求体并用于底层requests的流式读取utils.py。get_response(response)解析非流式响应。它按优先级兼容三种返回结构OpenAI 兼容格式的choices[i].text补全、choices[i].message.contentchat 补全、以及 SGLang 原生text字段utils.py。端点统一使用 OpenAI 兼容路径/v1/completions非流式endpoint f{self.api_url}/v1/completionsbase.py流式同一路径streamTruebase.py。因此api_url只需要填写服务根地址例如http://localhost:30000无需手动附带/v1/completions。四大调用入口与内部实现SGLang完整实现了 LlamaIndexLLM基类的补全/对话/同步/异步方法均以装饰器llm_completion_callback()/llm_chat_callback()标记以便接入 LlamaIndex 的事件与回调体系base.py。complete非流式补全complete(prompt)将_model_kwargs与调用时临时参数合并后额外写入prompt与model两个键并 POST 至/v1/completions随后用get_response取出文本数组的首个元素包装为CompletionResponsebase.py。chat对话接口chat(messages)先把消息序列经self.messages_to_prompt渲染成单个文本 prompt再复用complete得到补全结果最后经核心包工具completion_response_to_chat_response转换为ChatResponsebase.py。这意味着对 SGLang 服务端而言chat 本质上仍是文本补全对话格式完全取决于你提供的messages_to_prompt——这正是快速开始示例中自定义 Mistral Instruct 模板的原因。若模型是 Qwen/DeepSeek 等带 chat template 的模型也可让服务端在启动参数中接管格式化。stream_complete / stream_chat流式输出stream_complete以streamTrue发起请求然后按行读取 SSE 分块base.py逐段解析若行以data:开头则剥离前缀若内容为[DONE]则终止生成否则json.loads解析后从data[choices][0][text]读取增量delta累加为response_str每次yield一个携带累计文本与本次增量的CompletionResponse。stream_chat则调用messages_to_prompt后转交stream_complete再用核心包stream_completion_response_to_chat_response转成ChatResponseGen。单元测试 test_llms_sglang.py 通过 Mock 三块 SSE 数据Hello、world、[DONE]验证了上述解析逻辑断言共产出 2 个增量且首块delta Hello。异步接口achat/acomplete/astream_chat/astream_complete均已提供base.py。从源码结构看异步变体目前是通过对同步方法做薄封装内部使用同步迭代或直接调用同步实现实现的属于以同步实现为底座、异步包装其上的模式在面向高并发异步场景时需要关注这一实现特征对吞吐的影响。metadata 与 is_chat_model 的联动SGLang.metadata属性返回LLMMetadata(model_nameself.model, is_chat_modelself.is_chat_model)base.py与测试test_metadata的断言metadata.model_name test-model一致。由于is_chat_model默认FalseLlamaIndex 上层默认将其视为补全型模型若你的 SGLang 服务实际承担对话职责并希望上层按 chat 语义调度应在构造时显式传入is_chat_modelTrue。class_name()返回字符串SGLang可用于序列化/去序列化与日志标识base.py。典型使用场景与注意事项把SGLang接入 RAG 流水线的方式与其他任何 LlamaIndex LLM 一致例如直接喂给索引的as_query_engine(llm...)或作为 Agent 的llm使用from llama_index.core import Settings from llama_index.llms.sglang import SGLang Settings.llm SGLang( modelQwen/Qwen2.5-7B-Instruct, api_urlhttp://localhost:30000, temperature0.2, max_new_tokens1024, )实际落地时请重点核对以下前提先起服务再建客户端SGLang不校验服务可达性仅在实际调用时发起 HTTP 请求启动顺序错误会得到连接类异常而非构造期报错。模型名匹配model字段仅作元数据记录真正加载哪个模型由 SGLang Server 启动参数决定多模型部署时应确保二者对应以免语义错配。提示词格式对需要 chat template 的开源对话模型务必提供匹配的messages_to_prompt/completion_to_prompt如示例中的 Mistral Instruct 包装否则生成质量与格式会受影响。约束生成需要结构化输出如 JSON schema 正则约束时可通过regex参数开启 constrained decoding服务端不支持时可改用additional_kwargs传递兼容字段。鉴权api_key支持 Bearer 鉴权适用于服务端开启了 key 校验的场景。仓库取证路径汇总API 参考页文章主体来源docs/api_reference/api_reference/llms/sglang.md类实现参数/方法/元数据llama-index-integrations/llms/llama-index-llms-sglang/llama_index/llms/sglang/base.pyHTTP 请求与响应解析llama-index-integrations/llms/llama-index-llms-sglang/llama_index/llms/sglang/utils.py包导出与元数据llama-index-integrations/llms/llama-index-llms-sglang/llama_index/llms/sglang/init.py、llama-index-integrations/llms/llama-index-llms-sglang/pyproject.toml单元测试初始化/元数据/complete/chat/流式解析llama-index-integrations/llms/llama-index-llms-sglang/tests/test_llms_sglang.py【免费下载链接】llama_indexLlamaIndex is the leading document agent and OCR platform项目地址: https://gitcode.com/GitHub_Trending/ll/llama_index创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考