离线推理

为了方便用户快速使用xLLM进行离线推理，我们提供了启动离线推理的python脚本例子

LLM

LLM推理示例： https://github.com/xLLM-AI/xllm/blob/main/examples/generate.py

Embedding

生成Embedding示例： https://github.com/xLLM-AI/xllm/blob/main/examples/generate_embedding.py

VLM

VLM推理示例： https://github.com/xLLM-AI/xllm/blob/main/examples/generate_vlm.py