vLLM 部署InternVL 实战 - 飞书文档
https://docs.feishu.cn/article/wiki/GM2DwZLCxizvjzkta3sc0AWhn5f命令行推理的详解教程 · 创建环境，安装vLLM库 · 下载大模型 · 执行推理.
飞搜侠
热门搜索
vLLM 部署InternVL 实战 - 飞书云文档
https://aicarrier.feishu.cn/wiki/GM2DwZLCxizvjzkta3sc0AWhn5f前言 · 离线或者在线部署各种大模型，顺带加速推理。 · 提供大模型的量化，比如INT8, BitsAndBytes, GPTQ, AWQ, and SqueezeLLM ( · 所以使用vLLM部署InternVL2系列大模型，直接 ...
vllm部署MiniCPM - Llama3 - V 2.5：获取代码到推理并发全流程
https://docs.feishu.cn/v/wiki/BcHIwjOLGihJXCkkSdMc2WhbnZf/a5按照上述llama.cpp的教程获取gguf的模型，语言模型最好进行量化。 获取openbmb ... 飞书AI 知识问答系统深度集成DeepSeek R1 满血版大模型，支持实时联网搜索、多 ...
如何进行MiniCPM-V 2.6的vllm推理？ - 飞书文档
https://docs.feishu.cn/v/wiki/LZxLwp4Lzi29vXklYLFchwN5nCf/a2vllm部署int4模型请看MiniCPM-V 2.6量化教程速度提升一倍、显存减少一半以上. 方法 ... 2️⃣ 推荐话题2：如果本地要装大模型，建议哪个开源大模型？ https ...
如何启动vllm服务？ - 飞书文档
https://docs.feishu.cn/v/wiki/TyQZw9lZSiN1V5kTKIocgJOvnag/al本次教程参考self-llm中Qwen2-7b的微调教程，特别鸣谢self-llm开发者们的大力支持。如果大家需要学习大语言模型如何封装、微调等工作可以来这个项目学习。 https://github.
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率 - 飞书文档
https://docs.feishu.cn/article/wiki/XgZAwV1RWiKorbkQrKAcE6ufnoc环境、模型准备 · LMDeploy Chat CLI 工具 · LMDeploy 模型量化（lite） · LMDeploy 服务（serve） · LMDeploy Llama3 推理测速 · 使用LMDeploy 运行视觉多模态大模型Llama-Llava-3 ...
MiniCPM2.0的vllm推理方法 - 飞书文档
https://docs.feishu.cn/v/wiki/Sd6pwKkLni4YNgkeWB9cm3XInTb/a4【喂饭级入门教程】MiniCPM2.0 · 模型简介 · 模型下载[模型介绍与下载.mp4] · 模型推理.
MiniCPM-V 2.6 量化教程（vllm可推理） - 飞书文档
https://docs.feishu.cn/article/wiki/PAsHw6N6xiEy0DkJWpJcIocRnz9直接运行（vllm使用方式与非量化模型相同，见MiniCPM-V 2.6 部署指南）：. from PIL import Image from transformers import AutoTokenizer from vllm import LLM ...
《掌握MiniCPM：模型部署与训练的详细教程》 - 飞书文档
https://docs.feishu.cn/v/wiki/D2tFw8Pcsi5CIzkaHNacLK64npg/a8本教程旨在帮助初学者快速了解并上手MiniCPM 系列模型的部署和使用。无论你是机器学习的新手 还是有一定经验的开发者 ，本教程都将为你提供详细的步骤和清晰的 ...
《vLLM：构建高效开源LLM推理引擎》分享会报名开启 - 飞书文档
https://docs.feishu.cn/v/wiki/X7jIw35yLiUNXekvKnocbGAUnyh/a1加州大学伯克利分校博士生，负责vLLM 的高层设计与开源社区管理。vLLM 作为一个开源的大模型推理加速框架，已经可以支持30+ 生成式大语言模型 ... 部署、优化和运行AI 模型。