大模型部署相关的主流平台 - 飞书文档
https://docs.feishu.cn/article/wiki/VWvEwn8LZiGQ2HkW13VcpVmanhdOllama 专注于在本地运行LLMs，允许用户直接在自己的计算机上实验全球各地的开源模型。 对于那些想要在不依赖外部服务或API 的情况下探索LLMs 的人来说，ollama 非常有用。
飞搜侠
热门搜索
哪些开源项目可作为本地部署LLM的推理服务？ - 飞书文档
https://docs.feishu.cn/v/wiki/KjBgwlMqmiI2DOkMKNmc7GegnDc/ad2023年8月30日 ... **本地环境的准备： **因为我们需要在本地部署一个开源的大模型，所以你需要准备一个相当硬壳的本地环境。硬件上需要一台拥有高性能大显存的NVDIA 显卡、大 ...
如何选择适合的LLM模型进行本地部署？ - 飞书文档
https://docs.feishu.cn/v/wiki/VHKuw40EUid6n1kV59tcM04knSg/agLLM探索：环境搭建与模型本地部署 · 驱动. 首先，需要显卡驱动，Ubuntu系的发行版安装显卡驱动比喝水还容易，这就是为啥推荐炼丹用Ubuntu的理由。 · Python. 搞AI，Python是必备的 ...
本地部署开源大模型：使用MetaGPT及修复功能的指南 - 飞书文档
https://docs.feishu.cn/v/wiki/DqVIwpQUyiQjqdkPwtRc7qLynOc/a1注意，推荐使用** openai 兼容接口**进行模型部署。这样，请求和返回处理都可以直接使用openai sdk 进行处理，将会简化整体的集成流程。 同时，下述几个推理仓库也支持 ...
通义千问开源模型部署教程 - 飞书文档
https://docs.feishu.cn/v/wiki/TR3wwIFUFi2TJ1kLYImccyiRn1c/a5接下来，我将详细介绍两种部署方式，因为各类大模型的数量实在是太多了，有大语言模型，也有针对某个赛道的垂类模型。因此，这里我们只介绍两个开源项目的私有化部署方案，一个是 ...
开源大模型的全流程指导课程 - 飞书文档- Feishu
https://docs.feishu.cn/v/wiki/Pbruw4cZEiFLmrkXNmGcFhB2nId/a6课程导引 · 如果你想快速了解如何使用ChatGPT等大模型API 来赋能实际实践，推荐学习《HuggingLLM》（课程1） · 如果你想动手实践开源LLM 的部署、微调全流程，推荐学习《Self LLM》 ...
小白如何在10分钟内搭建大模型应用？ - 飞书文档
https://docs.feishu.cn/v/wiki/XJA9w5be6iiSDLk58LvcKhZvngh/aj三、开源大模型和闭源大模型 ... 根据上面的学习，我们不难发现，构建大模型不仅需要海量的数据，更依赖于强大的计算能力，以确保模型能够快速迭代和优化，从而达到预期的性能水平 ...
从零入门CPU部署大模型\u0026应用开发 - 飞书文档
https://docs.feishu.cn/article/wiki/SuppwSfFZi5KvYkiffUcygVNnPe第一步：下载如下两个代码文件！ · baseline1：在CPU 上部署并进行大模型推理. [初赛baseline1-使用ipex-llm推理大语言模型.ipynb] · baseline2：在CPU 上部署大模型并运行检索 ...
Self - LLM：初学者友好的开源大模型微调教程 - 飞书文档
https://docs.feishu.cn/v/wiki/Drttwt1bxiFNW8k8kpFctdQDn2c/a6多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。 · 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练 ...
了解模型获取和IPEX-LLM部署工具- Task1 - 飞书文档
https://docs.feishu.cn/article/wiki/Gka7wVHxziP4fKkgDwXcdiZxnah推荐使用工具 ... 基于开源大语言模型：. 作品开发应基于开源大语言模型进行，可以同时使用其他适合的辅助模型及数据集。模型可使用原始发布的模型或经过微调后的模型，包括但不 ...