词汇表在Token生成中起什么作用？ - 飞书文档
https://docs.feishu.cn/v/wiki/SQcDwGiLWiZfjBkuVNychpBmnGg/ag**确定单词的边界**：. 对于英语等使用空格分隔的语言，这相对简单，就像读英文时，我们可以很容易地通过空格知道一个单词结束和另一个开始的地方。 对于中文这样的语言 ...
飞搜侠
热门搜索
利用baseline代码，如何构建词汇表？ - 飞书文档
https://docs.feishu.cn/v/wiki/PztLwkofsi95oak2Iercw9hkn2g/aj你可以从中学会Seq2Seq模型结构、中英文分词、循环神经网络（RNN）、门控循环单元（Gated Recurrent Unit，GRU）等。 让你的上分之路 ...
Token：自然语言处理的输入单位 - 飞书文档
https://docs.feishu.cn/v/wiki/NzUMwKhjsiBHrNk8baScTyKhnNe/a1词汇表是一个由模型事先建立的映射表，将每个可能的token 映射到一个唯一的数字ID。例如，对于英文单词，一个词汇表可能包含诸如"hello"、"world" ...
飞书自动翻译支持的语种 - Feishu
https://www.feishu.cn/hc/zh-CN/articles/621484525195-%E9%A3%9E%E4%B9%A6%E8%87%AA%E5%8A%A8%E7%BF%BB%E8%AF%91%E6%94%AF%E6%8C%81%E7%9A%84%E8%AF%AD%E7%A7%8D2024年12月29日 ... ... ： *需翻译的内容为文本格式，例如文本消息或文档内容时，可以识别下表中的100 多种源语言，并翻译为24 种 ... 语种英文名. zh. 中文 ...
英文学伴应用的功能设计与实现 - 飞书文档
https://docs.feishu.cn/v/wiki/JdGMwrFSEiOSWmk5mKOctUU3nSg/a4当用户输入一段生词后，应用会将其组成英文短文，并给出相应中文翻译，在文中会把生词的中英文标粗，并解释每个单词的含义。 ... 词汇表等。 飞书AI 知识问答系统深度集成 ...
LLM的母语为何偏向英语？ - 飞书文档
https://docs.feishu.cn/v/wiki/So9kwjgBgiXc8Gkcng9crQOkn7f/aa为了实现明确的语言归属，研究人员为每种语言构建了一组封闭的单词。扫描Llama-2的词汇表，寻找具有单token英文翻译的单token中文单词（主要是名词）。
批量单词卡制作：AI的助力之道 - 飞书文档
https://docs.feishu.cn/v/wiki/LU6SwOVVqi4hAxk3JVycqs4bnMc/a3... 英文比我还好，可能这就是母语吧！ 就想着要不然做一些单词卡，这样也能边做边学。对我来说也是一种有趣的学习方式。 今天的主题就是如何利用AI 的方式批量制作单词卡片本文
2023-09-06中文大模型比英文更烧钱，是AI底层原理决定的？
https://docs.feishu.cn/article/wiki/GQulwaeuuiHqM8ktwZccPg4zned2023年9月6日 ... **当接收到用户输入的提示词之后，模型会将输入转换为token列表进行处理和预测，同时将预测的token转换为我们在输出中看到的单词。也就是，token是语言模型 ...
Notion管理词典对OPS有多重要？ - 飞书文档
https://docs.feishu.cn/v/wiki/UWZbw5mL8iatdak2ckicLLKcnIe/ad基础操作 · 显示英文提示词的中文翻译、翻译输入的中文提示词到英文 · 为提示词进行分类（普通、样式、质量、命令） · 轻松的排序、隐藏、编辑提示词 · 把提示词可视化结果导出为 ...
145-学英语的过程中你要明白的7件事 - 飞书文档
https://docs.feishu.cn/v/wiki/QVdUwJMUHi6ikrkxo4HckUKznTc/ac这种方法被认为有助于更好地理解。我们中的许多人都倾向于记住一系列单独的单词。我们把每一个我们认为有用的单词都写下来。我们花费数小时来创建一长串词汇表，把它们记在 ...