多模态大模型：算法、应用与微调

元数据

多模态大模型：算法、应用与微调

• 
• 书名： 多模态大模型：算法、应用与微调
• 作者： 刘兆峰
• 简介： 本书详尽地覆盖了多模态大模型的算法原理和应用实战，提供了丰富的微调技术细节和实际案例，适合对多模态大模型有兴趣的技术人员深入学习及应用。
  本书分为两篇：
  算法原理篇 详细介绍了先进的深度学习模型，包括Transformer、GPT系列、深度生成模型，从基本架构、训练方法到特定应用，包括但不限于Seq2Seq结构、位置编码、注意力机制、残差连接、变分自编码器、GAN、ViT、CLIP、Stable Diffusion、各模型训练实践的知识点。此外，探讨了预训练模型的涌现能力、模型参数和通信数据量的估算，以及分布式训练的各种技术，如数据并行、模型并行和混合精度训练等。
  应用实战篇 聚焦于深度学习模型的实际应用，特别是文本和图像生成，以及代码生成的应用实战。通过具体实战项目，如利用Stable Diffusion进行图像生成和Code Llama进行代码生成，提供了微调技术的详细细节，介绍了LangChain等大模型应用框架。
• 出版时间 2024-06-13 00:00:00
• ISBN： 9787111754886
• 分类： 计算机-人工智能
• 出版社： 机械工业出版社
• PC地址：https://weread.qq.com/web/reader/a7532580813ab9308g017045

高亮划线

第1章 Transformer模型

📌 按词语分和按字分比较好理解，也有一些工具包可以使用，例如jieba分词。如果是按照子词分，那么词元就可以是偏旁部首，当然对于比较简单的字，一个词元也可以是一个完整的字。例如，“江”“河”“湖”“海”这四个字都跟水有关，并且它们都是三点水旁，那么在分词的时候，“氵”很可能会作为一个词元，“工”“可”“胡”“每”是另外的词元。假如“氵”的词元ID为1，“工”“可”“胡”“每”的词元ID分别是2、3、4、5，那么“江”“河”“湖”“海”的词元序列就可以表示为12、13、14、15。这样做的好处是，只要字中带有三点水旁，或者词元序列中含有词元ID为1的元素，那么我们就可以认为这个字或者这个词元序列跟水有关。即使是沙漠的“沙”字，是由“氵”和“少”
⏱ 2025-03-10 22:37:43 ^3300114007-6-2671

读书笔记

本书评论