大模型入门：技术原理与实战应用
元数据
大模型入门：技术原理与实战应用
- 书名： 大模型入门：技术原理与实战应用
- 作者： 程絮森 杨波 王刊良 李浩然
- 简介： 人工智能是人类探索未来的重要领域之一，以ChatGPT为代表的大模型应用一经推出在短短几个月时间内火爆全球。大模型代表了自然语言处理领域的一项伟大成就，它的诞生和发展正引领着我们走向全新的创作时代。 本书共9章，深入探讨了大模型的工作原理和使用方法——提示工程，并研究了提示工程在电子商务、创意营销、内容创作、办公和编程等场景中的应用，以及如何赋能软件生态的发展等。 本书旨在帮助读者了解提示工程的应用场景和实践案例。无论您是技术领域的专业人士，还是对新兴技术充满好奇心的读者，我们都希望本书能激发您的思考，并为您展示一个崭新的创作世界。
- 出版时间 2024-05-01 00:00:00
- ISBN： 9787115638816
- 分类： 科学技术-工业技术
- 出版社： 人民邮电出版社有限公司
- PC地址：https://weread.qq.com/web/reader/14f32f10813ab8e43g012d88
高亮划线
第一部分 大模型时代的到来
📌 ChatGPT的数据集主要采集于以下几个数据源。(1)BooksCorpus：这是一个包含11，038本英文电子图书的语料库，共有74亿个单词。(2)WebText：这是一个从互联网上抓取的大规模文本数据集，包括超过8万个网站的文本数据，共有13亿个单词。(3)Common Crawl：这是一个存档互联网上公开可用的数据集，包括数百亿个网页、网站和其他类型的文本数据。(4)Wikipedia：这是一个由志愿者编辑的百科全书，包括各种领域的知识和信息，是一个非常有价值的语言资源。
⏱ 2025-01-10 17:15:22 ^3300101792-6-3458-3815
📌 在海量数据的基础上，大模型采用了基于变换器(Transformer)模型的深度神经网络模型，获得了处理长文本和复杂语法的能力，同时保持了上下文的一致性，帮助ChatGPT生成更准确、连贯的文本。模型的本质是一个概率计算的过程，如图1-4所示为一个基础的语言概率模型示意图，以不同的概率和选择策略决定生成的文本。
⏱ 2025-01-10 17:24:01 ^3300101792-6-3844-3999
📌 模型的训练包括两个过程，即预训练与有监督微调(SFT)
⏱ 2025-01-11 10:36:54 ^3300101792-6-4769-4796
📌 模型通过在上下文中预测缺失的单词或标记来学习语言的语法、语义和世界知识。
⏱ 2025-01-11 10:37:06 ^3300101792-6-4914-4950
📌 大模型之所以能够理解人类的复杂任务，在预训练—微调模式的基础上，还有一个关键的技术，即基于人类反馈的强化学习方式(Reinforcement Learning from Human Feedback，RLHF)，通俗的表达就是从人类的反馈中学习。
⏱ 2025-01-11 10:37:22 ^3300101792-6-5275-5398