深度学习进阶：自然语言处理
元数据
深度学习进阶：自然语言处理
- 书名： 深度学习进阶：自然语言处理
- 作者： 斋藤康毅
- 简介： 《深度学习进阶：自然语言处理》是《深度学习入门：基于Python的理论与实现》的续作，围绕自然语言处理和时序数据处理，介绍深度学习中的重要技术，包括word2vec、RNN、LSTM、GRU、seq2seq和Attention等。本书语言平实，结合大量示意图和Python代码，按照“提出问题”“思考解决问题的新方法”“加以改善”的流程，基于深度学习解决自然语言处理相关的各种问题，使读者在此过程中更深入地理解深度学习中的重要技术。
- 出版时间 2020-10-14 00:00:00
- ISBN： 9787115547644
- 分类： 计算机-人工智能
- 出版社： 人民邮电出版社
- PC地址：https://weread.qq.com/web/reader/c81324b0720befa3c81025e
高亮划线
前言
📌 技术已经进步到了可以轻松进行复制的时代。当下是一个可以轻松复制照片、视频、源代码和库的便捷世界。但是，无论技术多么发达，生活多么便利，经验都是无法轻松复制的。自己动手的经验、花时间思考的经验，都是无法复制的。而那些永恒的价值，正存在于这些无法复制的事物中。
⏱ 2025-01-11 11:08:31 ^34336675-8-6135-6263
1.1 数学和Python的复习
📌 向量是同时拥有大小和方向的量。向量可以表示为排成一排的数字集合，在Python实现中可以处理为一维数组。与此相对，矩阵是排成二维形状（长方阵）的数字集合。
⏱ 2025-01-11 11:09:43 ^34336675-10-717-794
📌 矩阵乘积通过“左侧矩阵的行向量（水平方向）”和“右侧矩阵的列向量（垂直方向）”的内积（对应元素的乘积之和）计算得出。此时，计算结果保存在新矩阵的对应元素中
⏱ 2025-01-11 11:54:54 ^34336675-10-7544-7621
📌 当np.dot（x, y）的参数都是一维数组时，计算向量内积。当参数都是二维数组时，计算矩阵乘积。
⏱ 2025-01-11 11:55:28 ^34336675-10-8782-8831
📌 在矩阵乘积中，要使对应维度的元素个数一致
⏱ 2025-01-11 11:57:02 ^34336675-10-9681-9701
📌 作为计算结果的矩阵C的形状由A的行数和B的列数组成。这就是矩阵的形状检查。
⏱ 2025-01-11 11:57:38 ^34336675-10-9948-10069
1.2 神经网络的推理
📌 神经网络中进行的处理可以分为学习和推理两部分
⏱ 2025-01-11 11:58:01 ^34336675-11-443-465
📌 简单地说，神经网络就是一个函数。函数是将某些输入变换为某些输出的变换器，与此相同，神经网络也将输入变换为输出。
⏱ 2025-01-11 11:58:15 ^34336675-11-611-666
📌 用〇表示神经元，用箭头表示它们的连接。此时，在箭头上有权重，这个权重和对应的神经元的值分别相乘，其和（严格地讲，是经过激活函数变换后的值）作为下一个神经元的输入。另外，此时还要加上一个不受前一层的神经元影响的常数，这个常数称为偏置。因为所有相邻的神经元之间都存在由箭头表示的连接，所以图1-7的神经网络称为全连接网络。
⏱ 2025-01-11 11:59:35 ^34336675-11-1127-1379
📌 这里用（x1, x2）表示输入层的数据，用w11和w12表示权重，用b1表示偏置。
⏱ 2025-01-11 12:00:19 ^34336675-11-1678-1959
📌 重要的是神经元是通过加权和计算的，并且可以通过矩阵乘积整体计算。实际上，基于全连接层的变换可以通过矩阵乘积如下进行整理：
⏱ 2025-01-11 12:02:49 ^34336675-11-2362-2422
📌 形状检查：mini-batch版的矩阵乘积（省略偏置）
⏱ 2025-01-11 12:18:28 ^34336675-11-4517-4544
📌 基于sigmoid函数，可以进行非线性变换。然后，再用另一个全连接层来变换这个激活函数的输出a（也称为activation）。这里，因为隐藏层有4个神经元，输出层有3个神经元，所以全连接层使用的权重矩阵的形状必须设置为4×3，这样就可以获得输出层的神经元。以上就是神经网络的推理。
⏱ 2025-01-11 12:20:24 ^34336675-11-6676-6816