人工智能 python 深度学习 PyTorch中Tensor（张量）数据结构内部观察

上图中是一个张量embeds，打开其内部存储空间，我们可以看到内部的构成。

1. PyTorch中张量（Tensor）的介绍

在PyTorch中，Tensor 具有许多属性和方法。以下是其中一些关键的属性和方法：

属性：

H： 在标准的PyTorch API中并没有直接表示为 .H 的属性，但在数学或某些库（如NumPy）中，.H 通常代表共轭转置（Conjugate Transpose），也称为Hermitian conjugate。在处理复数张量时，如果需要进行共轭转置操作，在PyTorch中应先使用 .conj() 方法获取复共轭，然后用 .T 进行转置，即 tensor.conj().T。 T： .T 属性用于转置（Transpose）张量，它会改变张量的维度顺序。例如，对于二维张量（矩阵），转置会交换行和列的位置。 .data： 返回一个与原张量共享相同存储区的新张量视图，通常用于直接访问底层数据而不涉及计算历史。 .device： 返回一个 torch.device 对象，表示张量所在设备（CPU或GPU）。 .dtype： 返回一个 torch.dtype 对象，代表张量元素的数据类型（如 torch.float32, torch.long 等）。 .grad： 如果该张量是需要求梯度的一部分，则返回与该张量相关的梯度张量；否则为 None。 .requires_grad： 返回一个布尔值，表明此张量是否参与自动求导过程。 .shape 或 .size()： 返回一个包含张量各维度大小的元组，表示张量的形状。 .stride： 返回一个元组，表示沿着各个维度移动一个元素所需的步长。 .is_contiguous()： 判断当前张量是否连续存储在内存中。 .layout（高级用法）： 在某些特殊情况下，如使用MKLDNN等优化库时，描述张量的布局方式。

方法：

.view(*shape) 或 .reshape(*shape)： 改变张量的维度大小，但不改变其实际数据内容。 .transpose(dim0, dim1) 或 .t()： 对张量进行转置操作。 .to(device, dtype=None, non_blocking=False)： 将张量转移到指定设备上或者更改数据类型。 .clone()： 创建一个与原张量有相同数据的新张量，数据独立于原张量存储。 .copy_(src)： 从源张量拷贝数据到当前张量。 .detach()： 创建一个新的张量，与原张量数据相同但切断了计算图中的依赖关系。 .numpy()： 转换张量为NumPy数组。 .sum(dim=None, keepdim=False)、.mean(dim=None, keepdim=False) 等统计函数： 计算张量沿指定维度的和、平均数等统计量。 .zero_()、.fill_(value) 等修改张量数值的方法： 直接对张量内部数据进行操作，例如清零所有元素或填充特定值。 对于深度学习模型训练相关的：

.backward()：执行反向传播计算梯度。.requires_grad_(requires_grad=True)：动态地设置张量是否要求梯度。

这些只是一部分基本和常用的属性及方法，实际上还有很多其他功能丰富的成员函数，可以根据实际需求查阅官方文档以获取完整列表和详细说明。

2.pytorch中的张量（tensor）底层代码定义

PyTorch 中的张量底层代码定义涉及到其在 C++ 层面的实现，由于 PyTorch 是一个开源项目，其底层代码可以在其 GitHub 仓库中找到。基本上，PyTorch 的张量是通过 C++ 实现的，然后通过 Python 接口提供给用户使用。

在 PyTorch 的底层代码中，张量主要由两个类表示：

TensorImpl 类：这是 PyTorch 中张量的基本实现类。它定义了张量的数据结构和基本操作，包括张量的存储、形状、数据类型等信息，以及对张量进行的各种操作，如切片、重塑、数学运算等。 Tensor 类：这是用户在 Python 层面使用的张量类。Tensor 类是对 TensorImpl 类的封装，提供了 Python 接口，使得用户可以通过 Python 脚本方便地创建、操作和计算张量。

在 PyTorch 的底层代码中，还有其他一些辅助类和函数，用于处理张量的内存分配、计算图的构建和自动求导等功能。

如果你对 PyTorch 的底层张量实现感兴趣，可以查阅 PyTorch 的 GitHub 仓库，其中包含了完整的源代码，并且有详细的文档和注释，可以帮助你深入理解 PyTorch 的内部实现原理。

2.1  TensorImpl 类的详细介绍

TnsorImpl 类是 PyTorch 中张量的基本实现类之一，负责管理张量的数据和元数据，以及执行对张量的基本操作。以下是对 TensorImpl 类的详细介绍：

数据存储：TensorImpl 类包含了对张量数据的存储管理。这通常是在内存中连续的一块区域，用于存储张量的元素。TensorImpl 负责管理内存的分配和释放，以及对数据的访问和操作。 元数据信息：TensorImpl 存储了张量的元数据信息，包括张量的形状（shape）、数据类型（dtype）、存储设备（device）、布局（layout）等。这些信息描述了张量的基本特征，对张量的操作和计算起到重要的作用。 操作和运算：TensorImpl 包含了对张量进行的各种操作和运算的实现，包括切片（slicing）、重塑（reshaping）、数学运算（加法、乘法等）、广播（broadcasting）等。这些操作可以直接作用于张量的数据，或者产生新的张量。 存储管理：TensorImpl 负责管理张量的存储空间，包括内存的分配、释放和回收等。它还负责处理张量数据的共享和拷贝，以及对内存布局的优化和调整。 自动求导支持：TensorImpl 支持自动求导功能，可以跟踪张量的操作历史，并构建计算图用于反向传播。它通过保留操作历史和梯度信息来实现自动求导功能，以便在反向传播时计算梯度。

总的来说，TensorImpl 类是 PyTorch 中张量的核心实现之一，它负责管理张量的数据和元数据，以及执行对张量的基本操作和运算。通过 TensorImpl 类，PyTorch 提供了灵活而高效的张量操作和计算功能，为用户提供了强大的深度学习工具。

2.2 Tensor 类的详细介绍

在 PyTorch 中，Tensor 类是用户在 Python 层面使用的主要张量类。Tensor 类提供了一种方便的方式来创建、操作和计算张量，同时隐藏了底层实现的细节，使得用户可以专注于模型的开发和调试。

Tensor 类的主要特性和功能包括：

数据存储与操作：Tensor 类封装了底层张量的数据存储和操作。用户可以通过 Tensor 类的接口来创建张量、访问张量的元素、进行切片操作、改变张量的形状等。 数学运算：Tensor 类支持丰富的数学运算，包括加法、减法、乘法、除法、矩阵乘法、逐元素运算等。用户可以通过 Tensor 类的操作符重载或者相关函数来进行数学运算，例如 torch.add()、torch.matmul() 等。 自动求导：Tensor 类支持自动求导功能，用户可以通过调用 tensor.backward() 方法来计算张量的梯度，并且可以利用 PyTorch 提供的自动求导机制来进行反向传播算法，从而实现模型的训练和优化。 设备管理：Tensor 类支持在 CPU 和 GPU 上进行张量操作，用户可以通过 tensor.to(device) 方法将张量移动到指定的设备上进行计算。 扩展性：Tensor 类是 PyTorch 中最重要的数据结构之一，PyTorch 还提供了丰富的扩展功能，用户可以通过继承 Tensor 类来定义自己的张量类型，以满足特定的需求。

总的来说，Tensor 类是 PyTorch 中最核心的类之一，它为用户提供了灵活、高效的张量操作接口，是构建深度学习模型的重要基础。

2.3 在 PyTorch 的底层代码中其他的辅助类和函数

在 PyTorch 的底层代码中，除了 Tensor 类以外，还有一些辅助类和函数用于处理张量的内存分配、计算图的构建和自动求导等功能。以下是其中一些重要的辅助类和函数：

Storage 类：Storage 类是 PyTorch 中用于管理张量数据存储的类。每个张量都有一个对应的 Storage 对象，它负责实际存储张量的数据，并提供了内存管理和共享等功能。 Autograd 包：Autograd 包是 PyTorch 中用于自动求导的核心模块。它通过跟踪张量上的操作，并构建计算图来实现自动微分。Autograd 包中包含了一些辅助类和函数，如 Function 类用于定义张量操作的前向和反向传播规则，以及 Variable 类用于包装张量并跟踪其操作历史。 Function 类：Function 类是 Autograd 包中的一个重要类，用于定义张量操作的前向和反向传播规则。每个张量操作都会对应一个对应的 Function 对象，该对象负责计算张量操作的前向结果和反向梯度。 Graph 类：Graph 类用于表示计算图，它由一系列节点（Node）和边（Edge）组成，节点表示张量操作，边表示张量之间的依赖关系。Graph 类提供了一些方法用于构建、优化和分析计算图。 Device 类：Device 类用于表示计算设备，如 CPU 和 GPU。Tensor 类中的一些方法（如 to() 方法）可以接受 Device 对象作为参数，以实现张量在不同设备之间的移动和计算。

这些辅助类和函数在 PyTorch 的底层代码中扮演着重要的角色，它们为 PyTorch 提供了丰富的功能和灵活的扩展性，使得 PyTorch 成为一个强大而灵活的深度学习框架。

相关文章