DDCA —— 内存架构和子系统内存控制器

1. 内存架构和子系统

1.1 如何控制访问？

访问控制：

• 存储单元的访问是通过 访问晶体管（access transistors） 进行控制的。访问晶体管像开关一样，可以连接或断开存储单元和位线（bitline）的连接。
• 存取控制由 字线（wordline） 控制。当字线激活时，访问晶体管开启，允许存储单元的数据流入或流出位线。

DRAM（Dynamic random access memory）的结构：

• DRAM 中的存储单元通常由一个电容和一个晶体管组成。电容用来存储数据（1或0），而晶体管作为访问开关。
• 由于电容会泄漏电荷，DRAM 需要周期性刷新数据来保持信息的完整性。

SRAM 的结构：

• SRAM 中的存储单元由 交叉耦合反相器（cross-coupled inverters） 组成，通常是两个反相器互相连接，形成一个稳定的双稳态结构。
• SRAM 需要 4 个晶体管用于存储，2 个晶体管用于访问。
• SRAM 不需要像 DRAM 那样周期性刷新数据，因为它的电路结构使其能够长时间保持数据，直到被改写。

差异：

• DRAM 的电路结构相对简单，占用的物理空间小，因此具有更高的存储密度，但需要刷新电路。
• SRAM 的电路结构更复杂，占用更多的空间，因此存储密度较低，但其访问速度较快且不需要刷新。

1.2 内存架构

DIMM：背面和正面装有 DRAM 芯片的印刷电路板。

Rank：一组 DRAM 芯片，它们协同工作以响应请求并保持数据总线满载。

64位数据总线需要 8x8 DRAM 芯片或 4x16 DRAM 芯片...

Bank：在一次请求期间忙碌的一个rank的子集。

行缓冲区（Row buffer）：从组中读取的最后一行（如 8 KB），作用类似于缓存。

通道（Channel）：每个通道通过命令总线（cmd bus）、地址总线（addr bus）和数据总线（data bus）与处理器相连，用于发送命令、地址和数据。这些总线允许处理器并行地与多个内存模块进行交互，从而提高系统的并行性。

内存控制器（MemCtrl）：处理器通过内存控制器（MemCtrl）来管理对内存的访问。内存控制器负责内存请求的调度，并通过通道将数据发送到内存的特定区域。

Rank：在存储器模块中，每个通道包含一个或多个rank。rank是由多个bank组成的，它们在处理数据时可以同时访问。

Bank：每个rank包含多个bank，bank是rank的子集，每次访问期间只有一个bank处于繁忙状态。每个bank可以独立进行数据的存储和访问，使得系统能够在不同的bank之间并行处理数据，进一步提高内存的效率和带宽。

这种分层结构允许内存系统在不同的bank和rank之间进行并行访问，提高了内存带宽和数据处理效率。这种设计被广泛应用于DRAM中，以减少延迟并提高数据吞吐量。

1.3 DRAM 阵列访问

这是一个 \(16Mb\) 的DRAM阵列，即有 \(4096\times4096\) 阵列的bits。

行访问选通 (Row Access Strobe, RAS)：由于该DRAM阵列有4096行，因此有\(log_{2}^{4096}=12 bits\)行地址，在访问数据时，12bits 行地址位最先到达。

列访问选通（Column Access Strobe，CAS）：由于该DRAM阵列有4096列，因此有\(log_{2}^{4096}=12 bits\)列地址，在访问数据时，12bits 列地址位比行地址位后到达。

行访问选通到达后，DRAM读取一行数据（即4096bits）至行缓冲区（Row buffer），随后列访问选通到达，经过列解码器（Column decoder）从 Row buffer 读取数据返回 CPU。

1.4 内存 Bank 的组织和运行

读取访问顺序：

1. 解码行地址并驱动字线（word-lines）
2. 选定位并驱动位线（bit-lines） - 整行读取
3. 放大行数据
4. 解码列地址并选择行的子集 - 发送至输出端
5. 位线（bit-lines）预充电 - 用于下一次访问

1.5 DRAM 主存储器

• 主存储器存储在 DRAM 单元中，其存储密度要高得多

• DRAM 单元会随着时间的推移而丢失状态 - 必须定期刷新，因此被称为动态存储器

• DRAM 存取时间长，能源开销大

1.6 DRAM vs. SRAM

DRAM:

• 访问速度较慢（电容器）
• 密度较高（1T 1C cell）
• 成本较低
• 需要刷新（功率、性能、电路）
• 制造时需要将电容器和逻辑器件放在一起

SRAM:

• 访问速度较快（无电容器）
• 密度较低（6T cell）
• 成本较高
• 无需刷新
• 制造时与逻辑工艺兼容（无电容器）

1.7 Rank 的组织结构

• DIMM、rank、bank、array -> 在存储组织中形成一个层次结构

• 由于电气限制，总线上只能连接几个 DIMM

• 一个 DIMM 可有 1~4 ranks

• 为提高能效，应使用宽输出 DRAM 芯片 —— 每次请求只激活 \(4\times16bits\) 芯片比激活 \(16\times 4bits\) 芯片更好

• 为高容量，应使用窄输出 DRAM 芯片 —— 由于通道上的 rank 数有限，使用 \(16 \times 4bits\ 2Gb\) 芯片比使用 \(4 \times 16bits\ 2Gb\) 芯片可提高每个 rank 的容量

1.8 Banks 和 Arrays 的组织结构

• 一个 rank 被分成多个 banks（4~16 个），以提高 rank 内的并行性，通过在不同的bank之间进行操作，可以实现并行访问。
• ranks 和 banks 提供内存级并行性，通过将数据分散在不同的ranks和banks中，内存系统能够同时处理多个内存请求，从而提升内存的并行处理能力。
• 一个 bank 由多个 arrays（subarrays、tiles、mats）组成
• 为了最大限度地提高密度，bank 中的 arrays 要做得很大：为了在有限空间内存储更多数据，每个 bank 内的 array 被设计得很大。这意味着 array 中的行很宽，因此行缓冲区（row buffer）也很宽。例如，当内存请求为 \(64Bytes\) 时，实际上可能会读取 $8KBytes $的数据（称为 过量读取（overfetch）），以充分利用宽行缓冲区的特性。
• 每个array每个周期向输出引脚提供一位数据：为了实现更高的存储密度，每个 array 在每个时钟周期内只提供1位数据到输出引脚。这种设计虽然降低了单次传输的数据量，但提高了系统的总存储密度，适合需要存储大量数据的情况。

这种组织方式通过多个层次（ranks、banks、arrays）的划分，实现了高密度的存储，同时也通过并行访问多个banks和ranks，提升了内存系统的并行性和性能。

1.9 行缓冲区（Row Buffers）

• 每个 bank 都有一个行缓冲器
• 行缓冲区在DRAM中充当缓存的作用。
  • 行缓冲器命中（Row buffer hit）：约 20 ns 访问时间（只需将数据从行缓冲区移至引脚）
  • 空行缓冲区访问（Empty row buffer access）：约 40ns（首先需要读取array，然后将数据从行缓冲区移到引脚）。
  • 行缓冲区冲突（Row buffer conflict）：约 60ns（首先需要预充电 bit-lines，然后读取新行，再将数据移到引脚）。
• 另外，还需在队列中等待（数十ns），并且还要经历地址/命令/数据传输延迟（约10ns）。

1.10 构建更大的存储器

我们需要更大的存储阵列，但是大阵列意味着访问速度慢。

如何在保证存储器容量大的同时不使其变得非常慢？

Idea：将存储器划分为更小的阵列，并将这些阵列与输入/输出总线互连。

• 大容量存储器通常是分层的阵列结构。
• DRAM的分层结构：通道（Channel）→ Rank → 存储体 → 子阵列（Subarrays）→ 矩阵（Mats）

2. DRAM 子系统组织

2.1 通用内存结构

上图展示了一个通用的内存结构，主要包括以下组件：

1. Memory Controller（内存控制器）：负责管理内存数据的读写操作。图中显示了两个内存控制器，每个控制器通过一个通道（channel）与内存模块相连。
2. Channel（通道）：内存控制器和内存之间的数据传输通道，允许多个控制器访问不同的内存模块，提高内存的带宽。
3. DRAM（动态随机存取存储器）：DRAM模块通过多个“rank”组织，每个rank又包含若干个“bank”，进一步提高并行性和效率。
4. Rank：内存中的一个逻辑组织单元，由多个物理内存芯片组成，便于内存控制器的访问管理。
5. Bank：内存的更小单位，支持多路并发访问。每个bank内又包含多个行（row）和列（column）。
6. Row（行）和 Column（列）：bank内存储数据的基本单位，通过行和列的地址确定具体的数据位置。
7. Cache Line（缓存行）：CPU读取数据的基本单位，一次读取的数据块大小。通过cache line的设计提高数据传输效率。

2.2 通用原则：交替访问（Banking）

交替访问（Interleaving）（banking 存储库）

• Problem：一个单一的大型内存阵列访问时间长，且无法实现并行的多次访问。
• Goal：降低内存阵列的访问延迟，并实现并行的多次访问。
• Idea：将一个大型阵列划分为多个可以独立访问的存储库（bank），这些 bank 可以在同一个周期或连续的周期内进行访问。
  • 每个 bank 都比整个内存存储要小。
  • 对不同 bank 的访问可以重叠。
  • 访问延迟是可控的。

2.3 内存 Banking 示例

• 内存分为多个存储库（banks）：这些存储库可以独立访问，从而实现并行的多次访问。这种结构将内存划分为多个bank，每个bank可以独立完成数据的读写操作，减少了等待时间。
• 共享地址和数据总线：多个存储库共享地址总线和数据总线，这样设计可以减少内存芯片的引脚数量，从而降低硬件复杂度和成本。
• 每周期完成一个bank的访问：通过并行访问不同的bank，在每个周期内可以启动和完成对一个存储库的访问，提升了整体的内存访问效率。
• 支持N个并发访问：如果所有N个访问请求都指向不同的bank，那么系统可以支持N个并发的内存访问请求。这意味着如果内存访问请求均匀分布到不同的bank上，可以充分利用内存带宽，实现高效的并行处理。

• 图中显示了16个存储库（Bank 0 至 Bank 15）。
• 每个bank都有其独立的内存数据寄存器（MDR）和内存地址寄存器（MAR），用于存储正在传输的数据和地址信息。
• 这些存储库通过数据总线与CPU相连，数据总线负责数据的传输，地址总线负责地址信息的传输。

2.4 DRAM 子系统

图中间的处理器通过两个独立的内存通道与内存模块相连，每个通道内可以插入多条内存条（DIMM，即双列直插内存模块），通道负责将数据传输到内存和处理器之间。

2.4.1 分解 DIMM（模块）

上图中展示了DIMM的正面和背面：

• Rank 0：位于DIMM的正面，由8个芯片组成。
• Rank 1：位于DIMM的背面，也由8个芯片组成。

2.4.2 分解 Rank

每个 Memory channel 包括：

• Addr/Cmd：表示地址和指令信号，用于向不同的Rank发送内存访问请求。
• CS（Chip Select）：选择信号，用于选择哪个Rank进行操作。在图中，CS <0:1> 表示控制信号，选择Rank 0 或 Rank 1。
• Data <0:63>：数据总线，提供64位数据通道，用于传输数据。

一个内存 Rank 内部是由多个芯片（Chip）构成的：

Rank 0被分解为多个芯片，从Chip 0到Chip 7。每个芯片负责部分数据位：

• Chip 0负责数据位0到7（<0:7>）。
• Chip 1负责数据位8到15（<8:15>）。
• 依此类推，直到Chip 7负责数据位56到63（<56:63>）。

64位数据通道：所有芯片通过各自负责的8位数据位共同组成了64位的数据通道（Data <0:63>），从而实现并行数据的传输。这种设计允许Rank内多个芯片同时工作，提高了数据访问效率。

2.4.3 分解 Chip

一个内存 Chip 内部是由多个存储库（Banks）构成的：

Chip 0：图的左侧的 Chip 0，它负责8位的数据通道（<0:7>），表示该芯片只传输数据的0到7位。

内部存储单元（Banks）：在右侧的放大图中，Chip 0进一步被分解为8个独立的存储单元（称为“Banks”）。每个Bank都可以独立地存储和读取数据，允许芯片同时处理多个数据请求，提高数据传输的并行性。

2.4.4 分解 Bank

一个内存 Bank 内部是由多个大小为 1Byte 的 Arrays构成的：

• 先读取一个行，将该行缓存到 Row-buffer 中
• 再根据 column 地址从 Row-buffer 中取出大小为 1Byte（即 8bits）的数据

2.4.5 深入挖掘：DRAM Bank 操作

第1次访问（Row，Column 0）：

Step 1： Row address 0到达，word-lines 被激活，bit-lines 被连接到感测放大器。

Step 2：感测放大器感知该行内容，捕捉数据放入 Row Buffer。

Step 3：Column address 0到达，选择列。

Step 4：最后数据被读出。

第2次访问（Row 0，Column 1）：

由于 Row Buffer HIT，数据很快被读取出。

第3次访问（Row 0，Column 85）：

同样由于 Row Buffer HIT，数据很快被读取出。

第4次访问（Row 1，Column 0）：

出现 Row Buffer Conflict（冲突）！

Step 1：将行写回，即预充电，使得下次访问的数据可靠，增加了延迟。

Step 2：Row address 1到达，word-lines 被激活，bit-lines 被连接到感测放大器。

Step 3：感测放大器感知该行内容，捕捉数据放入 Row Buffer。

Step 4：Column address 0到达，选择列。

Step 5：最后数据被读出。

2.5 DRAM Bank 内部有 Sub-Banks

左图 (a) 是逻辑抽象图，展示了一个 DRAM bank 的传统表示法，其中包含行(row)、行解码器(row-decoder)和一个大的行缓冲区(row-buffer)。在逻辑抽象中，bank 似乎是一个整体，有着多达 32K 行的数据。

右图 (b) 是实际的物理实现。一个 DRAM bank 实际上被分割为多个子阵列 (Subarray)，每个子阵列拥有自己的局部行缓冲区 (local row-buffer)，并且每个子阵列由512行组成。这里显示了从第1个子阵列到第64个子阵列的结构。这些子阵列通过全局解码器 (global decoder) 连接到整个 bank 的全局行缓冲区 (global row-buffer)。

• 逻辑抽象：在逻辑上，bank 被认为是一个单一的整体结构，所有行共享一个行缓冲区。
• 物理实现：实际上，bank 被划分成多个子阵列以提升访问效率。每个子阵列具有自己的局部行缓冲区，使得在不同子阵列之间可以并行处理数据，以提高并行度和性能。

这种设计通过将 bank 分为多个子阵列来增强访问速度和并行性，从而减少等待时间并提升DRAM性能。

2.6 Example：传输缓存块

• 传输一个 64B 的高速缓存块需要 8 个 I/O 周期。
• 在此过程中，8 列按顺序被读取。

Step 1：

Step 2：

Step 3：

Step 4：

3. 内存控制器

3.1 打开/关闭页策略(Open/Closed Page Policies)

• 如果访问流具有局部性，则行缓冲区会保持打开状态
  • 行缓冲命中成本低（打开页策略(open-page policy)）
  • 行缓冲未命中是存储库冲突，代价高昂，因为预充电在关键路径上
• 如果访问流几乎没有局部性，则位线（bit-lines）在访问后立即进行预充电（关闭页策略(close-page policy)）
  • 几乎每次访问都是行缓冲未命中
  • 预充电通常不在关键路径上
• 现代内存控制器策略介于这两者之间（通常是专有的）

3.2 读写操作

• 读取和写入操作使用同一条总线。

• 在切换读取和写入操作时，必须反转总线方向；这需要时间，并导致总线空闲。

• 因此，写入操作通常以突发方式进行；写缓冲区会存储待处理的写入，直到达到高水位标记。

• 写入操作会一直进行，直到达到低水位标记。

• 高水位标记（High Water Mark）：这是缓冲区中数据达到的一个预定的上限。当缓冲区中的数据量达到这个标记时，系统就会触发某些操作，例如开始写入数据（如在存储器中）或停止进一步的数据写入到缓冲区中，以避免缓冲区溢出。

• 低水位标记（Low Water Mark）：这是缓冲区中的数据量达到的一个预定的下限。当缓冲区中的数据量减少到这个标记时，系统可以重新开启数据写入或进行其他操作，确保缓冲区不会因为数据不足而影响性能。

3.3 地址映射策略

• 可将连续的缓存行放置在同一行中，以提高行缓冲区命中率
• 可将连续的缓存行放置在不同行中，以提高并行性
• 地址映射策略示例：
  • row : rank : ​bank : ​channel : column : blkoffset
  • row : column : rank : bank : channel : blkoffset

3.4 调度策略

• FCFS（先到先服务）：处理队列中第一个可以执行的读或写请求。

  • 在FCFS策略中，系统按照请求到达的顺序依次执行。只要一个请求准备好（符合执行条件），就会立即被执行。这个方法简单，但在内存访问中可能无法充分利用行缓冲（row buffer）命中，导致性能不高。

• First Ready - FCFS（优先行缓冲命中 - 先到先服务）：优先处理行缓冲命中的请求，如果可能的话。

  • 这个策略首先检查是否有请求可以命中行缓冲（即当前行已经在内存的行缓冲区中）。如果有，就优先处理这些命中请求，因为这样可以减少行开销，提高访问速度。如果没有行缓冲命中，则按照先到先服务的方式处理。

• Stall Time Fair（等待时间公平）：优先处理行缓冲命中的请求，除非其他线程被忽略了。

• 这个策略在优先行缓冲命中的基础上增加了公平性。如果多个线程在竞争内存访问，则该策略会在尽量优先行缓冲命中的同时，保证所有线程都能得到公平的访问机会，不让某些线程一直被延迟。这种方法有助于平衡多线程环境下的资源分配。

3.5 刷新（Refresh）

DRAM（动态随机存取存储器）中的每个存储单元都由电容存储电荷来表示数据。由于电容电荷会随时间逐渐泄漏，因此需要定期刷新来补充电荷，以确保数据不丢失。

• 刷新时间窗口：所有DRAM单元必须在64毫秒内刷新一次，防止数据因电荷泄漏而丢失。

• 自动刷新：当对某一行执行读或写操作时，该行会自动进行刷新，帮助延长数据保持时间。

• 刷新指令的影响：每次刷新指令会刷新一定数量的行。在刷新过程中，内存暂时不可用，这可能导致微小的延迟。

• 刷新频率：内存控制器通常会平均每7.8微秒发出一次刷新指令，以分散刷新负担，避免集中刷新带来的性能影响。