深入理解计算机系统（1）：开始-编程知识

计算机系统是由硬件和系统软件组成的，它们共同工作来运行应用程序。虽然系统的具体实现方式随着时间不断变化，但是系统内在的概念却没有改变。所有计算机系统都有相似的硬件和软件组件，它们又执行着相似的功能。

计算机系统

信息就是位+上下文

// hello.c
#include <stdio.h>
int main({printf ( "hello，world\n");return 0;
}

hello 程序的生命周期是从一个 源程序(或者说源文件) 开始的，即程序员通过编辑器创建并保存的文本文件，文件名是hello.c。
源程序实际上就是一个由值 0 和 1 组成的位(又称为比特)序列，8个位被组织成一组，称为字节。每个字节表示程序中的某些文本字符。

系统中所有的信息一包括磁盘文件、内存中的程序、内存中存放的用户数据以及网络上传送的数据，都是由一串比特表示的。
区分不同数据对象的唯一方法是读到这些数据对象时的上下文。比如，在不同的上下文中，一个同样的字节序列可能表示一个整数、浮点数、字符串或者机器指令。

程序被其他程序翻译成不同的格式

hello 程序的生命周期是从一个高级C语言程序开始的，因为这种形式能够被人读懂。然而，为了在系统上运行 hello.c 程序，每条 C 语句都必须被其他程序转化为一系列的低级机器语言指令。然后这些指令按照一种称为可执行目标程序的格式打好包，并以二进制磁盘文件的形式存放起来。目标程序也称为可执行目标文件。

在 Unix 系统上，从源文件到目标文件的转化是由编译器驱动程序完成的：

linux> gcc -o hello hello.c

GCC 编译器驱动程序读取源程序文件 hello.c，并把它翻译成一个可执行目标文件 hello。这个翻译过程可分为四个阶段完成。执行这四个阶段的程序(预处理器、编译器、汇编器和链接器)一起构成了编译系统(compilation system)。
在这里插入图片描述
预处理阶段: 预处理器(cpp)根据以字符#开头的命令，修改原始的C程序。比如 hello.c 中第1行的#include <xxx.h>命令告诉预处理器读取系统头文件xxx.h的内容，并把它直接插入程序文本中。结果就得到了另一个C程序，通常是以.i作为文件扩展名。
编译阶段: 编译器(ccl)将文本文件 xxx.i 翻译成文本文件 xxx.s，它包含一个汇编语言程序。该程序包含函数main的定义。
汇编阶段: 汇编器(as)将xxx.s翻译成机器语言指令，把这些指令打包成一种叫做 可重定位目标程序(relocatable object program) 的格式，并将结果保存在目标文件xxx.o中。xxx.o文件是一个二进制文件，它包含的内容是函数main的指令编码。如果我们在文本编辑器中打开xxx.o文件，将看到一堆乱码。
链接阶段: 。链接器(ld)就负责处理这种合并调用的已经预编译好了的目标文件中函数到xxx。结果就得到一个可执行目标文件(或者简称为可执行文件)，可以被加载到内存中，由系统执行。

编译系统如何工作

需要了解编译系统的原因：
1.优化程序性能 。
2.理解链接时出现的错误 。
3.避免安全漏洞 。

处理器读并解释储存在内存中的指令

xxx.c 源程序已经被编译系统翻译成了可执行目标文件xxx，并被存放在磁盘上。要想在Unix系统上运行该可执行文件，将它的文件名输入到称为shell的应用程序中：

linux> ./hello
hello，world
linux>

shell 是一个命令行解释器，它输出一个提示符，等待输人一个命令行，然后执行这个命令。如果该命令行的第一个单词不是一个内置的 shell 命令，那么shell 就会假设这是一个可执行文件的名字，它将加载并运行这个文件。

系统的硬件组成

总线

贯穿整个系统的是一组电子管道，称作总线，它携带信息字节并负责在各个部件间传递。
通常总线被设计成传送定长的字节块，也就是字(word)。
字中的字节数(即字长)是一个基本的系统参数，各个系统中都不尽相同。
需要明确定义的上下文中具体说明一个“字”是多大。

I/O 设备

I/O(输入/输出)设备是系统与外部世界的联系通道。
每个I/O设备都通过一个控制器或适配器与I/О总线相连。控制器和适配器之间的区别主要在于它们的封装方式。
控制器是I/О设备本身或者系统的主印制电路板(通常称作主板)上的芯片组。
适配器则是一块插在主板插槽上的卡。无论如何，它们的功能都是在I/O总线和I/O设备之间传递信息。

主存

主存是一个临时存储设备，在处理器执行程序时，用来存放程序和程序处理的数据。
从物理上来说，主存是由一组动态随机存取存储器(DRAM)芯片组成的。
从逻辑上来说，存储器是一个线性的字节数组，每个字节都有其唯一的地址(数组索引)，这些地址是从零开始的。
一般来说，组成程序的每条机器指令都由不同数量的字节构成。与 C 程序变量相对应的数据项的大小是根据类型变化的。

处理器

中央处理单元(CPU)，简称处理器，是解释(或执行)存储在主存中指令的引擎。
处理器的核心是一个大小为一个字的存储设备(或寄存器)，称为 程序计数器(PC) 。在任何时刻，PC都指向主存中的某条机器语言指令(即含有该条指令的地址)。
从系统通电开始，直到系统断电，处理器一直在不断地执行程序计数器指向的指令，再更新程序计数器，使其指向下一条指令。
处理器看上去是按照一个非常简单的指令执行模型来操作的，这个模型是由指令集架构决定的。在这个模型中，指令按照严格的顺序执行，而执行一条指令包含执行一系列的步骤。处理器从程序计数器指向的内存处读取指令，解释指令中的位，执行该指令指示的简单操作，然后更新 PC，使其指向下一条指令，而这条指令并不一定和在内存中刚刚执行的指令相邻。

运行程序

1.初始时，shell程序执行它的指令，等待我们输入一个命令。当我们在键盘上输人字符串“./hello”后，shell程序将字符逐一读入寄存器，再把它存放到内存中，如图所示。
在这里插入图片描述

当在键盘上敲回车键时，shell 程序就知道我们已经结束了命令的输人。然后shell执行一系列指令来加载可执行的 hello文件，这些指令将 hello 目标文件中的代码和数据从磁盘复制到主存。数据包括最终会被输出的字符串“hello, world \n”。
利用直接存储器存取技术，数据可以不通过处理器而直接从磁盘到达主存。这个步骤如图所示。
在这里插入图片描述
一旦目标文件 hello 中的代码和数据被加载到主存，处理器就开始执行hello程序的main程序中的机器语言指令。这些指令将“hello, world\n”字符串中的字节从主存复制到寄存器文件，再从寄存器文件中复制到显示设备，最终显示在屏幕上，如下图。
在这里插入图片描述

高速缓存

系统需要花费大量的时间把信息从一个地方挪到另一个地方。
hello程序的机器指令最初是存放在磁盘上，当程序加载时，它们被复制到主存；当处理器运行程序时，指令又从主存复制到处理器。相似地，数据串“hello, world/n”开始时在磁盘上，然后被复制到主存，最后从主存上复制到显示设备。
从程序员的角度来看，这些复制就是开销，减慢了程序“真正”的工作。因此，系统设计者的一个主要目标就是使这些复制操作尽可能快地完成。

针对处理器与主存之间的差异，系统设计者采用了小且快的存储设备，称为高速缓存存储器(cache memory，简称为cache或高速缓存)，作为暂时的集结区域，存放处理器近期可能会需要的信息。

存储设备形成层次结构

每个计算机系统种的存储设备都被组织成了一个存储器层次结构。
在这里插入图片描述

在这个层次结构中，从上至下，设备的访问速度越来越慢，容量越来越大，并且每字节的造假越来越便宜。
存储器层次结构的主要思想是 上一层的存储器作为低一层存储器的高速缓存 。
因此，寄存器文件就是 L1 的高速缓存，L1是L2的高速缓存，L2是L3的高速缓存，L3是主存的高速缓存，而主存又是磁盘的高速缓存。在某些具有分布式文件系统的网络系统中，本地磁盘就是存储在其他系统中磁盘上的数据的高速缓存。

操作系统管理硬件

所有应用程序对硬件的操作尝试必须通过操作系统。
在这里插入图片描述
操作系统有两个基本功能：
(1)防止硬件被失控的应用程序滥用；
(2)向应用程序提供简单一致的机制来控制复杂而又通常大不相同的低级硬件设备。操作系统通过几个基本的抽象概念(进程、虚拟内存和文件)来实现这两个功能。

在这里插入图片描述
文件是对 I/O 设备的抽象表示，虚拟内存是对主存和磁盘 I/O 设备的抽象表示，进程则是对处理器、内存和 I/O 设备的抽象表示。

进程

程序在现代系统上运行时，操作系统会提供一种假象，就好像系统上只有这个程序在运行。程序看上去是独占地使用处理器、主存和I/О设备。处理器看上去就像在不间断地一条接一条地执行程序中的指令，即该程序的代码和数据是系统内存中唯一的对象。
进程是操作系统对一个正在运行的程序的一种抽象。在一个系统上可以同时运行多个进程，而每个进程都好像在独占地使用硬件。而并发运行，则是说一个进程的指令和另一个进程的指令是交错执行的。
在大多数系统中，需要运行的进程数是多于可以运行它们的CPU个数的。传统系统在一个时刻只能执行一个程序，而先进的多核处理器同时能够执行多个程序。
无论是在单核还是多核系统中，一个CPU看上去都像是在并发地执行多个进程，这是通过处理器在进程间切换来实现的。操作系统实现这种交错执行的机制称为上下文切换。
在这里插入图片描述
从一个进程到另一个进程的转换是由操作系统内核(kernel)管理的。**内核是操作系统代码常驻主存的部分 **。当应用程序需要操作系统的某些操作时，比如读写文件，它就执行一条特殊的 系统调用(system call) 指令，将控制权传递给内核。然后内核执行被请求的操作并返回应用程序。
内核不是一个独立的进程，是系统管理全部进程所用代码和数据结构的集合。

线程

一个进程实际上可以由多个称为线程的执行单元组成，每个线程都运行在进程的上下文中，并共享同样的代码和全局数据。
由于网络服务器中对并行处理的需求，线程成为越来越重要的编程模型，因为多线程之间比多进程之间更容易共享数据，也因为线程一般来说都比进程更高效。当有多处理器可用的时候，多线程也是一种使得程序可以运行得更快的方法。。。。后面学。。。

虚拟内存

虚拟内存是一个抽象概念，它为每个进程提供了一个假象，即 每个进程都在独占地使用主存 。每个进程看到的内存都是一致的，称为虚拟地址空间。
在这里插入图片描述
在 Linux 中，地址空间最上面的区域是保留给操作系统中的代码和数据的，这对所有进程来说都是一样。地址空间的底部区域存放用户进程定义的代码和数据。图中的地址是从下往上增大的。

每个进程看到的虚拟地址空间由大量准确定义的区构成，每个区都有专门的功能。
程序代码和数据
对所有的进程来说，代码是从同一固定地址开始，紧接着的是和 C 全局变量相对应的数据位置。
代码和数据区是直接按照可执行目标文件的内容初始化的，在示例中就是可执行文件 hello。
堆
代码和数据区后紧随着的是运行时堆。代码和数据区在进程一开始运行时就被指定了大小，与此不同，当调用像 malloc 和 free 这样的C标准库函数时，堆可以在运行时动态地扩展和收缩。
共享库
大约在地址空间的中间部分是一块用来存放像 C 标准库和数学库这样的共享库的代码和数据的区域。
栈
位于用户虚拟地址空间顶部的是用户栈，编译器用它来实现函数调用。和堆一样，用户栈在程序执行期间可以动态地扩展和收缩。特别地，每次我们调用一个函数时，栈就会增长；从一个函数返回时，栈就会收缩。
内核虚a拟内存
地址空间顶部的区域是为内核保留的。不允许应用程序读写这个区域的内容或者直接调用内核代码定义的函数。相反，它们必须调用内核来执行这些操作。

虚拟内存的运作需要硬件和操作系统软件之间精密复杂的交互，包括对处理器生成的每个地址的硬件翻译。基本思想是把一个进程虚拟内存的内容存储在磁盘上，然后用主存作为磁盘的高速缓存。

文件

文件就是字节序列，仅此而已。每个 I/0 设备，包括磁盘、键盘、显示器，甚至网络，都可以看成是文件。系统中的所有输入输出都是通过使用一小组称为 Unix I/O 的系统函数调用读写文件来实现的。
文件向应用程序提供了一个统一的视图，来看待系统中可能含有的所有各式各样的 I/O 设备。
同一个程序可以在使用不同磁盘技术的不同系统上运行。

系统之间利用网络通信

系统经常通过网络和其他系统连接到一起。从一个单独的系统来看，网络可视为一个 I/O 设备。
当系统从主存复制一串字节到网络适配器时，数据流经过网络到达另一台机器，而不是比如说到达本地磁盘驱动器。相似地，系统可以读取从其他机器发送来的数据，并把数据复制到自己的主存。

Amdahl 定律

对系统的某个部分加速时，其对系统整体性能的影响取决于该部分的重要性和加速程度。
若系统执行某应用程序需要时间为 $T_{old}$ 。假设系统某部分所需执行时间与该时间的比例为 $\alpha$ ，而该部分性能提升比例为 $k$ 。即该部分初始所需时间为 $\alpha T_{old}$ ，现在所需时间为 $(\alpha T_{old})/k$ 。因此，总的执行时间应为
$T_{new} = (1-\alpha)T_{old}+(\alpha T_{old})/k=T_{old}=T_{old}[(1-\alpha)+\alpha / k]$