由于不同的存储技术在存储速度和造价上相差巨大，为了高效的访问数据，现代计算机的存储系统会把最常用的数据放在读存速度快的存储设备上，而把不常用的数据放在读存速度慢的存储设备上。
存储器系统是一个具有不同容量、成本和访问时间的存储设备的层级结构。从上往下容量越来越大，但访问速度越来越慢。
上一层做为下一层的缓存来存储访问频率更高的数据，比如，cpu寄存器保存着最常用的数据。
靠近CPU的小的、快速的高速缓存存储器是内存上一部分数据和指令的缓冲区域。
主存缓存磁盘上的数据，而这些磁盘又常常作为存储在通过网络连接的其他机器的磁盘或磁带上的数据的缓冲区域。
