根据计算模块的组织方式的不同，神经网络芯片从体系结构上主要分为乘加树和脉动阵列两大类。 Dian na0系列采用了乘加树体系结构。它类似于经典的通用处理器，使用指令来灵活控制整个卷积计算的过程，同时，对输入特征图、权重和输出特征图等不同的运算数据设计专用的缓冲系统DaDiannao则针对高性能深度学习应用场景，扩展了多运算核心架构。
谷歌的TPU则采用了脉动阵列的组织方式。脉动阵列是在1970年代由哈佛大学的孔祥重教授提出，中科院计算所李国杰院士在脉动阵列的发展中也作出过基础性贡献。脉动阵列采用一种纵横处理结构，数据按预先确定的“流水”在阵列的处理单元中有规则地流动，单元对数据进行并行处理，预先确定的数据流动模式使数据从流入到流出处理单元阵列过程中完成所有应做的处理。神经网络的卷积计算模式和脉动阵列计算特点高度匹配，因而能取得非常好的加速性能。
从二者的结构特征可以看出，乘加树结构的神经网络芯片使用指令控制计算流程，灵活通用，适合设计通用神经网络处理器。而脉动阵列结构，可以高效复用数据，性能更高，但计算模式固定，比较专用。
