先声明，我身为化学人，是从结构化学的层次谈论这个话题，如果有不对也请指正。我觉得，本质上这二者有一点点区别，但是可以互为补充。
波动力学更喜欢使用算符（operator），这就是指表象，矩阵力学更喜欢用矩阵表示，将问题转化为线性方程组的求解。这两者各有优点：前者直观而后者才是上机的程序编写出发点。
但是我本人并不完全赞同二者的做法。我更愿意认为这是一个线性映射（linear mapping）（当然，算符可以是非线性的，这里局限在谈论波动力学基础，里面似乎没有太多概念是非线性的），这个是高等代数中的基本概念。这个概念上的区别因为化学人大部分或者可以说绝大部分都没有（或者不清晰）比较好的代数基础而没法得到理解（只学习线性代数的弊端）。他们认为，矩阵表示和算符表示一样，只是有一点分别，比如计算位置算符与广义动量算符的换位元素（就是力学中的Possion括号，也叫做对易子，这里是沿用了代数说法）时矩阵表示便无能为力，但是算符依然可以，而这用线性映射的方法也可以做的。所以我认为，矩阵力学建立在线性映射的基础上可以规避这种问题（明确些，就是难以选择确定体系在基域上的一个基的情况下，矩阵表示无法建立，但是依然可以用映射符合表示）。
至于其他的大多数概念，比如特征值（或者叫做本征值）都是重合的（对于线性映射，讲特征值；对于算符讲本征值）。
我认为，矩阵表示是一种方法论，是研究态射的一种办法，群表示论就是这种学科。比如研究置换，置换可以认为是一种作用，是一个算符，这些作用或者叫做算符也可以组成一个群（全变换群），但是却也可以有矩阵表示（选好线性变换的基与规则就可以）。从这个意义上理解二者作为一体，比单纯地认为二者实质分立要强得多。
关键还是对于代数学没有真正的认识与理解。这些内容老师也不讲（国内的这方面教材，指结构化学教材，几乎都是波动力学，不大讲矩阵力学），都是我自己随便琢磨的，有问题也很正常。欢迎友好交流。
高代看的是丘砖，反复看了两三遍（刷了两三遍），越看越感觉像是结构化学数学基础导论……徐光宪老先生的书虽然也可，但是数学精致程度差的太远。当然，要是有解析几何配合就更好了，对称操作就会更容易理解（我完全懒得理解交换不交换，更愿意看两个对应的矩阵表示是不是可以交换或者更高一点，是不是中心化子）。也读过一点抽代，算符更像是抽代的意识派生的产物。但是也归于代数范畴。
总而言之，只有代数的等价表示而已，没有区别。
