世界中的大量数据是存在关系数据库(Relational Database)中的。对这些数据的表征、挖掘以及进行大规模预测一直是数据库研究以及机器学习研究中的重要课题。那么在深度学习和大语言模型当道的今天,对于关系数据库的理解是不是又能上一个台阶呢?
最近,来自斯坦福大学的学者其中包括“图学习”(Graph Learning)界的权威专家Jure Leskovec及他的学生,发布了一篇名为“Relational Deep Learning: Challenges, Foundations and Next-Generation Architectures”(http://t.cn/A6kV87VQ)的综述论文,详细探讨了深度学习在关系数据库上的应用,特别是如何用图学习来对关系数据进行建模
简单来说,最重要的一个步骤就是要把关系表(Relational Table)的结构表达有效得转换成图的形式。其实,每一个表都可以看成是某种类型的节点(Node)。节点之间的关系,或是说联结(Connetion)则是两个表的“主、外键”(Primary-Foreign Keys)关系。每个表的内部信息,则可以转换成为节点的附加信息(Attribute)。于是,整个关系数据库就可以转换成为一个标准的“异构图”(Heterogeneous Graph)。那么,我们就可以在这个基础上进行很多标准的图运算,例如节点预测(Link Prediction)等。如果我们再把时间信息(Temporal information)赋予这些链接,那么我们其实就可以用这些图表达复杂的时间序的事件。
有了这个基础的表征之后,文章总结了最近图学习中的几大流派,包括Graph Neural Networks (GNN)、Temporal Graph Neural Networks(TGNN)以及如何用Transfomer的思想来构建图学习的基础(Graph Transformers)和HeteroGNN等重要算法模型思想。可以说,读者只需要对这一部分按图索骥,就可以找到最近的一些相应的论文。
文章中突出了关系表深度学习的几个前沿方向,一个比较重要的方向当然是如何把关系信息更加进一步和大语言模型的基础构建相结合,这样就可以利用大语言模型目前的种种技术给关系表学习进行加持,当然这还是一个在探索的方向。另外一个比较困难,但也是很吸引人的方向就是,如果有比较好的关系表基础模型(Foundational Model),我们是不是也可以对于关系表进行Zero-Shot Prediciton,那么对于很多应用来说就不需要进行重新训练,这也是一个前沿的探索方向。
无独有偶,在这片文章推出不久,Google最近发表了一篇名为“Graph foundation models for relational data”(https://research.google/blog/graph-foundation-models-for-relational-data/)的博客文章,完全说了同一个思路,并且表明对这个方向已经有了不少产品和工程的实践。文中举出对于多个表的图学习比单一表学习的精度提升了3到40倍之多!非常惊人。不过遗憾的是,Google并没有放出更多细节的技术信息。可能还需要进一步的观察。
总之,关系信息的深度学习是一个重要的应用领域,非常值得关注。
(图一是斯坦福的Jure Leskovec;图二是Google Research的Michael Galkin,博文第一作者)
