博韬：直播预告 | NeurIPS 专场七 & 青年科学家专场

2024-04-17 09:48:20 0 0

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

01

预告一：NeurIPS 2021专场七

3月10日下午2点，本期AI TIME NeurIPS邀请了来自蒙特利尔学习算法研究所、杜克大学计算机系的在读博士生、百度研究院（美国）、普渡大学、多伦多大学、清华大学、南加州大学（USC）、伦敦大学学院（UCL）、华中科技大学VLR Group以及英国爱丁堡大学的博士们开启NeurIPS专场七！

哔哩哔哩直播通道

扫码关注AITIME哔哩哔哩官方账号预约直播

朱兆成：

蒙特利尔学习算法研究所（Mila）在读博士生，师从唐建老师。他本科毕业于北京大学。他的主要研究方向包括图表征学习、知识图谱推理、药物发现和大规模机器学习系统。

分享内容：一种链路预测的通用图神经网络框架

链路预测是一种广泛运用于推荐系统、知识图谱推理和老药新用的图机器学习技术。在链路预测中，我们希望模型不仅能有出色的性能，更希望它能泛化到新的图数据上（即归纳学习能力），同时为预测提供适当的依据（即可解释性）。本文由传统的基于路径的算法出发，提出了一种路径形式的表征学习框架。我们的框架将一对点的表征，定义为它们之间所有路径表征的广义和，其中每条路径的表征由路径上边表征的广义积得到。此框架不仅具有归纳学习能力和可解释性，还可通过动态规划进行高效求解。在动态规划算法的基础上，我们提出了Bellman-Ford神经网络（NBFNet），从数据中自动学习动态规划的边界条件、广义和与广义积算子。NBFNet在同质图、知识图谱以及直推学习和归纳学习等多个设定和多个数据集下，均取得了优异的性能。

王翔：

杜克大学计算机系的在读博士生，导师为鬲融副教授。他本科就读于上海交通大学。他在ICML, NeurIPS, ICLR, COLT等国际会议中发表过多篇学术论文。他的研究致力于结合理论分析和实验方法去解释深度学习中的诸多现象。他的兴趣包括非凸优化，张量分解和自监督学习等。

分享内容：理解超参数张量分解中的降阶过程

本文研究了用梯度下降优化超参数张量分解问题的过程。在实验中，我们观察到这个过程往往先找到大的方向，再找到小的方向。这类似于一种常见的张量分解算法：张量降阶。我们接着证明了对于一个垂直可分解的张量，梯度下降会依照张量降阶的过程找到最优解。我们相信本工作有助于进一步理解张量学习问题中的隐正则现象。

黄家骥：

百度研究院（美国）资深研究员，近期研究兴趣为机器学习和自然语言模型的可解释性。2011本科毕业于中国科学技术大学电子工程系。2016年博士毕业于杜克大学电子系，师从香农奖得主Robert Calderbank。

分享内容：模型相似度，及新任务泛化

现有模型库，如huggingface model hub，发布有数以万计的模型。用户可能会问：这些模型互相是否很相似？哪些模型能更好的迁移或泛化到新任务上？本文尝试回答以上问题。首先我们做了如下简化的假设：1）存在一个任务空间，可以包含无限多的任务。2）每一个发布的模型解决了一个见过的任务。3）所有任务服从高斯过程，其协方差函数可以用模型的相似度估计。本文用CKA度量已发布模型之间的相似度，再基于最大化互信息量的方法找到有代表性的任务。我们在实验上发现：这些任务对应的模型能更好的迁移到新任务上。

郝博韬：

普渡大学统计学博士，普林斯顿大学电子工程系博士后。现任Deepmind 研究科学家，主要研究方向为强化学习理论。

主页：https://haobotao000.github.io/

分享内容：高维强化学习的一些理论问题

强化学习最近突破性的进展依赖于强大的特征提取器和高维的特征，但是高维的特征学习需要海量的数据量。在传统监督学习中，稀疏表达是一个有效的工具去处理curse of dimensionality并且提高模型的可解释性。然而稀疏表达在强化学习中的理论研究还处于初级阶段。在本次报告中，我会介绍我们最近一系列关于用稀疏表达解决高维强化学习的一些理论工作。

隋毅：

多伦多大学硕士毕业，主要研究方向为深度学习，XAI可解释AI，目前从事机器学习研究工作。

内容分享：于深度神经网络集成模型解释的基于雅可比展开的代表样本选择

近年来，深度神经网络模型和集成模型在很多方面取得了优异的表现，其可解释性也随即成为值得关注的研究方向。深入理解训练集数据对于模型预测产生的影响可以帮助理解，分析，和调试模型。该方向上的代表性方法，Representer Point Selection (RPS-l2) 根据神经网络的最后一层线性决定层把模型预测分解到每一个训练集数据上来确定其影响。然而，RPS-l2的理论假设模型训练过程中运用到了L2正则，在实际应用中往往需要对神经网路做L2正则微调，导致解释产生偏差。另一方面，RPS-l2往往对于同一个类别的测试点会产生同样的解释训练集。因此，我们提出一个基于雅可比展开的Representer Point Selection方法（RPS-LJE）。实验证明，RPS-LJE能提供忠实于源模型的，针对个体数据的解释，且可以被用于集成模型（比如XGBoost）。

赵嘉霖：

清华大学数据科学与信息技术、华盛顿大学技术创新双硕士，知识工程实验室，导师为唐杰教授，已毕业。本科毕业于清华大学计算机系。研究方向为图神经网络，目前从事推荐算法相关工作。

内容分享：图卷积神经网络中的自适应扩散

图神经网络 (GNN) 的成功很大程度上依赖于从输入图结构定义的邻居中聚合信息。值得注意的是，基于消息传递的 GNN，例如图卷积网络，在聚合过程中利用了每个节点的直接邻居，最近，提出了图扩散卷积 (GDC) 通过利用广义图扩散来扩展传播邻域。然而，GDC 中的邻域大小是通过对验证集进行网格搜索来手动调整每个图的，这使得它的泛化实际上受到了限制。为了解决这个问题，我们提出了自适应扩散卷积 (ADC) 策略，以自动从数据中学习最佳邻域大小。此外，我们打破了所有 GNN 层和特征通道（维度）应该使用相同的邻域大小进行传播的传统假设。我们设计策略使 ADC 能够为每个 GNN 层和每个特征通道学习一个专用的传播邻域，使 GNN 架构与图结构完全耦合——这是 GNN 与传统神经网络不同的独特属性。通过将 ADC 直接插入现有的 GNN，我们观察到 GDC 及其原始版本在各种数据集上的一致且显着的优异性能，证明了通过自动学习 GNN 中每层和每通道的独特邻域大小提高了模型的表达能力。

曾涵清：

南加州大学（USC）计算机工程博士生，本科毕业于香港大学电子工程系，即将入职Facebook/Meta AI研究科学家。主要研究方向为大规模图神经网络（GNN）的模型，算法及系统优化。开创性提出了基于子图采样的通用GNN训练框架，GraphSAINT；成果被多次写入图深度学习标准库Pytorch Geometric和DGL。相关论文发表于ICLR，NeurIPS，FPGA等AI算法及硬件架构的顶会。个人主页：https://hanqingzeng.com

内容分享：解耦图神经网络的深度和广度 – 浅层子图上的深层GNN

目前主流的GNN模型无法有效拓展到大图及深层模型。在很多实际应用中的大图（如社交网络）上，目标节点的邻域大小（广度）会随着GNN模型深度呈指数性增长。因此，深层GNN模型会面临如下挑战：1. 过平滑（oversmoothing）所导致的模型表达力下降；2. 邻域爆炸（neighborhood explosion）所导致的计算瓶颈。为同时解决上述挑战，我们提出了一种全新的GNN设计理念，进而解耦GNN的深度和广度：当生成目标节点v的表征时，我们先根据原图的结构在v周围提取一个小的子图，进而在此子图上构建任意深度的GNN。子图提取和后续GNN的构建成为两个独立的步骤，“解耦”由此而来。一个高质量的子图应该仅仅包含对v最重要的少数几个邻居节点，并且把其余与v无关的大部分邻点排除在外。无论解耦后的GNN有多深，它的计算开销只随深度成线性增长；并且，由于邻域中所有原始信息只与此特定的v相关，“过平滑”不会发生。我们进一步从三个不同角度从理论证明了解耦的好处：以GCN为例的图信号处理角度，以GraphSAGE为例的函数近似角度，以及以GIN为例的拓扑学习角度。实验上，我们评估了6种不同的解耦GNN架构，并在最大的公共数据集（1亿节点）上以1000倍更小的邻域取得了准确率提升。

张琛：

伦敦大学学院（UCL）博士，现为华为诺亚方舟AI基础实验室（伦敦研究所）研究科学家。研究方向为面向数据的建模和压缩的深度生成模型。

内容分享：基于深度生成模型单次在线迁移的无损压缩方案

显式深度生成模型，如变分自编码器和流模型等，可以比传统的方法更好地建模数据的概率分布，从而提供更高的压缩比。但是深度生成模型通常需要较大的模型存储空间，进而降低了编码空间缩减带来的增益。本文提出了使用预训练的生成模型在测试数据集上做单次在线迁移进行该数据集无损压缩的设定（OSOA）。通过在基于变分自编码器和基于流模型的无损压缩方案上分别实验，我们证明了OSOA可以高效地利用深度生成模型的归纳偏置，在与训练数据非同分布的测试数据集上取得了比直接针对测试数据训练或者在测试数据上微调等其他方案更好的综合性能。

黄腾腾：

硕士毕业于华中科技大学VLR Group，主要研究方向为自监督学习、度量学习、生成对抗网络等，曾在CVPR、ECCV、ICCV等会议及SCI期刊上发表文章十余篇。

内容分享：如空间集成：一种新颖的用于学生-教师框架的模型平滑机制

学生-教师框架+模型平滑技术已经成为半监督及自监督方法的一种流行范式。本文从当前主流的基于时序的模型平滑机制出发，分析了模型平滑技术在学生-教师框架中保证模型平稳迭代和促进收敛的重要性，并提出了一种新颖的空间平滑方法——空间集成（Spatial Ensemble）。我们的方法易于实现，且在多种自监督和半监督框架上都能够带来稳定一致的性能收益。

李南伯：

英国爱丁堡大学在读博士生，师从Bob Fisher教授和Chris Williams教授。主要研究方向为生成表征学习，尤其关注隐空间的分解和解释性因子分析，这也将其近期工作引向了因果学习。

内容分享：以物体为中心的表征空间的时空解耦

本工作聚焦在以物体为中心的场景表征学习--即将物体作为场景的解释性因子。以物体为中心的场景表示对于理解复杂场景空间结构乃至于场景观测的生成机制至关重要。然而，由于当前的无监督以对象为中心的表示学习方法是建立在静止观察者假设或静态场景假设之上的，它们通常因为：i）受到“单视图空间混淆”效应影响，或 ii）无法应对动态场景分布函数时变性的原因，而对空间理解和分解做出不正确或者不准确的推断。为了解决这个问题，我们提出了动态感知多对象网络（DyMON），一种将多视图（强化空间理解）以对象为中心的表示学习的范围扩展到动态场景（强化时间效应理解）的方法。我们在无监督的情况下训练DyMON，使其学习到从一系列观察中分解观察者运动和场景对象动力学的纠缠效应，并构建合适的场景对象空间表示用于在任意时间（跨时间查询）和从任意视点（跨空间查询）进行渲染。我们还展示，以物体为中心的时空分解支持我们独立地查询单个物体在某一个具体时刻和具体观测视角下的时空状态。

另外我们还邀请到胡正冕博士共同参与本次NeurIPS专场活动中，期待大家的精彩分享～

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“NeurIPS，将拉您进“AI TIME NeurIPS 交流群”！

3月10日晚 7:30-8:30

AI TIME 特别邀请浙江大学“百人计划”研究员、博士生导师张强老师为大家带来分享。

★ 嘉宾简介 ★

张强：

浙江大学“百人计划”研究员、博士生导师。曾在2020-2021年在英国伦敦大学学院（University College London）计算机系担任博后研究员，曾在该系攻读博士学位，导师是Emine Yilmaz教授。他在中国科学院攻读硕士，在山东大学攻取学士学位。他的研究主要涉及到机器学习、数据挖掘和生物分子智造等领域，曾参加多项英国政府EPSRC和企业的资助研究项目，在NeurIPS、ICML、ICLR、AAAI、WWW等人工智能顶级学术会议和SCI期刊发表二十余篇文章。

分享内容：