先进先出法相关论文(先进先出法的具体做法和优缺点)

AAAI 是由美国人工智能协会（Association for the Advance of Artificial Intelligence）主办的人工智能领域顶级学术会议之一。AAAI 2022 将于2月22日-3月1日举办。本次大会共收到创纪录的9251篇投稿，最终1349篇论文被大会接收，接收率为15.0%。其中，微软亚洲研究院入选十余篇论文。

直播信息

直播时间：

2022年1月13日13:30-17:30

直播地址：

B 站账号“微软中国视频中心”直播间

论文及讲者介绍

杨骁

微软亚洲研究院

研究员

杨骁，微软亚洲研究院机器学习组研究员，主要研究方向是机器学习及 AI 在金融场景中的应用。曾多次参加微软亚洲研究院与业界头部投资公司的合作，将多个 AI 算法落地到实际投资产品中。开发并发布了首个基于 AI 的开源量化投资平台“微矿 Qlib” 。

微矿 Qlib 地址：

https://github.com/microsoft/qlib

论文题目：

基于数据分布生成的可预测概念漂移适应

DDG-DA: Data Distribution Generation for Predictable Concept Drift Adaptation

论文摘要：在时序数据中，由于环境的不稳定性，数据分布常常会随时间变化且不可预测。这种现象被称为概念漂移，它导致在历史数据上训练的模型在概念漂移后性能下降。为了应对这一问题，前人的工作会检测概念漂移是否发生，然后调整模型以适应最近的数据分布。在很多实际场景中，环境的变化是有规律可预测的，因此可以对概念漂移的未来趋势建模，而不仅让模型适应最近的数据分布。我们提出了一种新方法来预测数据分布未来的变化，然后利用预测的数据分布生成新的训练数据来学习模型以适应概念漂移，最终提升模型性能。我们在股价、电力负荷和日照辐照度三个真实场景预测任务和多个模型上进行了实验验证并得到了显著提升。

代码已开源：

https://github.com/microsoft/qlib/tree/main/examples/benchmarks_dynamic/DDG-DA

论文开创性突破与核心贡献：我们是第一个通过建模数据分布变化来应对可预测概念漂移的方法，并在同类方法中取得了最佳性能。

孙诗昭

微软亚洲研究院

主管研究员

孙诗昭，微软亚洲研究院数据、知识、智能组主管研究员。她分别于2013年和2018年在南开大学信息安全系和计算机科学与技术系获得学士和博士学位。目前工作主要集中在平面布局自动生成的算法研究和应用落地。

论文题目：

平面布局的层次化生成式建模

Coarse-to-Fine Generative Modeling for Graphic Layouts

论文摘要：平面布局的自动生成，即预测布局中各个元素的位置和大小，是人工智能领域的新兴话题。本文将平面设计中的“区域”概念引入布局生成，提出了一种层次化的模型。具体来说，我们将 VAE 中的解码器分解为两个步骤。其中，第一个步骤预测区域，每个区域都可以看作是一个简单的布局且比整体布局包含更少的元素，第二个步骤基于生成的区域，预测区域中每个元素的具体位置和大小。定性和定量实验证明，本文提出的方法优于现有方法，其优势在复杂布局生成上尤为突出。

论文开创性突破与核心贡献：尽管人工智能在自然语言，图像，视频等多个传统领域取得了耀眼的成果，其在众多非传统领域的表现还有待研究。本文探索了人工智能在平面布局的自动生成这个新兴任务上的的可能性，并在多个基准数据集上取得了最佳效果。

王希廷

微软亚洲研究院

主管研究员

王希廷，微软亚洲研究院社会计算组主管研究员，研究兴趣为可解释、负责任的人工智能。王希廷分别于2011和2017年在清华大学获得电子系学士和计算机系博士学位。她的研究成果发表在 KDD、ICML、SIGIR、TVCG 等各个数据挖掘、机器学习及可视化的顶级会议、期刊上，被引用1300余次，还在微软等多公司的多个产品中落地应用。两次获得 CCF-A 类期刊 TVCG 封面论文奖，获得 AAAI 2021 Best SPC 奖。王希廷同时还是中国计算机学会高级会员，多次担任 AAAI 和 IJCAI 的高级程序委员会委员，并且在 WWW、ICML、NeurIPS 等国际顶级会议中常态化担任程序委员会委员。

论文题目：

基于推理的假新闻检测

Towards Fine-Grained Reasoning for Fake News Detection

论文摘要：假新闻的检测通常需要复杂的推理技巧，例如通过建模单词级别的微妙线索，有逻辑地整合推理依据。在本文中，我们通过更好地反映人类思维的逻辑推理过程并实现对微妙线索的建模，推动假新闻检测朝细粒度推理迈进。特别地，我们仿照人类的信息处理模型提出了一个细粒度的推理框架 FinerFact，引入了一种基于 Mutual Reinforcement 的方法来将人的知识引入模型预测中，并设计了一个带有先验的双通道 Kernel Graph Network 对证据之间的细微差异进行建模。大量实验表明，我们的模型优于当前最先进的方法，并可以提供卓越的可解释性。

论文开创性突破与核心贡献：论文提出了一个新颖的细粒度推理框架 FinerFact 用于假新闻检测，得到4位评审人的一致好评。评审人充分认可了其方法的开创性与优越的可解释性。

王婧璐

微软亚洲研究院

主管研究员

王婧璐，微软亚洲研究院多媒体计算组主管研究员，她于2011年在上海复旦大学获得计算机科学与技术学士学位，并于2016年获得香港科技大学计算机科学与工程博士学位。她的研究兴趣包括视频理解、视频分割、3D 重建、3D 对象检测。

论文题目：

用于在线视频实例分割的混合实例觉知时序融合方法

Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation

论文摘要：本文提出了一种基于实例的时序内容融合方法，用于在线视频实例分割框架。首先，我们利用图像分割的一种表示，基于实例的全局编码和 CNN 特征图来表示实例级和像素级特征。基于这种表示，我们引入了一种无需裁剪的时序融合方法来对视频帧之间的时间一致性进行建模。具体地，我们在实例编码中对全局实例信息进行编码，并通过实例编码和 CNN 特征图之间的混合注意力机制建模帧间的上下文融合。利用学习到的混合时间一致性，我们能够直接检索和维护跨帧的实例身份，去除了先前方法中复杂的逐帧实例匹配方案。在 Youtube-VIS-19/21 数据集，我们的模型在所有在线视频实例分割方法中取得了最佳性能。

论文开创性突破与核心贡献：用于实时视频实力分割的高效时序融合方法，在所有在线视频实例分割方法中取得了最佳性能。

论文题目：

用于视频对象分割的可靠传播 - 校正调制网络

Reliable Propagation-Correction Modulation for Video Object Segmentation

论文摘要：误差传播是视频对象分割中一个普遍但至关重要的问题。我们的目标是通过具有高可靠性的校正机制来抑制误差传播。关键是把用可靠线索的校正过程与常规的传播过程分开。我们引入了两种调制器网络，传播和校正调制模块，分别根据局部时间相关性和参考可靠性对目标帧特征逐通道重新校准。具体地，我们使用级联传播校正方案组装调制模块，避免了传播模块对校正模块的影响。尽管参考帧提供了可靠的线索，但它可能与目标帧非常不同，具有不完整的相关性。我们通过向维护池补充可靠的特征补丁来增加参考线索，从而提供更全面的对象表示。我们的模型在当时的 YouTube-VOS18/19 和 DAVIS17-Val/Test 基准测试中达到了最先进的性能。

论文开创性突破与核心贡献：简单的设计将可靠校正模块与预测传播解耦，我们的模型在当时的视频目标分割基准测试中达到了最先进的性能。

梁耀波

微软亚洲研究院

主管研究员

梁耀波，微软亚洲研究院自然语言处理组主管研究员，毕业于北京理工大学。他的研究兴趣主要包括跨语言预训练和智能问答。

论文题目：

XLM-K：通过多语言知识库提高跨语言预训练模型

XLM-K: Improving Cross-Lingual Language Model Pre-Training with Multilingual Knowledge

论文摘要：跨语言预训练的目标是提高模型在语言之间的迁移能力，使模型可以在一种语言上训练，然后在其他语言上直接测试。之前跨语言模型的能力主要来源于单语和双语的普通文本。我们的工作首次提出从多语言的知识库中来学习跨语言能力。我们提出了两个新的预训练任务：掩码实体预测和客体推理。这两个任务可以帮助模型实现更好的跨语言对齐，以及让模型更好的记忆知识。在具体任务上的测试表明了我们的模型可以显著提高知识相关的任务的性能，知识探针任务证明了我们模型更好的记忆了知识库。

论文开创性突破与核心贡献：利用结构化的多语言知识库来提升预训练模型，让模型通过掌握知识来提升跨语言迁移能力。

张星星

微软亚洲研究院

主管研究员

张星星，微软亚洲研究院自然语言计算组主管研究员，研究兴趣为自然语言生成和文本摘要。张星星于2017年博士毕业与爱丁堡大学信息学院，曾担任 ACL 2021、INLG 2021 领域主席及 ARR 2021 执行编辑。

论文题目：

用于文本摘要任务的序列级对比学习模型

Sequence Level Contrastive Learning for Text Summarization

论文摘要：自动摘要的目的是把一篇长的文档重写成一段简短的摘要保留原始文本最关键的信息。这个任务有一个特性即摘要是原始文档的一个短的版本并且跟原始文档有相近的意思。基于这个观察，我们提出了序列级别的对比学习模型 SeqCo（Sequence-level Contrastive Learning）；具体来说，我们把原始文档、人工标注的摘要及模型生成的摘要看作同一个语义表示的三个不同视角并在训练过程中最大化这三者表示之间的相似性。自动评测和人工评测实验表明 SeqCo 在多个摘要数据集上可以进一步提升基线模型 BART 的效果及提升摘要的原文忠诚度。

论文开创性突破与核心贡献：本文把对比学习方法引入到序列到序列生成任务中。

汤传新

微软亚洲研究院

高级研究工程师

汤传新，微软亚洲研究院智能多媒体组高级研究工程师，毕业于北京大学。目前工作主要集中在视频理解的算法研究和应用落地。

论文题目：

针对图片识别的稀疏 MLP：自注意力真的是必要的吗？

Sparse MLP for Image Recognition：Is Self-Attention Really Necessary?

论文摘要：Transformer 在计算机视觉领域得到了广泛应用。本文探索自注意力机制是否真是 Vision Transformer 取得成功的关键因素。为此，基于现有的 MLP 的网络架构，本文设计了一种不基于自注意力的网络架构 sMLPNet。具体地，在进行 token 融合时，本文提出了一种稀疏的 MLP 模块（sMLP）。对于二维的图片 token，sMLP 分别沿着水平和垂直方向使用共享参数的一维 MLP。通过这种稀疏连接和参数共享，sMLP 可以大幅减少模型的参数和时间复杂度，从而避免MLP容易过拟合的问题。在 ImageNet-1K 数据集上，sMLPNet 达到了与基于自注意力的网络架构相当的性能。这说明自注意力机制并不一定是必要的。代码已开源：https://github.com/microsoft/SPACH

论文开创性突破与核心贡献：设计了一种不基于自注意力的网络架构，达到了与基于自注意力的方法相当的性能。证明了在图片识别领域，自注意力并不一定是必要的。

论文题目：

当移位操作遇上视觉 Transformer：一个极度简单的注意力机制替代物

When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanism

论文摘要：注意力机制被广泛认为是 Vision Transformer成功的关键。然而，注意力机制真的是 ViT 不可或缺的一部分吗？为了揭开注意力机制的作用，我们将其简化为一个极其简单的操作：零 FLOP 而且零参数。具体来说，我们考虑移位操作。它不包含任何参数或算术计算。唯一的操作是在相邻特征之间交换一小部分通道。基于这个简单的操作，我们构建了一个新的骨干网络，即 ShiftViT。令人惊讶的是，ShiftViT 在几个视觉主流任务中表现得非常好，例如分类、检测和分割。这些结果表明注意力机制可能不是使 ViT 成功的重要因素。它甚至可以用零参数操作代替。

论文开创性突破与核心贡献：注意力机制可能不是使 ViT 成功的唯一因素，我们发现，哪怕使用一个零参数量、零计算量的简单移位操作替代它，也能够达到不错的性能。

朱群喜

复旦大学智能复杂体系实验室

博士后

朱群喜，复旦大学智能复杂体系实验室博士后。2021年6月，他博士毕业于复旦大学数学科学学院应用数学专业，师从林伟教授。目前从事复杂网络和深度学习的研究工作, 相关成果发表于国际顶级期刊 IEEE TAC、SICON、SCL、CHAOS 和人工智能会议 ICLR 2021、AAAI 2022。

论文题目：

神经分段常时滞微分方程

Neural Piecewise-Constant Delay Differential Equations

论文摘要：神经微分方程作为标准的连续深度神经网络框架，在时间序列分析，生成模型构建，物理系统建模等领域取得了广泛应用。但神经微分方程的微分同胚性质导致其不具备万有逼近能力。为了克服该问题，不少学者提出了相应的连续深度神经网络框架，比如，增维神经常微分方程、神经时滞微分方程（neural delay differential equation, NDDEs）等。本文中, 我们提出一类新的具有时滞的连续深度神经网络，称为神经分段常时滞微分方程（neural piecewise-constant delay differential equations, NPCDDEs）。在这里, 与之前提出的 NDDEs 框架不同，我们将单个时滞转换为分段常时滞（piecewise-constant delay）。经过这样转换后的 NPCDDEs 一方面继承了 NDDEs 中的万有逼近能力的优势，另一方面，NPCDDEs 考虑了多个过去时刻的信息, 进一步提高了模型能力。通过这样的推广, 我们在 1 维分段常时滞种群动力学以及图像数据集 MNIST、CIFAR10和SVHN上，证明了 NPCDDEs 的卓越性能。

论文开创性突破与核心贡献：AAAI 论文评审人充分认可了本文提出的神经分段常时滞微分方程及相关理论分析，认为其实验结果令人信服。

李博

新加坡南洋理工大学

博士生

李博，新加坡南洋理工大学在读博士生，他师从刘子纬老师，研究方向为鲁棒式机器学习及计算机视觉。

论文题目：

一致性信息瓶颈在域泛化中的应用

Invariant Information Bottleneck for Domain Generalization

论文摘要：一致风险最小化（IRM）是近年来出现的一种很流行的领域泛化方法。然而，对于非线性分类器来说，IRM 的损失函数很难优化，当伪一致特征（pseudo-invariant feature）和几何偏置（geometric-skews）存在时，通常会导致 IRM 的优化目标失效。以解决 IRM 的缺陷为出发点，本文提出了一种新的领域泛化算法，称为一致性信息瓶颈（IIB）。我们首先提出通过优化互信息的方式实现基于因果关系的一致性预测。然后我们采用互信息的变分形式来建立非线性分类器的可优化的损失函数。其次我们提出最小化输入与特征表示之间的互信息来避免特征表示存在伪一致特征（pseudo-invariant feature）和几何偏置（geometric-skews）。在人工设计的合成数据集上，IIB 的性能显著优于 IRM，在真实数据集 DomainBed 上的实验表明， IIB 在 7 个真实数据集上平均比 13 个基线方法性能高出 0.9%。

论文开创性突破与核心贡献：

分析了 IRM 所存在的缺陷，在 IRM 的基础上引入了信息瓶颈（Information Bottleneck），将优化目标整体写成互信息的形式并且采用变分推断优化互信息项。

张智杰

中科院计算所

博士生

张智杰，中科院计算所在读博士生，导师是张家琳研究员和孙晓明研究员，研究兴趣包括组合优化、算法设计和机器学习理论，相关成果发表于 SODA、ICML、AAAI 等国际会议上。

论文题目：

使用点反馈与标准离线黑箱算法的在线影响力最大化问题

Online Influence Maximization with Node-level Feedback Using Standard Offline Oracles

论文摘要：本文研究在线影响力最大化问题：玩家与未知社交网络进行多轮交互，每轮需要选取种子集合投放信息，观察信息传播过程的反馈数据，据此学习网络参数并更新选取策略，最终最小化多轮交互的累积悔值。本文针对独立级联（IC）和线性阈值（LT）传播模型，各自设计了一个基于点反馈并且使用标准离线黑箱算法的最优悔值在线算法，改进了之前 IC 模型下基于边反馈的算法和 LT 模型下使用非标准黑箱的算法。本文提出变种极大似然估计方法，并定义伪似然函数，以辅助参数估计。本文的分析能够针对每个网络参数得到一个置信区间。

论文开创性突破与核心贡献：本文是第一篇应用点反馈和标准离线黑箱算法来解决 OIM 的文章，所提出的 bandit 算法具有理论合理性。同时，本文提出的使用 MLE 适应 GLB 的方法有潜力用于处理更广泛类别的分布所产生的奖励。

论文分享会时间表

13:30-13:50

论文题目：

基于数据分布生成的可预测概念漂移适应

分享者：

杨骁，微软亚洲研究院机器学习组研究员

13:50-14:10

论文题目：

平面布局的层次化生成式建模

分享者：

孙诗昭，微软亚洲研究院数据、知识、智能组主管研究员

14:10-14:30

论文题目：

基于推理的假新闻检测

分享者：

王希廷，微软亚洲研究院社会计算组主管研究员

14:30-14:50

论文题目：

用于在线视频实例分割的混合实例觉知时序融合方法

分享者：

王婧璐，微软亚洲研究院多媒体计算组主管研究员

14:50-15:10

论文题目：

用于视频对象分割的可靠传播 - 校正调制网络

分享者：

王婧璐，微软亚洲研究院多媒体计算组主管研究员

15:10-15:30

论文题目：

XLM-K：通过多语言知识库提高跨语言预训练模型

分享者：

梁耀波，微软亚洲研究院自然语言处理组主管研究员

15:30-15:50

论文题目：

用于文本摘要任务的序列级对比学习模型

分享者：

张星星，微软亚洲研究院自然语言计算组主管研究员

15:50-16:10

论文题目：

针对图片识别的稀疏 MLP：自注意力真的是必要的吗？

分享者：

汤传新，微软亚洲研究院智能多媒体组高级研究工程师

16:10-16:30

论文题目：

当移位操作遇上视觉 Transformer：一个极度简单的注意力机制替代物

分享者：

汤传新，微软亚洲研究院智能媒体组高级软件开发工程师

16:30-16:50

论文题目：

神经分段常时滞微分方程

分享者：

朱群喜，复旦大学智能复杂体系实验室博士后

16:50-17:10

论文题目：

一致性信息瓶颈在域泛化中的应用

分享者：

李博，新加坡南洋理工大学博士生

17:10-17:30

论文题目：

使用点反馈与标准离线黑箱算法的在线影响力最大化问题

张智杰，中科院计算所在读博士生