机器推理系列文章概述:七大NLP任务的最新方法和进展
本文来自微软研究所微信官方账号人工智能头条，人工智能技术评论被授权转载。如需转载，请联系原微信官方账号。bi li bi li。
编者按：自然语言处理的发展进化带来了新的热潮和研究问题，研究人员在许多不同的任务中推动机器推理（MachineReasoning）提高能力。基于一系列领先的科研成果，微软亚洲研究所自然语言计算小组将推出一组文章，介绍常识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档问答、多轮语义分析和问答任务的最新方法和进展。a+bi。
从规则方法、统计方法到当前的深度学习方法，自然语言处理（NLP）在过去的五年里，研究一直处于不断发展和进化的状态，取得了显著的成果。对于具有充分标记语料的NLP任务（如机器翻译和自动问答），现有的深度学习方法可以很好地建模输入和输出之间的关系，并在分布相同或类似的测试数据方面取得令人满意的效果。然而，一旦测试数据涉及的知识和领域超出了训练数据的范围，大多数模型的效果就会直线下降。这种现象并不难理解：人类通过各种学习过程（如数学知识、物理知识、世界知识、常识知识等）掌握了大量的通用知识。在学习新技能或遇到新问题时，这些知识可以帮助人类推理和举一反三。然而，绝大多数NLP模型都没有这样的知识模型，因此无法很好地理解和解决新的问题。bi是啥。
大规模知识图(如Satori和WikiData)的出现，使得构建基于知识的NLP模型成为可能，语义分析（SemanticParsing）问答知识图谱（Knowledge-basedQA）研究也成为两个最热门的NLP课题。然而，由于现有知识地图对人类知识的覆盖范围仍然非常有限，基于知识地图的NLP模型只能准确地理解和处理自然语言问题和任务的一小部分，而对其余部分无能为力。
在过去的两年里，预训练模型(如GPT)、BERT和XLNet）它大大提高了几乎所有自然语言处理任务的最佳水平。基于语言模型的预训练和下游任务的模型参数的微调可以很好地将从训练数据中学到的“通用知识”转移到下游任务中。关于这种“通用领域预训练” 整个NLP社区也就具体任务微调的新范式展开了热烈的讨论:预训练模型真的学到了“知识”吗？它能取代现有的符号化知识图谱吗？它有推理能力吗？
微软亚洲研究院自然语言计算组的研究员带着对上述问题的好奇，对机器推理进行了一系列研究。本文将解释什么是机器推理，并简要说明现有NLP方法与机器推理的关系。接下来，我们将推出一系列文章，介绍常识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档级问答、多轮语义分析和问答任务的最新方法和进展。做bi。
机器推理（MachineReasoning），是指基于现有知识理解和推断未见问题并得出问题对应答案的过程[1]。根据这个定义，机器推理涉及四个主要问题:(1)如何理解和表达输入？(2)如何定义知识？(3)如何提取和表达与输入相关的知识？(4)基于对输入及其相关知识的理解，如何推断输入对应的输出？下图显示了机器推理的整体框架。
有bi吗。
图1：机器推理整体框架
NLP领域积累了大量关于输入理解和表达的研究，包括词袋（Bag-of-Word）分析模型和句法（SyntacticParsing）嵌入模型和单词（WordEmbedding）嵌入模型和句子（SentenceEmbedding）模型等。对于知识的定义，不仅开放/特定领域的知识地图和常识地图属于“知识”的范畴，而且广泛研究和使用的预训练模型也可以看作是知识。这是因为预训练模型的本质是在大量文本中存储每个单词的上下文。Facebook的工作[2]也从实验的角度证明了现有预训练模型对知识图谱和常识知识的覆盖。对于知识的提取和表达，基于知识图谱的模型通常根据实体链接的结果从知识图谱中找到和输入相关知识，并嵌入知识（KnowledgeEmbedding）编码建模的方法。相比之下，基于预训练模型的知识提取对应于使用预训练模型编码输入文本的过程。不同的任务通常使用不同的推断算法来推断基于输入及其相关知识。例如，在语义分析任务中，推断过程对应于生成语义表示的算法。在基于预训练模型的微调方法中，推断过程对应于现有预训练模型上的任务相关层。
上述描述只是对机器推理的一个肤浅的解释。在接下来的一系列文章中，我们将介绍上述机器推理框架在几项最新推理任务中的具体实现方法和实验效果，包括：bi m。
机器推理系列之一：基于推理的常识问答
bi t。
图2：我们提出的推理方法（XLNet GraphReasoning）在以色列特拉维夫大学常识问答任务CommonsenseQA上取得了目前的statee-of-the-art结果[3]。
（https://www.tau-nlp.org/csqa-leaderboard）bi g。
机器推理系列2：基于推理的事实检测永洪bi。
caoxiaojiebi。
图3：我们提出的推理方法（DREAM）在Amazon剑桥研究院事实检测任务FEVER上取得了目前的statee-of-the-art结果[4]。
（https://competitions.codalab.org/competitions/18814#results）
机器推理系列三：基于推理的跨语言自然语言推理
图4：我们提出的跨语言预训练模型（Unicoder）在纽约大学的跨语言自然语言推理任务XNLI上取得了目前的stateee-of-the-art结果[5]。
（https://arxiv.org/pdf/1909.00964.pdf）
机器推理系列4：基于推理的视觉常识推理
图5：我们提出的跨模态预训模型（Unicoder-VL）在华盛顿大学视觉常识推理任务VCR上取得了目前的statee-of-the-art结果[6]。
caoxiaojiebi
（https://visualcommonsense.com/leaderboard/）
机器推理系列5：基于推理的视觉问答
图6：我们提出的推理方法（DREAM Unicoder-VL）目前在斯坦福大学的视觉推理和问答任务GQA上取得了statee-of-the-art结果[7]。
（https://evalai.cloudcv.org/web/challenges/challenge-page/225/leaderboard/733）
机器推理系列6：基于推理的文档级问答
图7：基于BERT的文档建模方法（BERT-DM）在谷歌的文档级问答任务NQ上获得了目前的state-of-the-art结果[8]。
（https://ai.google.com/research/NaturalQuestions）
机器推理系列7：基于推理的多轮语义分析和问答。
图8：多轮语义分析和问答方法(SEQ2Action）在IBM研究所CSQA上获得了多轮复杂问答任务-of-the-art结果[9][10]。
全系列的机器推理文章将在下一段时间内陆续发表，敬请期待！
参考文献：
[1]MingZhou,NanDuan,ShujieLiu,Heung-YeungShum.ProgressinNeuralNLP:Modeling,LearningandReasoning.ToappearinEngineering,2019.
[2]FabioPetroni,TimRocktaschel,PatrickLewis,AntonBakhtin,YuxiangWu,AlexanderH.Miller,SebastianRiedel.LanguageModelsasKnowledgeBases?.EMNLP,2019.
[3]ShangwenLv,DayaGuo,JingjingXu,DuyuTang,NanDuan,MingGong,LinjunShou,DaxinJiang,GuihongCao,SonglinHu.Graph-basedReasoningoverHeterogeneousExternalKnowledgeforCommonsenseQuestionAnswering.ToappearinarXiv,2019.
[4]WanjunZhong,JingjingXu,DuyuTang,ZenanXu,NanDuan,MingZhou,JiahaiWang,JianYin.ReasoningOverSemantic-LevelGraphforFactChecking.ToappearinarXiv,2019.
[5]HaoyangHuang,YaoboLiang,NanDuan,MingGong,LinjunShou,DaxinJiang,MingZhou.Unicoder:AUniversalLanguageEncoderbyPre-trainingwithMultipleCross-lingualTasks.EMNLP,2019.
[6]GenLi,NanDuan,YuejianFang,MingGong,DaxinJiang,MingZhou.Unicoder-VL:AUniversalEncoderforVisionandLanguagebyCross-modalPre-training.arXiv,2019.
[7]ChenfeiWu,NanDuan,GenLi,YanzhaoZhou,DuyuTang,XiaojieWang,DaxinJiang,MingZhou.DREAM:DynamicREAsoningMachineforVisualQuestionAnswering.ToappearinarXiv,2019.
[8]BoZheng,HaoyangWen,YaoboLiang,NanDuan,WanxiangChe,DaxinJiang,TingLiu,MingZhou.DocumentModelingwithGraphAttentionNetworksforMulti-grainedMachineReadingComprehension.ToappearinarXiv,2019.
[9]DayaGuo,DuyuTang,NanDuan,JianYin,MingZhou.Dialog-to-Action:ConversationalQuestionAnsweringoveraLarge-ScaleKnowledgeBase.NeurIPS,2018.
[10]DayaGuo,DuyuTang,NanDuan,MingZhou,JianYin.CouplingRetrievalandMeta-LearningforContext-DependentSemanticParsing.ACL,2019.
本文心得:
分享让更多人看到
避坑指南：如何选择风楼阁全国官方服务？
在当今这个信息爆炸的时代，很多人在寻找优质的上门服务时，会遇到各种难题，如何避免被一些不正规的服务平台坑害，成为了大家关注的焦点。特别是对于一些较为专业的服务领域，选择一个靠谱的平台至关重要。今天，我们来谈谈如何选择风楼阁全国官方，并避免在服务过程中遇到不必要的麻烦。
现在很多平台都打出低价优惠的口号，尤其是一些没有品牌保障的公司。选择风楼阁全国官方时，我们要特别留意，低价不一定代表高质量。有时候，过于便宜的价格可能隐藏着不合理的收费或隐性消费。务必了解服务的详细内容和标准，确保自己花费的每一分都值得。
💡 提示：选择风楼阁全国官方时，可以参考平台的透明收费标准，并确保所有费用都提前明确，避免后续的额外支出。
现在，网络上充斥着各种服务平台，如何判断一个平台是否值得信赖呢？最简单的方法就是查验平台的资质和用户评价。风楼阁全国官方作为一个有信誉的平台，应该有明确的注册信息和过往服务的好评记录。通过浏览平台的用户评论和评分，可以帮助你了解其服务的质量和用户的真实反馈。
📈 提示：切勿忽视平台的口碑，尤其是客户的实际评价，真实的使用体验常常比广告更具说服力。
对于上门服务类的公司而言，服务细节和售后保障显得尤为重要。服务完成后，是否有完善的售后支持？是否能够及时解决问题？选择风楼阁全国官方时，要确保平台提供全面的售后保障政策，例如免费修复、退换服务等。这样一来，即使出现问题，也能得到及时的解决。
🔧 提示：选择风楼阁全国官方时，关注是否提供售后保障服务，并详细了解相关条款，避免不必要的麻烦。
在选择风楼阁全国官方时，服务人员的专业素质尤为重要。专业的服务团队不仅能保证服务的质量，还能确保在处理一些特殊情况时，能够高效且安全地完成任务。在选择服务前，可以先了解一下平台的工作人员是否经过专业培训，并确保他们有相应的认证和经验。
🛠️ 提示：选择风楼阁全国官方时，可以向平台咨询是否有专业培训认证，确保服务人员具备应有的技能和经验。
很多消费者在选择服务平台时容易忽略透明度的问题，一些平台存在信息不对称，导致客户无法全面了解服务内容。风楼阁全国官方注重服务的透明度，所有的收费标准、服务条款、时间安排等都会提前告知客户。消费者在选择时，务必确认平台的各项服务内容是否清晰，避免事后产生不必要的纠纷。
🔍 提示：在选择风楼阁全国官方时，一定要提前了解平台提供的所有服务信息，确保每项服务都有清晰明了的说明。
随着互联网的发展，虚假宣传成为了不少不正规平台的手段之一。为了避免上当受骗，我们在选择风楼阁全国官方时要保持警惕。选择一个正规的服务平台，应该避免被那些夸大其词的宣传所迷惑。实际服务与宣传广告之间往往有差距，务必确保服务平台没有虚假夸大。
🚨 提示：警惕虚假宣传，选择有真实用户评价的风楼阁全国官方，确保服务内容与广告一致。
在如今的市场环境中，消费者选择服务平台时必须保持清醒的头脑，避免因盲目跟风而陷入服务陷阱。选择一个正规、专业、有保障的平台非常重要，风楼阁全国官方无疑是一个值得信赖的选择。通过了解平台的资质、价格、服务内容以及用户评价，能够有效避免陷入不必要的麻烦，享受高质量的服务体验。
🔑 标签: #风楼阁全国官方 #避坑指南 #上门服务 #选择平台 #服务质量 #用户评价
📝 评论: 你是否曾经选择过风楼阁全国官方的服务？有什么经验可以分享？欢迎在评论区留言讨论！
本文心得:
62t 评论于 [2025-06-22 01:34:54]
旅游电影
死机的英文
奖杯月嫂
分享让更多人看到