机器推理系列文章概述:七大NLP任务的最新方法和进展
本文来自微软研究所微信官方账号人工智能头条，人工智能技术评论被授权转载。如需转载，请联系原微信官方账号。bi li bi li。
编者按：自然语言处理的发展进化带来了新的热潮和研究问题，研究人员在许多不同的任务中推动机器推理（MachineReasoning）提高能力。基于一系列领先的科研成果，微软亚洲研究所自然语言计算小组将推出一组文章，介绍常识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档问答、多轮语义分析和问答任务的最新方法和进展。a+bi。
从规则方法、统计方法到当前的深度学习方法，自然语言处理（NLP）在过去的五年里，研究一直处于不断发展和进化的状态，取得了显著的成果。对于具有充分标记语料的NLP任务（如机器翻译和自动问答），现有的深度学习方法可以很好地建模输入和输出之间的关系，并在分布相同或类似的测试数据方面取得令人满意的效果。然而，一旦测试数据涉及的知识和领域超出了训练数据的范围，大多数模型的效果就会直线下降。这种现象并不难理解：人类通过各种学习过程（如数学知识、物理知识、世界知识、常识知识等）掌握了大量的通用知识。在学习新技能或遇到新问题时，这些知识可以帮助人类推理和举一反三。然而，绝大多数NLP模型都没有这样的知识模型，因此无法很好地理解和解决新的问题。bi是啥。
大规模知识图(如Satori和WikiData)的出现，使得构建基于知识的NLP模型成为可能，语义分析（SemanticParsing）问答知识图谱（Knowledge-basedQA）研究也成为两个最热门的NLP课题。然而，由于现有知识地图对人类知识的覆盖范围仍然非常有限，基于知识地图的NLP模型只能准确地理解和处理自然语言问题和任务的一小部分，而对其余部分无能为力。
在过去的两年里，预训练模型(如GPT)、BERT和XLNet）它大大提高了几乎所有自然语言处理任务的最佳水平。基于语言模型的预训练和下游任务的模型参数的微调可以很好地将从训练数据中学到的“通用知识”转移到下游任务中。关于这种“通用领域预训练” 整个NLP社区也就具体任务微调的新范式展开了热烈的讨论:预训练模型真的学到了“知识”吗？它能取代现有的符号化知识图谱吗？它有推理能力吗？
微软亚洲研究院自然语言计算组的研究员带着对上述问题的好奇，对机器推理进行了一系列研究。本文将解释什么是机器推理，并简要说明现有NLP方法与机器推理的关系。接下来，我们将推出一系列文章，介绍常识问答、事实检测、自然语言推理、视觉知识推理、视觉问答、文档级问答、多轮语义分析和问答任务的最新方法和进展。做bi。
机器推理（MachineReasoning），是指基于现有知识理解和推断未见问题并得出问题对应答案的过程[1]。根据这个定义，机器推理涉及四个主要问题:(1)如何理解和表达输入？(2)如何定义知识？(3)如何提取和表达与输入相关的知识？(4)基于对输入及其相关知识的理解，如何推断输入对应的输出？下图显示了机器推理的整体框架。
有bi吗。
图1：机器推理整体框架
NLP领域积累了大量关于输入理解和表达的研究，包括词袋（Bag-of-Word）分析模型和句法（SyntacticParsing）嵌入模型和单词（WordEmbedding）嵌入模型和句子（SentenceEmbedding）模型等。对于知识的定义，不仅开放/特定领域的知识地图和常识地图属于“知识”的范畴，而且广泛研究和使用的预训练模型也可以看作是知识。这是因为预训练模型的本质是在大量文本中存储每个单词的上下文。Facebook的工作[2]也从实验的角度证明了现有预训练模型对知识图谱和常识知识的覆盖。对于知识的提取和表达，基于知识图谱的模型通常根据实体链接的结果从知识图谱中找到和输入相关知识，并嵌入知识（KnowledgeEmbedding）编码建模的方法。相比之下，基于预训练模型的知识提取对应于使用预训练模型编码输入文本的过程。不同的任务通常使用不同的推断算法来推断基于输入及其相关知识。例如，在语义分析任务中，推断过程对应于生成语义表示的算法。在基于预训练模型的微调方法中，推断过程对应于现有预训练模型上的任务相关层。
上述描述只是对机器推理的一个肤浅的解释。在接下来的一系列文章中，我们将介绍上述机器推理框架在几项最新推理任务中的具体实现方法和实验效果，包括：bi m。
机器推理系列之一：基于推理的常识问答
bi t。
图2：我们提出的推理方法（XLNet GraphReasoning）在以色列特拉维夫大学常识问答任务CommonsenseQA上取得了目前的statee-of-the-art结果[3]。
（https://www.tau-nlp.org/csqa-leaderboard）bi g。
机器推理系列2：基于推理的事实检测永洪bi。
caoxiaojiebi。
图3：我们提出的推理方法（DREAM）在Amazon剑桥研究院事实检测任务FEVER上取得了目前的statee-of-the-art结果[4]。
（https://competitions.codalab.org/competitions/18814#results）
机器推理系列三：基于推理的跨语言自然语言推理
图4：我们提出的跨语言预训练模型（Unicoder）在纽约大学的跨语言自然语言推理任务XNLI上取得了目前的stateee-of-the-art结果[5]。
（https://arxiv.org/pdf/1909.00964.pdf）
机器推理系列4：基于推理的视觉常识推理
图5：我们提出的跨模态预训模型（Unicoder-VL）在华盛顿大学视觉常识推理任务VCR上取得了目前的statee-of-the-art结果[6]。
caoxiaojiebi
（https://visualcommonsense.com/leaderboard/）
机器推理系列5：基于推理的视觉问答
图6：我们提出的推理方法（DREAM Unicoder-VL）目前在斯坦福大学的视觉推理和问答任务GQA上取得了statee-of-the-art结果[7]。
（https://evalai.cloudcv.org/web/challenges/challenge-page/225/leaderboard/733）
机器推理系列6：基于推理的文档级问答
图7：基于BERT的文档建模方法（BERT-DM）在谷歌的文档级问答任务NQ上获得了目前的state-of-the-art结果[8]。
（https://ai.google.com/research/NaturalQuestions）
机器推理系列7：基于推理的多轮语义分析和问答。
图8：多轮语义分析和问答方法(SEQ2Action）在IBM研究所CSQA上获得了多轮复杂问答任务-of-the-art结果[9][10]。
全系列的机器推理文章将在下一段时间内陆续发表，敬请期待！
参考文献：
[1]MingZhou,NanDuan,ShujieLiu,Heung-YeungShum.ProgressinNeuralNLP:Modeling,LearningandReasoning.ToappearinEngineering,2019.
[2]FabioPetroni,TimRocktaschel,PatrickLewis,AntonBakhtin,YuxiangWu,AlexanderH.Miller,SebastianRiedel.LanguageModelsasKnowledgeBases?.EMNLP,2019.
[3]ShangwenLv,DayaGuo,JingjingXu,DuyuTang,NanDuan,MingGong,LinjunShou,DaxinJiang,GuihongCao,SonglinHu.Graph-basedReasoningoverHeterogeneousExternalKnowledgeforCommonsenseQuestionAnswering.ToappearinarXiv,2019.
[4]WanjunZhong,JingjingXu,DuyuTang,ZenanXu,NanDuan,MingZhou,JiahaiWang,JianYin.ReasoningOverSemantic-LevelGraphforFactChecking.ToappearinarXiv,2019.
[5]HaoyangHuang,YaoboLiang,NanDuan,MingGong,LinjunShou,DaxinJiang,MingZhou.Unicoder:AUniversalLanguageEncoderbyPre-trainingwithMultipleCross-lingualTasks.EMNLP,2019.
[6]GenLi,NanDuan,YuejianFang,MingGong,DaxinJiang,MingZhou.Unicoder-VL:AUniversalEncoderforVisionandLanguagebyCross-modalPre-training.arXiv,2019.
[7]ChenfeiWu,NanDuan,GenLi,YanzhaoZhou,DuyuTang,XiaojieWang,DaxinJiang,MingZhou.DREAM:DynamicREAsoningMachineforVisualQuestionAnswering.ToappearinarXiv,2019.
[8]BoZheng,HaoyangWen,YaoboLiang,NanDuan,WanxiangChe,DaxinJiang,TingLiu,MingZhou.DocumentModelingwithGraphAttentionNetworksforMulti-grainedMachineReadingComprehension.ToappearinarXiv,2019.
[9]DayaGuo,DuyuTang,NanDuan,JianYin,MingZhou.Dialog-to-Action:ConversationalQuestionAnsweringoveraLarge-ScaleKnowledgeBase.NeurIPS,2018.
[10]DayaGuo,DuyuTang,NanDuan,MingZhou,JianYin.CouplingRetrievalandMeta-LearningforContext-DependentSemanticParsing.ACL,2019.
本文心得:
分享让更多人看到
刑拘40人 深圳警方打击了特别组织的卖淫团伙
据金阳网报道，许多妇女因多次涉嫌卖淫而引起了深圳警方的注意。经过深入挖掘和扩大线路，一个幕后操纵组织卖淫的团伙浮出水面。经过近两个月的仔细调查，深圳光明警方最近摧毁了一个线上线下结合的大型组织卖淫团伙，拘留了40名涉嫌组织卖淫和协助组织卖淫的犯罪嫌疑人，拘留了25名涉嫌卖淫的犯罪嫌疑人。深圳卖婬的地方在哪。
据了解，自2018年10月以来，深圳光明警方开展了“赌博、毒品”专项打击行动。在许多涉黄案件中，警方发现许多妇女因涉嫌卖淫而多次受到警方的处理。在这些妇女的背后，有幕后操纵和组织卖淫。警方掌握了这一线索后，迅速成立专案组进行调查。经研究判断，一个组织卖淫的犯罪团伙逐渐浮出水面。工作组深入调查发现，该团伙组成复杂，分工明确，主要活动在光明、宝安及周边城市。涉案人员每天从事各种行业，具有一定的反侦查意识，大部分人员租用在环境相对复杂的城市村庄。
深圳卖婬什么地方最多
为保证逮捕效果，光明警方于2018年12月30日凌晨组织警力集结，提前部署多名警力蹲守，协调当地公安机关配合，多地同时开展网络逮捕，成功打掉了卖淫团伙、刑事拘留40人、行政拘留25人。深圳最厉害的小巷子。
记者在采访中了解到，除组织和参与卖淫的违法犯罪人员外，还有30多名电动自行车从业人员涉案。在这个团伙中，电动自行车拉客人员似乎与卖淫活动的组织无关，是本案的重要组成部分。在日常拉客过程中，这些人员通过分发涉黄小卡、口头通知等方式招揽“客户”，从而获得佣金。此外，他们还负责按照“老板”的指示接送“客户”或卖淫妇女到指定地点进行交易。该团伙除了通过电动自行车吸引客户外，还通过社交媒体发布嫖娼信息，通过线上线下相结合的方式吸引客户。警方在调查中发现，在该团伙的利益链中，打印店和其他表面无关的行业从业人员利用日常业务机会向客户发送信息，以帮助嫖娼。罗湖向西村为什么没人抓。
本文心得:
62t 评论于 [2025-06-21 23:44:40]
历史英语
植发疼吗
植发疼吗
分享让更多人看到