博客
关于我
【论文泛读72】具有注意机制的多尺寸神经网络,用于答案选择
阅读量:614 次
发布时间:2019-03-12

本文共 759 字,大约阅读时间需要 2 分钟。

贴一下汇总贴:

论文链接:

一、摘要

语义匹配对于答案选择任务至关重要,该任务旨在从候选答案库中为给定问题选择正确答案。一种有用的方法是采用神经网络来生成句子表示,其方式是使成对句子中的信息可以相互影响表示的计算。在这项工作中,将一种有效的体系结构,具有注意力机制的多尺寸神经网络(AM-MSNN)引入了答案选择任务。由于与单层CNN和多层CNN相比,过滤器的大小各异,因此该架构可并行捕获更多级别的语言粒度。同时,它通过注意力机制扩展了句子的表示形式,从而为不同类型的问题提供了更多的信息。对答案选择的三个不同基准任务的实证研究表明,该模型在所有基准中均有效,并且优于竞争对手。实验结果表明:

(1)与单层/多层CNN相比,多尺寸神经网络(MSNN)是一种更有效的捕获不同粒度级别的抽象特征的方法;
(2)注意机制(AM)是一种获得更多信息表示的较好策略;
(3)AM-MSNN目前是用于答案选择任务的更好的体系结构。

二、结论

本文引入多尺度神经网络、注意机制及其组合来回答选择任务。在三个不同的基准数据集(Superceqa、WikiQA和TrecQA)上进行了实验,实验结果表明,它们都在很大程度上提高了性能。它们可以很容易地适用于各种领域的句子建模,如释义识别(PI)和文本蕴涵(TE)。论文的主要贡献有:

(1)将多层神经网络引入到答案选择任务中,通过比较单层神经网络、多层神经网络和多层神经网络,分析语言粒度对句子建模的影响;
(2)提出调幅以产生更多的信息表示;
(3)将人工神经网络和多尺度神经网络相结合,提高深度学习方法在答案选择任务中的性能。

在未来,我们计划探索AM-MSNN在其他任务上的性能。

三、model

分为带注意力机制和不带注意力机制两种~

AM-MSNN

在这里插入图片描述

MSNN

在这里插入图片描述

注意力机制架构

在这里插入图片描述

转载地址:http://ixgxz.baihongyu.com/

你可能感兴趣的文章
Mysql 表分区
查看>>
mysql 表的操作
查看>>
mysql 视图,视图更新删除
查看>>
MySQL 触发器
查看>>
mysql 让所有IP访问数据库
查看>>
mysql 记录的增删改查
查看>>
MySQL 设置数据库的隔离级别
查看>>
MySQL 证明为什么用limit时,offset很大会影响性能
查看>>
Mysql 语句操作索引SQL语句
查看>>
MySQL 误操作后数据恢复(update,delete忘加where条件)
查看>>
MySQL 调优/优化的 101 个建议!
查看>>
mysql 转义字符用法_MySql 转义字符的使用说明
查看>>
mysql 输入密码秒退
查看>>
mysql 递归查找父节点_MySQL递归查询树状表的子节点、父节点具体实现
查看>>
mysql 里对root及普通用户赋权及更改密码的一些命令
查看>>
Mysql 重置自增列的开始序号
查看>>
MySQL 错误
查看>>
MySQL 面试,必须掌握的 8 大核心点
查看>>
MySQL 高可用性之keepalived+mysql双主
查看>>
MySql-2019-4-21-复习
查看>>