博客
关于我
【论文泛读72】具有注意机制的多尺寸神经网络,用于答案选择
阅读量:614 次
发布时间:2019-03-12

本文共 759 字,大约阅读时间需要 2 分钟。

贴一下汇总贴:

论文链接:

一、摘要

语义匹配对于答案选择任务至关重要,该任务旨在从候选答案库中为给定问题选择正确答案。一种有用的方法是采用神经网络来生成句子表示,其方式是使成对句子中的信息可以相互影响表示的计算。在这项工作中,将一种有效的体系结构,具有注意力机制的多尺寸神经网络(AM-MSNN)引入了答案选择任务。由于与单层CNN和多层CNN相比,过滤器的大小各异,因此该架构可并行捕获更多级别的语言粒度。同时,它通过注意力机制扩展了句子的表示形式,从而为不同类型的问题提供了更多的信息。对答案选择的三个不同基准任务的实证研究表明,该模型在所有基准中均有效,并且优于竞争对手。实验结果表明:

(1)与单层/多层CNN相比,多尺寸神经网络(MSNN)是一种更有效的捕获不同粒度级别的抽象特征的方法;
(2)注意机制(AM)是一种获得更多信息表示的较好策略;
(3)AM-MSNN目前是用于答案选择任务的更好的体系结构。

二、结论

本文引入多尺度神经网络、注意机制及其组合来回答选择任务。在三个不同的基准数据集(Superceqa、WikiQA和TrecQA)上进行了实验,实验结果表明,它们都在很大程度上提高了性能。它们可以很容易地适用于各种领域的句子建模,如释义识别(PI)和文本蕴涵(TE)。论文的主要贡献有:

(1)将多层神经网络引入到答案选择任务中,通过比较单层神经网络、多层神经网络和多层神经网络,分析语言粒度对句子建模的影响;
(2)提出调幅以产生更多的信息表示;
(3)将人工神经网络和多尺度神经网络相结合,提高深度学习方法在答案选择任务中的性能。

在未来,我们计划探索AM-MSNN在其他任务上的性能。

三、model

分为带注意力机制和不带注意力机制两种~

AM-MSNN

在这里插入图片描述

MSNN

在这里插入图片描述

注意力机制架构

在这里插入图片描述

转载地址:http://ixgxz.baihongyu.com/

你可能感兴趣的文章
mysql 导入 sql 文件时 ERROR 1046 (3D000) no database selected 错误的解决
查看>>
mysql 导入导出大文件
查看>>
mysql 将null转代为0
查看>>
mysql 常用
查看>>
MySQL 常用列类型
查看>>
mysql 常用命令
查看>>
Mysql 常见ALTER TABLE操作
查看>>
MySQL 常见的 9 种优化方法
查看>>
MySQL 常见的开放性问题
查看>>
Mysql 常见错误
查看>>
MYSQL 幻读(Phantom Problem)不可重复读
查看>>
mysql 往字段后面加字符串
查看>>
mysql 快速自增假数据, 新增假数据,mysql自增假数据
查看>>
Mysql 报错 Field 'id' doesn't have a default value
查看>>
MySQL 报错:Duplicate entry 'xxx' for key 'UNIQ_XXXX'
查看>>
Mysql 拼接多个字段作为查询条件查询方法
查看>>
mysql 排序id_mysql如何按特定id排序
查看>>
Mysql 提示:Communication link failure
查看>>
mysql 插入是否成功_PDO mysql:如何知道插入是否成功
查看>>
Mysql 数据库InnoDB存储引擎中主要组件的刷新清理条件:脏页、RedoLog重做日志、Insert Buffer或ChangeBuffer、Undo Log
查看>>