博客
关于我
【论文泛读72】具有注意机制的多尺寸神经网络,用于答案选择
阅读量:614 次
发布时间:2019-03-12

本文共 759 字,大约阅读时间需要 2 分钟。

贴一下汇总贴:

论文链接:

一、摘要

语义匹配对于答案选择任务至关重要,该任务旨在从候选答案库中为给定问题选择正确答案。一种有用的方法是采用神经网络来生成句子表示,其方式是使成对句子中的信息可以相互影响表示的计算。在这项工作中,将一种有效的体系结构,具有注意力机制的多尺寸神经网络(AM-MSNN)引入了答案选择任务。由于与单层CNN和多层CNN相比,过滤器的大小各异,因此该架构可并行捕获更多级别的语言粒度。同时,它通过注意力机制扩展了句子的表示形式,从而为不同类型的问题提供了更多的信息。对答案选择的三个不同基准任务的实证研究表明,该模型在所有基准中均有效,并且优于竞争对手。实验结果表明:

(1)与单层/多层CNN相比,多尺寸神经网络(MSNN)是一种更有效的捕获不同粒度级别的抽象特征的方法;
(2)注意机制(AM)是一种获得更多信息表示的较好策略;
(3)AM-MSNN目前是用于答案选择任务的更好的体系结构。

二、结论

本文引入多尺度神经网络、注意机制及其组合来回答选择任务。在三个不同的基准数据集(Superceqa、WikiQA和TrecQA)上进行了实验,实验结果表明,它们都在很大程度上提高了性能。它们可以很容易地适用于各种领域的句子建模,如释义识别(PI)和文本蕴涵(TE)。论文的主要贡献有:

(1)将多层神经网络引入到答案选择任务中,通过比较单层神经网络、多层神经网络和多层神经网络,分析语言粒度对句子建模的影响;
(2)提出调幅以产生更多的信息表示;
(3)将人工神经网络和多尺度神经网络相结合,提高深度学习方法在答案选择任务中的性能。

在未来,我们计划探索AM-MSNN在其他任务上的性能。

三、model

分为带注意力机制和不带注意力机制两种~

AM-MSNN

在这里插入图片描述

MSNN

在这里插入图片描述

注意力机制架构

在这里插入图片描述

转载地址:http://ixgxz.baihongyu.com/

你可能感兴趣的文章
mysqldump 导出中文乱码
查看>>
mysqldump 导出数据库中每张表的前n条
查看>>
mysqldump: Got error: 1044: Access denied for user ‘xx’@’xx’ to database ‘xx’ when using LOCK TABLES
查看>>
Mysqldump参数大全(参数来源于mysql5.5.19源码)
查看>>
mysqldump备份时忽略某些表
查看>>
mysqldump实现数据备份及灾难恢复
查看>>
mysqldump数据库备份无法进行操作只能查询 --single-transaction
查看>>
mysqldump的一些用法
查看>>
mysqli
查看>>
MySQLIntegrityConstraintViolationException异常处理
查看>>
mysqlreport分析工具详解
查看>>
MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146
查看>>
Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007
查看>>
mysql_real_connect 参数注意
查看>>
mysql_secure_installation初始化数据库报Access denied
查看>>
MySQL_西安11月销售昨日未上架的产品_20161212
查看>>
Mysql——深入浅出InnoDB底层原理
查看>>
MySQL“被动”性能优化汇总
查看>>
MySQL、HBase 和 Elasticsearch:特点与区别详解
查看>>
MySQL、Redis高频面试题汇总
查看>>