博客
关于我
【论文泛读72】具有注意机制的多尺寸神经网络,用于答案选择
阅读量:614 次
发布时间:2019-03-12

本文共 759 字,大约阅读时间需要 2 分钟。

贴一下汇总贴:

论文链接:

一、摘要

语义匹配对于答案选择任务至关重要,该任务旨在从候选答案库中为给定问题选择正确答案。一种有用的方法是采用神经网络来生成句子表示,其方式是使成对句子中的信息可以相互影响表示的计算。在这项工作中,将一种有效的体系结构,具有注意力机制的多尺寸神经网络(AM-MSNN)引入了答案选择任务。由于与单层CNN和多层CNN相比,过滤器的大小各异,因此该架构可并行捕获更多级别的语言粒度。同时,它通过注意力机制扩展了句子的表示形式,从而为不同类型的问题提供了更多的信息。对答案选择的三个不同基准任务的实证研究表明,该模型在所有基准中均有效,并且优于竞争对手。实验结果表明:

(1)与单层/多层CNN相比,多尺寸神经网络(MSNN)是一种更有效的捕获不同粒度级别的抽象特征的方法;
(2)注意机制(AM)是一种获得更多信息表示的较好策略;
(3)AM-MSNN目前是用于答案选择任务的更好的体系结构。

二、结论

本文引入多尺度神经网络、注意机制及其组合来回答选择任务。在三个不同的基准数据集(Superceqa、WikiQA和TrecQA)上进行了实验,实验结果表明,它们都在很大程度上提高了性能。它们可以很容易地适用于各种领域的句子建模,如释义识别(PI)和文本蕴涵(TE)。论文的主要贡献有:

(1)将多层神经网络引入到答案选择任务中,通过比较单层神经网络、多层神经网络和多层神经网络,分析语言粒度对句子建模的影响;
(2)提出调幅以产生更多的信息表示;
(3)将人工神经网络和多尺度神经网络相结合,提高深度学习方法在答案选择任务中的性能。

在未来,我们计划探索AM-MSNN在其他任务上的性能。

三、model

分为带注意力机制和不带注意力机制两种~

AM-MSNN

在这里插入图片描述

MSNN

在这里插入图片描述

注意力机制架构

在这里插入图片描述

转载地址:http://ixgxz.baihongyu.com/

你可能感兴趣的文章
mariadb multi-source replication(mariadb多主复制)
查看>>
MariaDB的简单使用
查看>>
MaterialForm对tab页进行隐藏
查看>>
Member var and Static var.
查看>>
memcached高速缓存学习笔记001---memcached介绍和安装以及基本使用
查看>>
memcached高速缓存学习笔记003---利用JAVA程序操作memcached crud操作
查看>>
Memcached:Node.js 高性能缓存解决方案
查看>>
memcache、redis原理对比
查看>>
memset初始化高维数组为-1/0
查看>>
Metasploit CGI网关接口渗透测试实战
查看>>
Metasploit Web服务器渗透测试实战
查看>>
MFC模态对话框和非模态对话框
查看>>
Moment.js常见用法总结
查看>>
MongoDB出现Error parsing command line: unrecognised option ‘--fork‘ 的解决方法
查看>>
mxGraph改变图形大小重置overlay位置
查看>>
MongoDB可视化客户端管理工具之NoSQLbooster4mongo
查看>>
Mongodb学习总结(1)——常用NoSql数据库比较
查看>>
MongoDB学习笔记(8)--索引及优化索引
查看>>
mongodb定时备份数据库
查看>>
mppt算法详解-ChatGPT4o作答
查看>>