主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公编辑办公English
2018-2019年专刊出版计划 微信服务介绍 最新一期:2018年第10期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
吴惠甲,张家俊,宗成庆.一种神经范畴标注模型.软件学报,2016,27(11):2691-2700
一种神经范畴标注模型
Neural-Based Combinatory Categorical Grammar Supertagging
投稿时间:2015-03-17  修订日期:2015-06-24
DOI:10.13328/j.cnki.jos.004873
中文关键词:  范畴标注  分布式表示  神经语言模型  束搜索
英文关键词:categorical tagging  distributed representation  neural language model  beam search
基金项目:国家自然科学基金(61333018);中国科学院战略性先导科技专项(XDB02070007)
作者单位E-mail
吴惠甲 模式识别国家重点实验室(中国科学院 自动化研究所), 北京 100190
中国科学院大学, 北京 100190 
huijia.wu@ia.ac.cn 
张家俊 模式识别国家重点实验室(中国科学院 自动化研究所), 北京 100190
中国科学院大学, 北京 100190 
 
宗成庆 模式识别国家重点实验室(中国科学院 自动化研究所), 北京 100190
中国科学院 脑科学与智能技术卓越创新中心, 北京 100190
中国科学院大学, 北京 100190 
 
摘要点击次数: 919
全文下载次数: 923
中文摘要:
      范畴标注是组合范畴语法解析中的子任务之一,可用于提高解析器的效率和性能.传统的最大熵模型需要手工定义特征模板,神经网络则通过隐含层学习到离散特征的分布式表示,从而自动提取分类需要的特征.引入该模型来解决该问题,在原有神经语言模型的基础上加入了向量化的词性表示层和范畴表示层,并通过反向传播自动更新词向量、词性向量和范畴向量,学习到它们的分布式表示.此外,在预测时采用束搜索的序列解码方式来引入标签之间的依赖信息.实验结果表明,这两种改进都能提升模型的性能,使其在范畴标注任务上比传统的最大熵模型效果要好(提升1%).
英文摘要:
      As a sub-task for combinatory categorical grammar (CCG) based parsing, categorical tagging can improve parsing efficiency and accuracy. While traditional maximum entropy model solves this problem by designing meaningful feature templates, neural network can extract features automatically based on distributed representations. This paper proposes a neural categorical tagging model with two improvements. First, word embedding layer is extended with a part-of-speech embedding layer and a category embedding layer, which facilitates learning their distributed representations jointly by the back-propagation algorithm. Secondly, a beam search is used in the decoding to capture the dependencies among tags. These two improvements make the proposed model more accurate than the state-of-art maximum entropy based tagger (up to 1%).
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利