基于标签路径特征融合的在线Web新闻内容抽取
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(61273297,61229301,61273292);教育部创新团队发展计划(IRT13059);国家重点基础研究发展计划(973)(2013CB329604);国家高技术研究发展计划(863)(2012AA011005)


Online Web News Extraction via Tag Path Feature Fusio
Author:
Affiliation:

Fund Project:

National Natural Science Foundation of China (61273297, 61229301, 61273292); The Program for Changjiang Scholars and Innovative Research Team in University (PCSIRT) of the Ministry of Education (IRT13059); National Program on Key Basic ResearchProject of China (973 Program) (2013CB329604); National High-Tech R&D Program of China (863 Program) (2012AA 011005)

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    精准地抽取新闻网页的内容,是提高Web新闻分析等应用系统工作质量的关键技术之一.由于缺少Web新闻出版的标准,存在大量不同的出版格式,并且Web本身是一种具有高度异构性的大数据载体,导致Web新闻内容抽取成为一个开放性问题.经大量实例分析发现,新闻网页内容与其上的标签路径存在潜在的关联性.因此,设计了标签路径特征系,以从不同视角区分网页内容和噪音.在特征相似性分析的基础上,提出了一种基于组合特征选择的特征融合策略,并设计了基于融合特征的Web新闻内容抽取方法CEPF.CEPF是一种快速的通用、无需训练的在线Web新闻内容抽取算法,可抽取多种来源、多种风格、多种语言的Web新闻网页.在CleanEval等测试数据集上的实验结果表明,CEPF方法优于CETR等抽取方法.

    Abstract:

    Accurately extracting content from Web news is a key technology for quality improvement in Web news analysis and applications.Due to the lack of publication standards, differences in publishing formats, and a highly heterogeneous big data carrier of the Web itself, Web news extraction has become an open research problem.Extensive case studies by this research indicate that there is potential relevance between Web content layouts and their tag paths.Inspired by this observation, this paper designs a series of tag path extraction features to distinguish the Web content and noise from different perspectives.Based on the similarity analysis of these features, the paper proposes a features fusion strategy with group feature selection, and provides a Web news extraction method via feature fusion, CEPF.CEPF is a fast, universal, no-training and online Web news extraction algorithm.It can extract Web news pages across multi-resources, multi-styles, and multi-languages.Experimental results with public data sets such as CleanEval show that the CEPF method achieves better performance than the state-of-the-art CETR method.

    参考文献
    相似文献
    引证文献
引用本文

吴共庆,胡骏,李莉,徐喆昊,刘鹏程,胡学钢,吴信东.基于标签路径特征融合的在线Web新闻内容抽取.软件学报,2016,27(3):714-735

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2015-01-31
  • 最后修改日期:2015-05-08
  • 录用日期:
  • 在线发布日期: 2016-03-07
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62562563 传真:010-62562533 Email:jos@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号