知识产权是保护和激励创新的制度基石, 且隐匿着一个国家背后科技创新的实情. 面向知识产权的科技资源画像构建已成为当下的研究热点, 它是对科技资源实体的抽象和概括, 主要由知识产权资源实体的各种属性、实体间的关联关系以及由属性和关系挖掘得到的高维信息特征构成. 通过精准画像, 可以从海量知识产权数据中获取隐匿、时变的信息, 掌握知识产权中蕴含的发展规律. 借助这些信息能够进一步设计满足用户需求的应用, 比如面向政府部门的管理决策支撑服务^[1]、知识产权推荐系统^[2]等. 本文的目标是通过智能化的数据获取、实体识别以及可视化的方式对知识产权进行画像构建.

针对科技资源画像的构建, 现有方法主要包括基于本体的构建方法^[3−6]、基于主题的构建方法^[7]、基于剖面矩阵的构建方法^[8]、基于语义挖掘的构建方法^[9−11]等. 然而, 上述方法仅适合处理结构化的科技资源信息. 在现实的开放互联网环境中, 海量的科技资源通常以非结构化的文本形式存在, 因此, 从非结构化文本中识别出实体, 是科技资源画像构建的重要环节. 针对科技资源的实体识别, 现有方法主要包括基于文本观测序列的识别方法^[12]、基于上下文语境信息的识别方法^[13]、结合文本观察序列和上下文语境信息优势的实体识别方法^[14]、对左右上下文进行联合调节的方法^[15]等. 然而, 这些方法忽略了词语词性对于语义理解的重要影响.

本文充分考虑词语词性在自然语言理解中的重要性, 引入中文词性级别的注意力机制, 以有监督的方式对知识产权数据集进行学习与训练, 提出了适用于中文知识产权资源的实体识别算法, 用于构建面向知识产权的科技资源画像. 在画像构建过程中, 笔者首先对海量的科技数据进行高效地处理, 过滤无关信息, 获取知识产权数据, 并以恰当的形式存储到合适的位置. 然后, 针对专利摘要等非结构化的知识产权数据中, 笔者运用本文提出的结合分词词性级别注意力机制的命名实体识别算法, 抽取文本中的命名实体; 对于专利信息等结构化数据, 使用基于规则匹配的抽取方法, 获得实体的属性信息. 接着, 笔者对知识产权数据进行知识融合, 构建专利申请单位或个人与抽取实体的关系, 利用neo4j图数据库存储已经获取的实体以及实体关系, 为知识图谱的创建提供必要的技术支持. 最后, 在知识图谱的基础上, 笔者运用词频分析、共词分析、网络中心度、聚类分析等方法, 结合数据统计与挖掘方法, 通过各项统计指标反映技术的热度、企业的影响力等科技实体隐藏在知识图谱中的知识, 完成科技资源画像的构建.

本文实现了服务于国家知识产权局和专家学者的面向知识产权的科技资源画像构建系统. 通过本文的面向知识产权的科技资源画像构建方法, 可以获取大量科技资源; 然后结合本文提出的实体识别方法, 规则化科技资源信息, 最终可以得到科技资源的知识图谱、科技资源的发展趋势和科技资源的热点词云.

本文的主要贡献如下:

1) 提出了一种针对科技资源的实体识别算法(entity recognition based on word segmentation attention, ERWSA), 通过引入中文词性级别注意力机制, 利用词语的词性对句子语义进行有监督学习, 能够精准识别出科技资源中的实体;

2) 提出了一种面向知识产权的科技资源画像构建方法, 通过结合本文提出的科技资源获取方法、ERWSA和可视化技术, 实现了面向知识产权的智能自动化科技资源获取、命名实体识别、科技资源画像构建;

3) 大量的实验结果表明: 本文所提的ERWSA算法在知识产权相关实体识别的准确率、召回率、F1值上的整体表现优于基于双向长短时循环网络(BLSTM)和双向编码器表征模型(BERT)的对比方法; 但在时间、组织等具体实体类别的识别准确率、召回率、F1值上稍差于基于BERT的命名实体识别方法.

1 相关工作

近年来, 越来越多的学者注意到科技资源信息的重要性^{[16, 17]}. 然而, 科技资源画像相比于常见的用户画像^[18]、学者画像^[19]而言面临更多挑战: 一方面, 用户画像、学者画像可以使用公开数据集进行构建. 在社交媒体分析场景^[20], Liang等人^[18]利用Twitter数据进行用户画像构建, Tang等人^[21]建立了以科研人员、科技文献、学术活动这3大类数据为基础的AMiner数据平台, 为进行学者画像研究提供了数据基础. 相比之下, 科技资源画像缺乏公共数据集, 且数据广泛分布于互联网中, 因此需要一套从海量数据中获取科技资源并构建画像的自动化方法. 另一方面, 科技资源画像的构建需要从获取到的科技资源中精准识别出有效信息^[22], 然而现有的用户画像、学者画像方法的准确率有限, 为科技资源的画像构建增加了难度.

在科技资源画像构建方面, 现有方法主要包括基于本体的构建方法、基于主题的构建方法、基于剖面矩阵的构建方法、基于语义挖掘的构建方法. 欧洲科学家采用系统Euro-CRIS构建了统一的描述模型CERIF^[3], 构建多类科技资源的画像. Wang等人^[4]提出了一种基于知识图谱的本体模型构建科技资源画像的方法. 然而知识图谱的质量管理仍需花费大量的人力, 实体对齐的准确度仍需提高. 葛胤池等人^[6]提出了一种基于领域本体的科技资源聚类方法, 通过构建科技资源领域本体树和概念语义关系矩阵, 并对其运用主成分分析方法进行降维处理以构建科技资源向量空间, 最终通过聚类构建科技资源画像. 但是该方法依赖于基于领域本体的数据预处理, 而且大规模领域本体构建目前仍然是一个困难的工作. Zha等人^[7]利用主题模型解决科技文本的多标签分类问题, 提出了一种种子引导的多标签主题模型, 无需使用任何标记数据或外部资源. 然而该方法仅适用于训练数据规模小或数据质量无法保证的场景. Kuan等人^[8]采用二维剖面矩阵, 更全面地捕捉专利组合的技术内容, 对专利资源在两个或多个符号的共同转让中可能“隐藏”的信息进行科技资源画像. 然而实验只在小规模专利信息上进行, 尚未验证该方法在海量科技资源中的有效性. Wang等人^[9]采用语义分析方法来构建科技资源标签体系. Kozerenko等人^[10]和Qin等人^[11]从科研专家的参与基金项目、发表文章、专著和授权专利中挖掘科研成果信息, 运用k近邻^[23]等算法构建了基于语义的科研成果画像. 然而, 上述方法只适用于结构化的科技资源信息, 难以处理现实场景中的以非结构化的形式存在的科技资源.

在开放的网络资源中, 文本信息难以规则化, 不利于构建科技资源画像, 因此基于文本信息进行实体识别变得尤为重要. Lafferty等人^[12]提出了条件随机场(CRF), 结合最大熵模型和隐马尔可夫模型^[24]的特点, 在词性标注和命名实体识别等序列标注任务中取得了不错的效果. 但CRF方法需要手动提取序列特征, 增加了对数据的人为干扰. 近年来, 基于深度学习的方法能够从原始数据中自主地学习, 不需要人为设定特征, 因此可以减少对数据的人为干扰. Graves ^[13]提出了BLSTM模型, 可以从前向和后向2个方向对句子进行建模, 既能保存前面的上下文信息, 又能考虑到句子未来的上下文信息, 使其在中文命名实体识别任务中取得更好的效果. 然而, 这样的模型无法学习到输出的标注之间的转移依赖关系以及序列标注的约束条件. Huang等人^[14]结合CRF和BLSTM, 在LSTM后面再加一层CRF, 以获得两者的优点, 使得该模型既可以学习到句子的约束条件, 又可以捕捉句子的上下文语境. Devlin等人^[15]提出了一种来自变换器的双向编码器表征模型(BERT), 通过在所有神经网络层中对左右上下文进行联合调节, 从未标记文本中预训练深层双向表示. 最近的模型BERT+CRF在预训练语言模型BERT基础上引入CRF模块, 学习句子的约束条件. 但是上述模型忽略了词语的词性在语义理解中的重要性. 本文针对专利文本, 在BLSTM与条件随机场序列标注模型(CRF)的基础上引入了分词后词性标注结果的注意力机制进行有监督学习, 通过学习中文词性避免句子语义可能存在的歧义, 进一步提升了实体识别的效果.

2 面向知识产权的科技资源画像构建方法

本文提出了面向知识产权的科技资源画像构建方法, 其框架如图 1所示, 该框架主要包括科技资源获取模块、实体识别和关系构建模块、科技资源画像构建模块.

科技资源获取模块负责爬取机构、组织、个人发表的专利等知识产权数据. 然后, 在实体识别和关系构建模块中, 框架结合注意力机制对专利数据进行命名实体识别, 利用爬取到的结构化数据完成实体间的关系构建. 最后, 框架利用得到的实体关系和统计分析方法对科技资源进行画像, 展示科技资源的知识图谱、专利的发展趋势和专利的热点词云.

2.1 科技资源数据获取

科技资源数据获取模块主要使用scrapy框架对Innojoy专利网站(http://www.innojoy.com/search/index.html)进行数据抓取, 并配置代理池, 分多线程抓取页面; 使用布隆过滤器判断页面是否进行访问, 并用正则匹配出抓取的下一个站点. 针对专利文本, 科技资源数据获取模块采用正则截取方法对组织或个人与专利的关系进行提取, 获取科技资源数据. 科技资源数据获取流程如图 2所示.

此模块在获取科技资源原始数据后, 通过构建信任网络对科技资源大数据进行评估, 去除无关和虚假的内容, 将有效的内容进行进一步的处理. 对于提取到的文本数据, 去除内容过短、重复的专利文本数据. 然后对有效数据进行去停用词、繁简转化等操作, 减少同义文本的影响. 最后, 将预处理后的数据进行分词, 对单词进行ID化, 并构造字典, 得到一系列由ID符号构成的文档.

2.2 实体识别与关系构建

为了提升专利文本数据的实体识别准确性, 有效支持知识图谱可视化, 本文提出了一种结合分词词性的注意力机制的命名实体识别算法ERWSA. 此算法在BLSTM与CRF的基础上引入了分词后词性标注结果的注意力机制, 提高了科技大数据的实体识别准确率. 具体而言, 首先利用jieba分词方法将专利文本数据进行文本分词, 然后利用Word2Vec模型得到的分词向量和字符向量表示作为BLSTM初始输入, 经过字符级别的注意力机制后, 融合分词词性注意力机制, 得到输出为从专利文本中识别出的实体向量. 结合分词词性的注意力机制的命名实体识别方法如图 3所示.

ERWSA算法的输入为专利文本的字向量, 其中, 字向量是从一个均匀分布中随机采样的值. 假设一个句子存在n个汉字, 且每个汉字的特征向量为m, 则句子的输入向量为Sen_{n, m}. 之后需要经过BLSTM, 得到输出结果h_{n, k}, 其中, n指句子中汉字的个数, k指BLSTM隐藏层输出的维度.

将h_{n, k}融入引入分词词性的注意力机制层中, 得到融入中文分词词性特征的注意力机制层的输出结果. 其中, 注意力机制层的原理如图 4所示.

注意力机制层中的Value特征矩阵为输入的原始矩阵, 即Value矩阵与输入向量矩阵是一样的. 而注意力机制层中向量矩阵Key是由原始输入文本的分词词性特征生成而来的. 利用均匀分布进行每个词性特征向量的初始化, 其中, 词性特征向量的维数应与BLSTM隐藏层输出的维度一样. 利用注意力机制层中的Q(query), K(key), V(value)的关系, 可以得到如下公式(1)、公式(2):

$ att\_{w_{n,1}} = softmax({key_{n,k}}^{*}quer{y_{k,1}}) $

(1)

其中, softmax是用来进行归一化处理的; att_w_{n, 1}为注意力机制层的权重值, 表示为对于一个句子的n个汉字进行实体名分类的权值.

$ att\_{r_{n,k}} = att\_{w_{n,1}} \cdot valu{e_{n,k}} $

(2)

其中, ⋅表示注意力机制层的权重值与Value矩阵进行乘积运算, att_r_{n, k}是注意力机制层的输出值.

在输入CRF之前需要进行一次全连接层操作, 其计算如公式(3)所示:

$ crf\_{i_{c,n}} = softmax\left( {{W_{c,k}}^{*}att\_r_{n,k}^T + {B_{c,1}}} \right) $

(3)

其中, c为实体识别的类别数量, B_{c, 1}为全连接层的偏移向量, crf_i_{c, n}为CRF层的输入特征矩阵, W_{c, k}为全连接层的权重矩阵.

将全连接层的输出特征再输入到CRF层, 计算如公式(4)所示:

$ S(X, Y) = \sum\limits_{i = 0}^n {{A_{{y_i}, {y_{i + 1}}}}} + \sum\limits_{i = 0}^n {{P_{i, {y_i}}}} $

(4)

其中, A是状态转移矩阵, 代表从第i个tag转移到第j个tag的概率. 利用极大似然的方法求得S(X, Y)最大值, 得到最佳的输出标签序列. 最后预测标签转换为单标签向量生成期望的标签结果. 利用梯度下降算法训练实体识别模型, 从而得到专利文本数据的实体识别模型.

通过本文提出的ERWSA方法对现有的知识产权数据进行实体抽取, 为科技资源画像的构建提供重要的技术支持. 根据爬取到的每个专利文本对应的申请单位或个人, 构建申请单位或个人与抽取实体的关系, 然后利用neo4j图数据库存储已经获取的实体以及实体关系, 为知识图谱的创建提供必要的技术支持.

2.3 面向知识产权的科技资源画像

通过科技资源数据获取与预处理(第2.1节)和实体识别与关系构建(第2.2节), 得到了专利文本知识产权数据的实体和关系. 在此基础上, 笔者进一步实现面向知识产权的科技资源画像, 整体流程如图 5所示.

笔者利用数据统计与挖掘方法, 通过计算各项统计指标发现能够反映技术热度、组织或个人影响力的科技实体, 挖掘隐藏在知识图谱中的知识, 完成科技大数据知识图谱的构建. 例如, 统计科技资源历年发表数量, 绘制出每年科技资源(专利)的发表趋势图, 从而方便用户跟踪科技资源发表热点. 统计数据库中识别的实体出现次数, 按照词频出现次数对识别的实体进行排名, 取top25用于构造热点词云, 完成科技资源画像.

2.4 实验结果及分析

1) 数据集

为了验证本文提出的结合分词词性的注意力机制的命名实体识别算法(ERWSA), 构建了一个面向知识产权的科技资源数据集. 通过开发基于scrapy框架的分布式抓取系统, 对科技资源数据进行抓取, 同时抓取组织或个人与专利发表的关系. 抓取的科技资源数据集统计见表 1.

利用本文开发的爬虫系统, 构造含有272 636个专利文本的科技资源数据集, 其中, 组织发表专利数215 880个, 个人发表专利数58 756个. 手动标记其中部分专利文本数据, 用于验证本文提出的结合分词词性注意力机制的实体识别方法的有效性. 标记得到的专利文本数据见表 2.

用于实体识别的专利数据集包括训练集与测试集两部分, 其中, 专利文本训练数据集有6 884条, 专利文本测试数据集有1 720条. 按照训练集大小和测试集大小比例为8:2设定. 数据集的详细分布如表 2所示. 训练集与测试集中标签占比基本一致, 保证数据的一致性.

在实验中将所有的专利文本数据的标签分为B_LOC, M_LOC, E_LOC, B_ORG, M_ORG, E_ORG, B_PER, M_PER, E_PER, B_TIME, M_TIME, E_TIME, B_TECH, M_TECH, E_TECH以及O. 其中: B_XXX表示实体名的开始, M_XXX表示实体名中间数据, E_XXX表示实体名的结尾; LOC表示地点; ORG表示组织; PER表示人名; TIME表示时间; TECH表示技术实体; O表示其他实体.

2) 对比算法

本文将所提的ERWSA算法与如下基准算法进行对比.

●   CRF^[12]: 结合最大熵模型和隐马尔可夫模型的特点, 利用状态序列下观测序列的条件概率分布, 学习到句子的约束条件;

●   BLSTM^[13]: 考虑到当前时刻的输出不仅和之前的状态有关, 还与未来的状态有关系. BLSTM既能保存句子先前的上下文信息, 也能同时考虑到句子未来的上下文信息;

●   BLSTM+CRF^[14]: 结合CRF和BLSTM两者的优点, 既可以学习到句子的约束条件, 又可以捕捉句子的上下文语境;

●   BERT^[15]: 在所有神经网络层中对左右上下文进行联合调节, 从未标记文本中预训练深层双向表示;

●   BERT+CRF: 在预训练语言模型基础上引入CRF模块, 学习句子的约束条件.

3) 实验1: ERWSA的有效性验证

为验证本文提出的ERWSA方法的有效性, 本文采用准确率、召回率和F1值作为结果的评价指标. 分别使用CRF, BLSTM, BLSTM+CRF, BERT, BERT+CRF这5种算法进行对比实验, 实验结果如表 3所示.

从表 3可以得到以下发现: 1) 本文提出的ERWSA方法在准确率、召回率、F1值这3个性能指标上均优于其他的对比方法, 验证了本文所提算法的有效性; 2) BLSTM的性能略微优于CRF, 表明考虑句子的上下文语境比学习句子的约束条件更有利于进行实体识别; 3) BLSTM+CRF的性能优于BLSTM, 验证了通过引入CRF层可以加入一些约束来保证最终预测结果的有效性, 提升BLSTM在实体识别上的性能; 4) ERWSA的性能优于BLSTM+CRF的性能, 表明考虑词性在句子语义理解中的重要性以及融合注意力机制有助于进一步提升实体识别的性能; 5) 基于预训练语言模型BERT的整体效果弱于ERWSA, 一个原因是缺乏大规模的专利相关文本进行预训练模型的微调, 另一个原因是对特定的实体识别效果不佳, 详见实验2~实验4的结果分析.

为了进一步论证本文提出的ERWSA方法在多类实体识别上的有效性, 分别统计CRF, BLSTM, BLSTM+ CRF, BERT, BERT+CRF这5种对比算法在组织、时间、地点、人名、技术实体识别任务中的准确率、召回率和F1值.

4) 实验2: ERWSA在不同实体识别的准确率对比

为验证本文所提的ERWSA算法针对不同类别的实体在识别准确率上均有提升, 将ERWSA与对比算法在组织、时间、地点、人名、技术这5类实体识别任务上进行了准确率的比较, 实验结果如表 4、图 6所示.

从表 4和图 6可以看出, 本文提出的ERWSA方法在组织、时间、地点、人名、技术这5个实体识别任务中的准确率都要好于CRF, BLSTM, BLSTM+CRF算法, 其中, 在地点实体识别任务提升最多, 准确率相较于目前最优算法BLSTM+CRF提高了3.23%; 在组织实体识别任务提升最少, 但准确率相较于目前最优算法BLSTM+CRF也提高了0.1%, 从而进一步验证了本文提出的ERWSA方法的有效性. 与BERT和BERT+CRF等预训练语言模型相比, ERWSA算法在地点、人名、技术等3类实体识别的准确率更优, 在组织和时间等两类实体的准确率上表现较差. 这说明ERWSA算法在组织和时间实体方面的识别准确率有待进一步提升. 总体结果表明: ERWSA方法在BLSTM+CRF的基础上引入分词词性级别的注意力机制, 能够进一步提升实体识别准确率.

5) 实验3: ERWSA在不同实体识别的召回率对比

为验证本文所提的ERWSA算法针对不同类别的实体在识别召回率上均有提升, 将ERWSA与对比算法在组织、时间、地点、人名、技术这5类实体识别任务上进行了召回率的比较, 实验结果如表 5、图 7所示.

从表 5和图 7可以看出, 本文提出的ERWSA方法在地点、人名、技术这3个实体识别任务中的召回率都要好于CRF, BLSTM, BLSTM+CRF, BERT, BERT+CRF算法, 其中: ERWSA算法在地点实体识别任务提升最为明显, 召回率相较于目前最优算法BLSTM+CRF提高了5.17%; 在人名实体识别任务提升最少, 召回率比目前最优算法BLSTM+CRF提高了3.72%, 从而进一步验证了算法的有效性. 与BERT和BERT+CRF相比, 在召回率方面, ERWSA算法在不同实体类别识别性能上的表现与准确率上的表现相似. ERWSA算法在BLSTM+CRF算法的基础上融入分词词性注意力机制, 使得具有词性标注的词语进一步辅助语义理解, 达到提升命名实体识别的效果. ERWSA算法在5个实体识别任务中的平均召回率要高于其他对比算法, 也说明算法的有效性.

6) 实验4: ERWSA在不同实体识别的F1值对比

为了验证本文所提的ERWSA算法针对不同类别的实体在识别F1值上均有提升, 将ERWSA与对比算法在组织、时间、地点、人名、技术这5类实体识别任务上进行了F1值的比较, 实验结果如表 6、图 8所示.

从表 6和图 8可以看出, 本文提出的ERWSA方法在地点、人名、技术这3个实体识别任务中的F1值都要好于CRF, BLSTM, BLSTM+CRF, BERT, BERT+CRF算法, 其中: ERWSA算法在地点实体识别任务提升最为明显, F1值相较于目前最优算法BLSTM+CRF提高了4.35%; 在人名实体识别任务提升最少, 召回率比目前最优算法BLSTM+CRF提高了2.16%, 进一步表明了该方法的有效性. 由于F1值是通过召回率和准确率综合计算得到, ERWSA算法与BERT和BERT+CRF相比在F1值上的性能表现与实验2和实验3分析一致. 实验表明: ERWSA算法在BLSTM+CRF算法的基础上利用分词词性标注的特点引入注意力机制, 对于实体名的边界进行重点识别, 能够提升命名实体识别的效果.

3 面向知识产权的科技资源画像展示

在知识图谱的基础上, 运用聚类分析、词频分析等方法, 结合数据统计与挖掘方法, 通过各项统计指标反映技术的热度、企业的影响力等科技实体, 完成科技资源画像的构建. 以“无人驾驶汽车”相关的专利为例, 构建面向知识产权的科技资源画像, 如图 9(a)所示.

统计科技资源的历年发表数量, 绘制出每年科技资源的发表趋势图, 从而方便用户跟踪科技资源的发展趋势. 以“无人驾驶汽车”相关的专利为例, 绘制出其2011−2020年科技资源发展趋势画像, 如图 9(b)所示.

得到实体识别模型后, 可以对所有的专利科技资源进行实体识别. 对与关键词相关的专利文本中的实体进行排序, 取实体词频的top25用于构建科技资源的热点词云画像. 用户通过科技资源的热点词云图画像, 可以追踪到最近的热门技术名词, 方便用户获取科技信息. 以关键词“无人驾驶汽车”为例, 构建相关的科技资源热点词云画像, 如图 9(c)所示.

4 总结

构建面向知识产权的科技资源画像, 有助于挖掘其中隐匿的深层科研价值, 进一步助力国家的科技自主创新. 在科技资源画像构建任务中, 针对现有的画像构建方法只适用于结构化数据、忽略了词语词性在句子语义理解中的作用等不足, 本文提出了一种面向知识产权的科技资源画像构建方法, 主要包括科技资源数据获取、实体识别与关系构建、面向知识产权的科技资源画像、面向知识产权的科技资源画像系统构建. 通过数据爬虫技术、数据过滤、数据预处理等技术, 完成对科技资源的高效获取; 结合分词词性、双向长短时循环网络和注意力机制, 利用有监督方法对知识产权相关数据集进行学习与训练, 得到针对科技资源的实体识别; 利用爬取到的申请组织或个人结构化数据来构建与抽取实体之间的关系; 采用Neo4j图数据库、Echarts技术完成对科技资源画像的构建, 得到科技资源的知识图谱、科技资源的发展趋势和科技资源的热点词云. 本文提出的方法在知识产权相关实体识别的准确率、召回率、F1值上的表现均优于对比方法.