MathJax.Hub.Config({tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]}}); function MyAutoRun() {    var topp=$(window).height()/2; if($(window).height()>450){ jQuery(".outline_switch_td").css({ position : "fixed", top:topp+"px" }); }  }    window.onload=MyAutoRun; $(window).resize(function(){ var bodyw=$win.width(); var _leftPaneInner_width = jQuery(".rich_html_content #leftPaneInner").width(); var _main_article_body = jQuery(".rich_html_content #main_article_body").width(); var rightw=bodyw-_leftPaneInner_width-_main_article_body-25;   var topp=$(window).height()/2; if(rightw<0||$(window).height()<455){ $("#nav-article-page").hide(); $(".outline_switch_td").hide(); }else{ $("#nav-article-page").show(); $(".outline_switch_td").show(); var topp=$(window).height()/2; jQuery(".outline_switch_td").css({ position : "fixed", top:topp+"px" }); } }); 基于排序学习的推荐算法研究综述
  软件学报  2016, Vol. 27 Issue (3): 691-713   PDF    
基于排序学习的推荐算法研究综述
黄震华1 , 张佳雯1, 田春岐1, 孙圣力2, 向阳1    
1. 同济大学电子与信息工程学院, 上海 201804;
2. 北京大学软件与微电子学院, 北京 102600
摘要: 排序学习技术尝试用机器学习的方法解决排序问题,已被深入研究并广泛应用于不同的领域,如信息检索、文本挖掘、个性化推荐、生物医学等.将排序学习融入推荐算法中,研究如何整合大量用户和物品的特征,构建更加贴合用户偏好需求的用户模型,以提高推荐算法的性能和用户满意度,成为基于排序学习推荐算法的主要任务.对近些年基于排序学习的推荐算法研究进展进行综述,并对其问题定义、关键技术、效用评价、应用进展等进行概括、比较和分析.最后,对基于排序学习的推荐算法的未来发展趋势进行探讨和展望.
关键词: 排序学习    推荐算法    机器学习    兴趣模型    个性化服务    
PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE
HUANG Zhen-Hua1 , ZHANG Jia-Wen1, TIAN Chun-Qi1, SUN Sheng-Li2, XIANG Yang1    
1. College of Electronics and Information Engineering, Tongji University, Shanghai 201804, China;
2. School of Software and Microelectronics, Peking University, Beijing 102600, China
Abstract: Learning to rank(L2R) techniques try to solve sorting problems using machine learning methods, and have been well studied and widely used in various fields such as information retrieval, text mining, personalized recommendation, and biomedicine.The main task of L2R based recommendation algorithms is integrating L2R techniques into recommendation algorithms, and studying how to organize a large number of users and features of items, build more suitable user models according to user preferences requirements, and improve the performance and user satisfaction of recommendation algorithms.This paper surveys L2R based recommendation algorithms in recent years, summarizes the problem definition, compares key technologies and analyzes evaluation metrics and their applications.In addition, the paper discusses the future development trend of L2R based recommendation algorithms.
Key words: learning to rank    recommendation algorithm    machine learning    interest model    personalized service    

近年来,随着物联网、云计算和社会网络等技术的迅猛发展,网络空间中所蕴含的信息量呈指数级增长[1].据国际数据公司IDC(Int’l data corporation)2012年报告显示:预计到2020年,全球数据总量将达到35.2ZB,这一数据量是2011年的22倍[2].推荐系统正是在这样的背景下被提出的,并且得到了学术界和工业界的广泛关注并加以应用,取得了许多相关的研究成果.推荐系统的核心是推荐算法,它通过挖掘用户与项目之间的二元关系,帮助用户从海量数据中便捷发现其感兴趣的对象(如信息、服务、物品等),并生成个性化推荐列表以满足其兴趣偏好.目前,推荐系统主要应用于在线电子商务[3](如Netflix、Amazon、eBay、阿里巴巴、豆瓣等),信息检索[4](如iGoogle、MyYahoo、GroupLens、百度等)、移动应用[5](Daily Learner,Appjoy等)、生活服务[6](如旅游服务Compass、博客推送M-CRS等)等各个领域.

传统的推荐算法主要可以分为3大类:基于内容的推荐算法[7, 8]、协同过滤推荐算法[9, 10, 11]以及混合推荐算法[12, 13, 14].这些传统推荐算法重点考虑用户和项目之间的二元关系,大都可以转化为评分预测问题,根据用户对项目的评分进行排序后产生推荐列表.近几年,研究人员发现:如果仅仅依据用户对项目的评分产生推荐结果并不能准确地体现用户的偏好[15, 16].例如图1中,用户对物品A和物品B分别打分为2分和3分,那么使用不同的推荐算法进行预测将会得到的不同结果:一种预测结果为A物品2.5分和B物品3.6分;另一种预测结果为A物品2.5分和B物品2.4分.两种预测结果的平方误差均为(0.52+0.62),然而得到的物品A和物品B的排序却是相反的.由此可见,仅仅依赖于评分单一特征并不能非常准确地反映用户的偏好.

Fig.1 Problem of traditional recommendation algorithms 图1 传统推荐算法所面临的推荐问题

为了解决传统推荐算法所存在的上述问题,研究人员考虑将排序学习技术[17]融合进推荐算法的推荐过程之中,认为项目间的排序比传统推荐算法依据项目评分大小的顺序进行推荐更为重要.推荐算法是根据用户偏好需求模型来进行项目推荐,与用户偏好需求越匹配的项目则越倾向于推荐给该用户.因此,将排序学习融入推荐算法的主要思路是对用户的历史行为记录提取特征进行训练,学习得到项目的排序函数以最终对用户生成项目推荐列表.基于排序学习的推荐算法和传统的推荐算法有着本质的区别,其本质区别在于:传统的推荐算法如基于内容的推荐算法、协同过滤推荐算法等不需要训练阶段,直接通过计算用户之间的相似度和项目之间的相似度,预测用户对项目的兴趣度,以此来排序产生推荐结果;而基于排序学习的推荐算法结合了机器学习的特点,是一种监督性学习,需要通过训练数据集训练得到排序模型,并且调整排序模型的参数得到排序模型的最优解,然后对测试数据集使用该排序模型产生最终的推荐结果.近几年,基于排序学习的推荐算法得到越来越多的关注,目前已经成为推荐系统领域的研究热点之一.国外许多大学和研究机构对基于排序学习的推荐算法展开了深入研究,如微软研究院[18, 19, 20]、雅虎研究院[21]、斯坦福大学[22]、康奈尔大学[23]、荷兰代尔夫特理工大学[24, 25, 26]、巴西米纳斯联邦大学[27]、伊利诺伊大学[28]等.国内的研究机构主要有中国科学院[29, 30, 31]、香港科技大学[33]、清华大学[18]、北京大学[34]、 中国人民大学[34]、上海交通大学[36]、浙江大学[37]和哈尔滨工业大学[38]等.

本文主要对基于排序学习推荐算法的关键技术以及应用进展进行综述.第1节简要介绍传统的推荐算法.第2节阐述基于排序学习的推荐算法的定义与总体框架.第3节重点分析基于排序学习推荐算法的3类关键技术,分别为点级、对级、列表级排序学习相关方法.第4节讨论排序学习的效用评价准则.第5节对基于排序学习推荐算法的具体应用进展进行描述.第6节对基于排序学习推荐算法的未来发展趋势进行探讨和展望.最后,第7节总结全文.

1 . 传统推荐算法

20世纪90年代协同过滤技术[39]被首次提出后,推荐系统成为一门独立的学科被深入研究,以缓解信息过载问题.推荐系统的核心是推荐算法,它通过建立用户与项目之间的二元关系,利用相似性关系挖掘每个用户潜在感兴趣的对象,一方面帮助用户发现对自己有价值的信息,另一方面让信息展现在对它感兴趣的用户面前,从而进行个性化推荐.Adomavicius等人[40]给出了推荐算法的形式化定义:假定用户集合用C表示,S表示需要推荐给用户的项目集合,u是一个效用函数用以计算项目s对用户c的相关程度,计算过程表示为u:CxSR,其中,R为排序后的项目集合.推荐算法的目标在于找到最终的项目列表,使得效用函数u(×)取得最大值.用户c取 得最大效用函数值的项目用${{{s}'}_{c}}$来表示,即:

cC,${{{s}'}_{c}}=\underset{s\in S}{\mathop{\arg \max }}\,u(c,s).$

传统的推荐算法主要分为3大类:基于内容的推荐算法[41]、协同过滤推荐算法[10, 42]以及混合推荐算法[43].

基于内容的推荐算法通过获取项目的描述对项目建立配置文件,同时通过显示或隐式的方式获取用户的兴趣偏好描述对用户建立用户配置文件,然后比较用户和项目配置文件之间的相似度,向用户推荐与其配置文件相似度较高的项目[41].基于内容的推荐算法不需要获取大量的用户评分数据,因此不存在评分数据稀疏性问题.对于新项目,一旦提取其特征建立配置文件后,即可向相似用户进行推荐,解决了新项目的冷启动问题,并且对于自动化提取描述的项目更加易于实现该类算法.

协同过滤推荐算法基于其他用户的兴趣爱好及历史记录向目标用户进行推荐.协同过滤推荐算法可分为两类:一类是基于用户的协同过滤算法,另一类是基于物品的协同过滤算法.基于用户的协同过滤算法是先找到和目标用户有相似兴趣的用户,然后把这些用户感兴趣而目标用户没有接触过的物品推荐给目标用户.基于用户的协同过滤算法的不足之处在于:随着用户数越来越大,计算用户兴趣相似度矩阵将越来越困难,其运算时间复杂度和空间复杂度的增长和用户数的增长近似平方关系.另外,基于用户的协同过滤推荐算法很难对推荐结果做出解释.因此,亚马逊提出了基于物品的协同过滤推荐算法[42].该算法给用户推荐那些与他们之前喜欢的物品相似的物品,主要通过分析用户的行为记录计算物品之间的相似度.基于物品的协同过滤推荐算法可以利用用户的历史行为记录给推荐结果提供解释.

由于基于内容的推荐算法和协同过滤推荐算法各自存在不足之处,因此可以将这两种推荐算法组合起来进行混合推荐,从而产生混合推荐算法[43, 44].常见的混合推荐算法有3种组合思路,分别为:后融合、中融合以及前融合.后融合是指以线性组合、投票机制或者可信度选择组合等方式组合两种推荐算法各自产生的推荐结果.中融合是指以一种推荐算法为框架,融合另一种推荐算法,例如:以基于内容的推荐算法为框架,融合协同过滤算法可以降维以精简对象特征.前融合则是指直接融合两种推荐算法到统一的框架模型中去.

此外,有些研究人员提出了基于知识的推荐算法[45],利用在特定领域制定的规则进行基于规则和实例的推理,并根据推理结果生成推荐.其中,规则的获取与推断、规则知识库的构建等是基于知识的推荐技术的关键所在.另外,将语义相似性度量应用于推荐算法[46, 47],利用领域本体计算项目之间的相似性,能够更加形式化地表示推荐模型,算法具有可扩展性,能够有效提高推荐准确率.

表1给出了目前几类常用推荐算法的优缺点.

Table 1 Advantages and drawbacks of prevalent recommendation algorithms 表1 目前几类常用推荐算法的优缺点
2 . 基于排序学习的推荐算法框架 2.1 排序学习概述

排序学习最早在信息检索领域被提出来,已有大量排序学习的研究工作在信息检索领域开展.信息检索的概念从20世纪50年代被提出至今已历经数十年,经典的信息检索模型包括布尔模型[48]、向量空间模型[49]、概率模型[50]、语言模型[51]以及链接分析[52]等.这些在不同时期提出的模型都是无监督排序方法,其共同特点是利用一些简单的特征进行排序,例如词频、逆文档频率等.这些传统排序方法的优点在于容易进行经验参数的调整,得到最优的参数,用以对检索文档按照一定标准(往往是查询与文档之间的相关性)进行排序.

随着搜索引擎需要处理的数据量呈指数增长,人为凭经验优化参数的过程变得越来越复杂.另外,由于这些经典的模型往往偏重某一方面的因素而忽略了其他可以用于排序的重要因素,例如概率模型和语言模型都没有考虑网页链接、网页pagerank值等互联网结构对排序的影响.在这种情况下,排序学习应运而生.排序学习的定义为:基于机器学习中用于解决分类与回归问题的思想,提出利用机器学习方法解决排序的问题[17, 18, 19, 53].排序学习的目标在于自动地从训练数据中学习得到一个排序函数,使其在文本检索中能够针对文本的相关性、重要性等衡量标准对文本进行排序.机器学习的优势是:整合大量复杂特征并自动进行参数调整,自动学习最优参数,降低了单一考虑排序因素的风险;同时,能够通过众多有效手段规避过 拟合问题.

较早的排序学习工作可以追溯到文献[54],作者利用最小二乘回归学习得分函数,并根据得分进行排序. 2000年后,排序学习开始蓬勃发展,微软亚洲研究院的一个研究小组致力于排序学习的研究,带动了整个学术界的关注.他们提出了几个经典的算法奠定了排序学习发展的基础,如基于支持向量机的排序模型构建方法Ranking SVM[55, 56]、使用相对熵作为损失函数并利用梯度下降算法来训练神经网络的排序模型RankNet[57]、使用提升策略(boosting)进行排序函数构建的方法RankBoost[58, 59].

排序学习方法按照输入样例的不同,一般可分为3类[17]:点级(pointwise)、对级(pairwise)、列表级(listwise).点级方法[60]输入包括每个文档的特征,根据其对待排序的不同方式划分为回归和分类两种方法,它们分别将排序问题退化为回归与分类问题求解;对级方法[61]考虑文档对之间的偏序关系,更接近排序问题的实质;列表级方法[62]输入所有相关联的文档集合,更加全面地考虑了不同文档的序列关系,因而成为近年被研究最多的方法.列表级方法分为两类:一类方法延续了点级与对级方法的研究思路,通过定义列表级的损失函数并求解得到排序函数[63];另一类方法将排序函数与最终对其的评价标准相关联,认为最优的排序函数必定会获得最优的评价标准,这类方法可以转化为求解评价函数的最优化问题[64].

2.2 基于排序学习的推荐算法通用模型

基于排序学习的推荐算法通用模型如图2所示.

Fig.2 Universal model of L2R based recommendation algorithms 图2 基于排序学习的推荐算法通用模型

排序学习是一种监督性学习,将推荐算法中已经获取的“用户-物品”评分矩阵作为训练集进行学习.这里可以采用点级、对级、列表级等不同的排序技术,得到一个排序模型f(u,i),其中,uU表示某一特定用户,U表示所有用户的集合,而iI表示某一具体物品,I表示所有物品的集合.在测试阶段,系统根据训练得到的排序模型f(u,i)对目标用户γ产生一个物品排序列表{iγ,1,iγ,2,…,iγ,n},并将该列表推荐给用户γ,其中,iγ,1表示在目标用户γ的物品排序列表中排在第1位的物品,以此类推.不难发现:排序学习融合进推荐算法之中,其目的在于对具有潜在购买力的目标用户,根据训练得到的排序模型对物品列表进行排序,最终得到一个排序列表,作为该目标用户的推荐列表进行推荐.

随着用户和物品数量的逐渐增大,基于排序学习的推荐算法能够更有效地反映用户的偏好.

我们将在下一节重点介绍推荐算法中所使用的点级、对级、列表级等不同的排序技术.

3 . 基于排序学习的推荐算法关键技术 3.1 点级排序学习技术

点级排序学习的处理对象是单独的一个项目,其主要思想是,将排序问题转化为多类分类问题或回归问题.系统从训练数据中学习到分类或者回归函数对项目评分,按照评分的结果进行排序得到最后的排序列表.

近年来,推荐系统领域最为热门的研究话题之一——隐语义模型LFM(latent factor model)就是采用了点级排序学习的思想.隐语义模型最早于2009年被雅虎研究院的Koren首次引入推荐系统之中[65],其特点在于:通过隐含特征来联系用户和物品,使用降维的矩阵因式分解方法[66]将用户-物品评分矩阵补全.隐语义模型的解决思路大多采用矩阵因式分解方法,将“用户-项目”评分矩阵分解为“用户-隐含特征”矩阵和“物品-隐含特征”矩阵,如图3所示.

Fig.3 Decomposition of “user-item” rating matrix 图3 “用户-项目”评分矩阵分解

基于图3所给的“用户-项目”评分矩阵分解,我们可以预测用户u对物品i的兴趣度${{\hat{r}}_{u,i}}$,见公式(1):

${{\hat{r}}_{u,i}}=p_{u}^{T}{{q}_{i}}=\sum\limits_{k=1}^{K}{{{p}_{u,k}}{{q}_{i,k}}}$ (1)

其中,pu,k度量了用户u的兴趣度和第k个隐类的关系,qi,k度量了第k个隐类和物品i的关系.接着,我们可以定义损失函数进行迭代优化,并加入正则化因子以避免过拟合现象,以找到最合适的参数pq,见公式(2).

$\underset{{{p}^{*}},{{q}^{*}}}{\mathop{\min }}\,\left( \sum\limits_{(u,i)\in K}{{{({{r}_{ui}}-{{{\hat{r}}}_{ui}})}^{2}}}+\lambda ||{{p}_{u}}|{{|}^{2}}+\lambda ||{{q}_{i}}|{{|}^{2}} \right)=\underset{{{p}^{*}},{{q}^{*}}}{\mathop{\min }}\,\left( \sum\limits_{(u,i)\in K}{{{\left( {{r}_{ui}}-\sum\limits_{k=1}^{K}{{{p}_{u,k}}{{q}_{i,k}}} \right)}^{2}}}+\lambda ||{{p}_{u}}|{{|}^{2}}+\lambda ||{{q}_{i}}|{{|}^{2}} \right)$ (2)

其中,rui为用户u对物品i的实际评分,${{\hat{r}}_{ui}}$为用户u对物品i的预测评分,l为正则化参数.

求解损失函数可以利用随机梯度下降算法[67]求得其全局最小值.首先,通过求参数的偏导数找到最快速下降方向,可以分别得到参数pq的更新方向;然后,将参数沿着最速下降方向向前推进,通过迭代法不断地优化参数,最终得到最优的“用户-隐含特征”矩阵和“物品-隐含特征”矩阵;通过点乘运算得到“用户-物品”评分矩阵,并按照物品评分进行排序,取t op-k个物品推荐给目标用户.

另外,Koren考虑到:在实际情况下,评分模型中有些固有因素和用户物品无关,而用户的某些属性和物品没有关联.因此,他在预测公式中加入了偏置项.此时,更新后的预测公式(3)为

${{\hat{r}}_{u,i}}=\mu +{{b}_{u}}+{{b}_{i}}+p_{u}^{T}{{q}_{i}}$ (3)

其中,μ为训练集中所有记录评分的全局平均数,用以表示网站本身对用户评分的影响(如网站布局等);bu为用户偏置项,表示了用户评分习惯中的用户自身因素(如用户性格等);bi为物品偏置项,表示了物品获得评分中物品的自身因素(如物品质量等).

在此基础上,Koren等人[68]于2011年又提出了一个改进的点级顺序模型OrdRec,用于个性化评分的预测. OrdRec模型中将用户对物品的评分用1,2,…,SS个等级来表示,该序列可以从字母等级或者其他任何有序的用于表示偏好的集合转换过来,然后引入S-1个阈值用以分隔S个等级,即t1t2≤…≤tS-1,其中,每两个相邻阈值之间等级区间用βr∈{β1≤…≤βS-2}来表示,如图4所示.其中,字母A,B,C表示3个评分等级序列,这3个等级序列可以由两个阈值t1t2进行分隔,t1t2之间的等级区间用exp(β1)来表示.接着,OrdRecc模型根据训练集中观察到的评分等级训练评分的概率分布,通过每一个评分等级与其相邻的阈值之差构造误差函数,继而采用随机梯度下降算法对阈值参数进行求解,得到评分等级整体的概率分布情况.不难看出:OrdRec模型可以灵活地给S个等级赋予不同的含义,例如字母序列的等级(A+,A-,…,F-)、用户对物品不同的操作(点击浏览、收藏、加入购物车、购买等行为)以及其他可以表示用户偏好的等级.

Fig.4 Sequence representing graph of OrdRec 图4 OrdRec模型顺序序列表示图

印鉴等人[69]利用矩阵分解等降维技术提出了基于隐式反馈的推荐模型IFRM,作者认为:在用户对大多数物品的评分都很高或者都很低的情况下,基于公式(1)预测用户对物品的评分高低并不意味着用户是否会选择该物品.因此,作者定义用户u选择物品i的概率见公式(4).

${{\Delta }_{ui}}=\frac{{{r}_{ui}}}{{{{\bar{r}}}_{u}}}=\frac{{{r}_{ui}}}{\frac{1}{N}\sum\limits_{j=1}^{N}{{{r}_{uj}}}}$ (4)

其中,${{\bar{r}}_{u}}$表示用户u对所有N个物品的平均打分情况.训练推荐模型的本质是给定训练数据集O,使得“用户-隐含特征”矩阵U和“物品-隐含特征矩阵”V的后验概率P(U,V|O)最大化.根据贝叶斯定理,作者构造目标函数见式(5).

$\underset{U,V}{\mathop{\min }}\,L=\sum\limits_{(u,i)\in O}{\ln (1+\Delta _{ui}^{-1})+\lambda (||U||_{F}^{2}+||V||_{F}^{2})}$ (5)

在此基础上,为了进一步提高效率和可扩展性,在MapReduce并行计算框架下实现IFRM,并在大规模真实数据集上进行实验,证明了所提出的模型能够有效提高推荐质量,并且有良好的可扩展性.

3.2 对级排序学习技术

对级排序学习的主要思想是将排序问题形式化为二元分类问题.点级排序学习技术完全从单个物品的分类得分角度计算,没有考虑物品之间的顺序关系.而对级排序学习技术则偏重于对物品顺序关系是否合理进行判断,判断任意两个物品组成的物品对〈item1,item2〉是否满足顺序关系,即,item1是否应该排在item2前面.按照物品评分大小顺序得到物品对,将每个物品对的物品转换为特征向量后,形成一个具体的训练实例,然后,利用机器学习方法进行分类函数的学习.具体的机器学习方法有很多,例如支持向量机、神经网络等.然而,无论使用哪一种机器学习方法,最终目标都是判断对于目标用户,输入的物品对之间的顺序关系是否成立,从而最终完成物品的排序任务来得到推荐列表.

Pessiot等人[15]通过比较用户对两个物品的评分大小来定义物品对之间的偏序关系,然后,采用矩阵因式分解的隐语义模型将“用户-物品”评分矩阵分解为“用户-特征”矩阵U和“物品-特征”矩阵I,并且提出将“用户-特征”矩阵和“物品-特征”矩阵的点乘运算作为效用函数,通过效用函数的计算来得到一个预测后的“ 用户-物品”评分矩阵.在该论文中,作者将损失函数定义为基于评分预测所得到的物品对偏序关系中,被预测错误的物品对数量,见公式(6).

$D(U,I)=\sum\limits_{x}{\sum\limits_{(a,b)\in {{y}_{x}}}{[[{{(UI)}_{xa}}\le {{(UI)}_{xb}}]]}}$ (6)

其中,yx={(a,b)|rxa>rxb,aY,bY},Y表示物品集合,rxa表示用户x对物品a的实际评分,(UI)xa表示用户x对物品a的预测评分.排序学习的目标在于优化损失函数,使得物品对偏序关系被预测错误的概率最低.

为了使公式(6)中的损失函数具有连续性、可微性,作者引入指数函数,同时增加正则化因子避免训练数据的过拟合现象,见公式(7).

$R(U,I)=\sum\limits_{x}{\sum\limits_{(a,b)\in {{y}_{x}}}{{{e}^{{{(UI)}_{xb}}-{{(UI)}_{xa}}}}}}+{{\mu }_{U}}||U|{{|}^{2}}+{{\mu }_{I}}||I|{{|}^{2}}$ (7)

其中,mUmI分别是“用户-特征”矩阵U和“物品-特征”矩阵I的正则化参数,这和正则化矩阵因式分解算法的思路是一致的.

采用梯度下降算法对参数进行迭代优化,直至损失函数收敛找到全局最小值,这时求得的最优“用户-特征”矩阵和“物品-特征”矩阵分别用UI来表示,见公式(8).

$({{U}^{*}},{{I}^{*}})=\underset{U,I}{\mathop{\arg \min }}\,R(U,I)$ (8)

Sun等人[70]将对级排序学习融合进混合推荐系统中,提出了LRHR模型,该模型采用词袋模型分别对用户和物品提取关键词构建特征向量.传统推荐算法中产生的用户与物品的配置文档并不具有可匹配性,而LRHR模型不仅能够提取每个用户特征关键词,而且还能提取该用户评分物品的特征关键词,并且记录这些词的词频,作为该用户的特征向量.同样,对于每个物品,提取物品的特征关键词和对该物品评过分的用户的特征关键词,记录词频作为该物品的特征向量.我们发现:这样的特征表示方法会使得用户特征向量中用户的特征关键词词频和物品特征向量中物品的特征关键词词频均很低,通常为1,为低频词.然而,由于一个用户会对多个物品进行评分,同样的一个物品会有多个用户对其评分,因此,用户特征向量中物品特征关键词词频和物品特征向量中用户特征关键词词频均很高,为高频词.为此,LRHR模型引入两种不同的权重机制,将词频TF作为低频词的权重,而将词频取对数的变形作为高频词的权重,进而基于特征向量来计算用户对物品的评分.我们假定Ui为对物品i评过分的用户集合,={u1,u2,…,ul}⊆Ui为对物品i评过分并且包含特征t的用户集合,rk,i为由用户uk∈对物品i的评分,那么可得中所有用户对物品i的平均评分可表示为$avgs_{i}^{t}=\sum\nolimits_{1\le k\le l}{{{r}_{k,i}}/l}$,即为该物品基于特征t的评分.

LRHR模型采用对级排序学习方法RankSVM进行排序.RankSVM[55, 56]是一个经典的排序学习方法,它将物品对的偏序关系作为特征向量进行训练,并将排序问题转化为分类问题.图5显示了RankSVM方法的实施原理.记$x_i^\sigma $和$x_i^\upsilon $分别为物品i基于特征s和特征u的评分,按照评分大小可以得到两者的偏序关系,fw=w×x为线性函数,其中,w为权重向量,xi为松弛变量,C为惩罚因子,其将训练误差限制在一定范围之内.论文构造RankSVM的损失函数如公式(9)所示.

$\begin{align} &\underset{w}{\mathop{\min }}\,\frac{1}{2}||w|{{|}^{2}}+C\sum\limits_{i=1}^{l}{{{\xi }_{i}}} \\ &\text{s}\text{.t}\text{. }{{y}_{i}}(w\cdot (x_{i}^{\sigma }-x_{i}^{\upsilon }))\ge 1-{{\xi }_{i}},\ {{\xi }_{i}}>0 \\ \end{align}$ (9)
Fig.5 RankSVM pair-wise classification method 图5 RankSVM对级分类方法

通过最小化损失函数$f_w^*$训练得到最优排序函数对测试集排序来获取物品的排序列表,并对用户产生推荐.

Liu等人[33]根据用户对物品的排序获取目标用户的相似用户,然后,根据相似用户的偏好对目标用户生成推荐列表.作者采用了Kendall排序相关系数[71, 72]衡量两个用户评分物品交集的排序相似度,得到与目标用户具有相似偏好的用户集合N(u),训练两个物品之间的排序函数见公式(10)所示.

$\psi (i,j)=\frac{\sum\limits_{v\in N_{u}^{i,j}}{{{s}_{u,v}}\cdot ({{r}_{v,i}}-{{r}_{v,j}})}}{\sum\limits_{v\in N_{u}^{i,j}}{{{s}_{u,v}}}}$ (10)
其中,suv为用户u和用户v之间的相似度,rvi>和rv,j分别为用户v对物品ij的评分.然后,采用随机游走模型训练物品ij的评分大小关系,得到用户u对物品评分之间的排序.

Rendle等人[73]认为:如果用户u浏览过物品i,则比起其他没有被浏览过的物品而言,用户u更喜欢该物品.对于用户都浏览过的物品对之间假定不存在偏序关系,同样,对于用户都没有浏览过的物品对之间假定也不存在偏序关系,从而将“用户-物品”浏览记录矩阵可以转换为物品对偏序关系矩阵,如图6所示.在此基础上,作者提出了基于贝叶斯的个性化排序算法LEARNBPR,其目标是在已知参数向量的前提下,得到物品排序的后验概率最大化.LEARNBPR算法在学习阶段训练得到最优的参数向量,然后应用于测试阶段对目标用户得到物品的排序列表.

Fig.6 Transformation from “user-item” matrix to partial order matrix 图6 “用户-物品”浏览记录矩阵转换为物品对偏序关系矩阵

Pan等人[74]考虑到用户更倾向于物品集合而非单个物品,因为用户购买了某些物品后发现其实他并不喜欢曾经浏览过的物品,或者用户可能喜欢某个浏览的物品但实际上并没有购买过该物品,因此使用物品集合之间的偏序关系更有效.作者根据用户对物品集合的平均评分,在物品集合对上定义排序函数和损失函数,同样采用正则化随机梯度下降算法学习排序模型.Takács等人[75]针对排序函数大都是通过损失一定的精度换取计算时间复杂度这一现象,提出一种计算有效性算法,采用最小二乘法直接使目标排序函数取得最小值.这样省略了采样的过程,从而可以有效提高算法的运行效率.Yang等人[76]基于Hadoop云计算架构,提出了CCF (collaborative competitive filtering)模型.该模型采用乘法隐含因素模型来描述用户-物品的二元效用函数,并定义排序模型为用户对已评分物品的打分与预测评分间的误差,并使其最小化,然后使用基于MapReduce的分布式随机梯度下降算法求解得到最优的排序模型.

我们发现:对级排序学习考虑了物品对之间的偏序关系,但仍然存在以下两个问题.

(1) 对级排序学习只考虑两个物品间的偏序关系,却没有考虑物品出现在推荐列表中的位置.然而,排在推荐列表前面位置的物品显然更为重要,如果前面物品出现判断错误,代价显然高于后面物品.针对这个问题,我们可以引入代价敏感函数,即:每个物品对根据其在列表中的顺序具有不同的权重,越是排在前面的权重越大,从而前面位置物品判断错误则付出的代价更高.

(2) 不同用户评分物品数量差异很大,有些用户有过评分行为的物品对多达上百对,而有些用户却只对十几对物品评过分,这对机器学习系统的效果评价造成困难.例如:假设有两个用户,用户u1评分500对物品对,其中对级排序学习方法正确判断480对物品对的顺序;而用户u2评分10对物品对,其中系统正确判断仅2对物品对的顺序.整个系统的准确率为(480+2)/(500+10)=0.95,但是从用户的角度而言,用户u1u2的准确率分别为0.96和0.2,这对如何继续调优学习方法带来了困扰.因此,对于分布不均匀的数据,可以采用列表级排序学习算法.

3.3 列表级排序学习技术

列表级排序学习技术相比于点级和对级排序学习技术而言,不再将排序问题直接形式化为一个分类或者回归问题,而是直接对物品的排序列表进行优化.目前主要有两种优化方式:

(1) 直接针对排序的评价指标进行优化,例如常用的有MAP(mean average precision),NDCG(normalized discounted cumulative gain)等.由于评价指标如NDCG通常是非平滑的,因此需要将其转化为连续函数的形式进行优化;

(2) 构造损失函数进行优化,这也是延续了点级和对级排序学习技术的思路.损失函数的构造有多种方法,如:RankCosine[77]使用正确排序与预测排序的分值向量间的余弦夹角来表示损失函数,即,度量正确排序与预测排序之间的余弦相似度;而ListNet[18]使用正确排序与预测排序的排列概率分布间的KL距离(kullback-leibler divergence)作为损失函数.

Shi等人[24]将列表级排序学习算法和矩阵因式分解的隐语义模型算法相结合,将“用户-物品”评分矩阵分解成两个低维隐含特征矩阵UiVj进行表示,并且采用概率矩阵分解算法,引入Sigmod逻辑函数来限定“用户-特征”矩阵与“物品-特征”矩阵点乘,从而得到预测评分范围,见公式(11).

$U,V=\underset{U,V}{\mathop{\arg \min }}\,\frac{1}{2}\sum\limits_{i=1}^{M}{\sum\limits_{j=1}^{N}{{{I}_{ij}}}}{{({{R}_{ij}}-g(U_{i}^{T}{{V}_{j}}))}^{2}}+\frac{{{\lambda }_{U}}}{2}||U||_{F}^{2}+\frac{{{\lambda }_{V}}}{2}||V||_{F}^{2}$ (11)

其中,M为用户个数;N为物品个数;g(×)是一个单调递增并且取值为正的函数,论文中选用指数函数;lUlV分别为两个低位隐含特征矩阵的正则化参数;Iij是一个指示函数,表示用户i对物品j有评分行为.

同时,作者定义了TOP(top one probability)为物品在用户i排序列表中排在第一位置的概率,TOP采用Plackett-Luce[78]排列概率分布模型,见公式(12).

${{P}_{{{l}_{i}}}}({{R}_{ij}})=\frac{\varphi ({{R}_{ij}})}{\sum\limits_{k=1}^{K}{\varphi ({{R}_{ik}})}}$ (12)

其中,li表示用户i的排序列表;Rij表示用户i对物品j的评分;K表示用户i的待排序列表长度;j(x)是任意单调递增且取值为严格正值的函数,如指数函数exp(×).

在此基础上,作者引入了KL距离的概念,用来度量p(x)和q(x)概率分布相似程度.通过物品TOP的KL距离定义列表级损失函数,见公式(13).

$L(U,V)=\sum\limits_{i=1}^{M}{\left\{ -\sum\limits_{j=1}^{N}{{{P}_{{{l}_{i}}}}({{R}_{ij}})\log {{P}_{{{l}_{i}}}}(g(U_{i}^{T}{{V}_{j}}))} \right\}}+\frac{\lambda }{2}(||U||_{F}^{2}+||V||_{F}^{2})$ (13)

并且采用梯度下降算法更新UV的特征向量,进而将用户和物品特征向量的点乘运算作为效用函数.最终,算法获取最优的效用函数来对测试用户产生推荐列表.

在上述思路的启发下,Yao等人[29]将社交网络用户间的信任度整合进列表级排序学习中.首先获取与目标用户具有信任度的用户集合,然后对“用户-物品”特征矩阵进行矩阵因式分解,引入总体参数a来调整评分矩阵因式分解对效用函数的不同影响程度,见公式(14),并通过随机梯度下降算法来求得最优的用户和物品隐含特征矩阵,最终将这两个矩阵点乘来获取评分预测结果.

${{\hat{R}}_{ij}}=g\left( \alpha U_{i}^{T}{{V}_{j}}+(1-\alpha )\sum\limits_{k\in T(i)}{{{{\tilde{S}}}_{ik}}}U_{k}^{T}{{V}_{j}} \right)$ (14)

其中,${\tilde S_{ik}}$表示用户i和用户k之间的信任度,T(i)表示用户i信任的用户集合,g(×)是一种逻辑函数,例如Sigmod函数.

Weimer等人[22]提出了一种最大化边界矩阵因式分解算法CoFiRank来直接优化评价标准NDCG.据我们所知,这是第一个在协同过滤算法中融入排序学习方法的模型.作者首先定义了NDCG评价标准,见公式(15)和公式(16)所示.

$DCG@k(y,\pi ) = \sum\limits_{i = 1}^k {\frac{{{2^{{y_{{\pi _i}}}}} - 1}}{{\log (i + 2)}}} $ (15)
$NDCG@k(y,\pi ) = \frac{{DCG@k(y,\pi )}}{{DCG@k(y,{\pi _y})}}$ (16)

其中,y={1,2,…,r}n为评分向量,p为评分向量的某种置换序列,pi为物品i在置换中的位置,py为集合y中的评分按照降序排列,k表示选取物品列表中k个物品计算NDCG的值.

不难看出,NDCG更加注重置换中排在前面的物品之间的正确顺序.因此,如果前面物品排序错误,得到的惩罚将更大.在NDCG评价标准的基础上,作者定义了排序函数$R(F,Y) = \sum\nolimits_{1 \le i \le u} {NDCG@k({\Pi ^i},{Y^i})} $,其中,Õi为将用户对物品i的评分矩阵降序排列形成的矩阵.算法的最终目的是要最大化排序函数R(F,Y).由于R(F,Y)不具有凸函数的性质,为此,作者使用了结构化估计方法,根据Polya-Littlewood-Hardy[79]不等式定义损失函数如公式(17)和公式(18).

$l(f,y): = \mathop {\max }\limits_\pi [\Delta (\pi ,y) + \langle c,{f_\pi } - f\rangle ]$ (17)
\[L(F,Y): = \sum\limits_{i = 1}^u {l({F^i},{Y^i})} \] (18)

可以证明:该损失函数具有凸函数的性质,可以找到凸函数的上界.

Shi等人[25]通过最大化平均倒排序评价准则来训练排序模型CLiMF,采用平滑倒排序策略的优势在于计算复杂度能够降为线性.对于用户i的物品倒排序列表可定义为公式(19).

$R{R_i} = \sum\limits_{j = 1}^N {\frac{{{Y_{ij}}}}{{{R_{ij}}}}\prod\limits_{k = 1}^N {(1 - {Y_{ik}}\Pi ({R_{ik}} < {R_{ij}}))} } $ (19)

其中,N为物品数量;Yij表示物品与用户的相关度,取值为0或1;Rij表示物品j在用户i排序列表中的位置,Π(x)为指示函数,如果条件x为真则取值为1,否则为0.将“用户-物品”评分矩阵进行因式分解,采用逻辑函数近似倒序排序函数,并对其取自然对数;然后,根据Jensen不等式[80]来获得自然对数的下界;最后,用随机梯度上升法以最大化公式(20)所给出的目标函数.

$\max F(U,V) = \sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {{Y_{ij}}\left[ {\ln g(U_i^T{V_j}) + \sum\limits_{k = 1}^N {\ln (1 - {Y_{ik}}g(U_i^T{V_k} - U_i^T{V_j}))} } \right]} } - \frac{\lambda }{2}(||U|{|^2} + ||V|{|^2})$ (20)

通过比较文献[22]的CoFiRank模型和文献[25]的CliMF模型发现,它们主要存在两个方面的不同.

(1) CoFiRank模型直接针对NDCG评测准则来进行优化,因此适用于等级相关的评分数据,如五级评分等数据;而CLiMF模型侧重于评分数据的排序,因此适用于二元评分的情况;

(2) CoFiRank模型挖掘基于评测准则NDCG损失函数的凸函数上界,并对该上界进行优化;而CLiMF模型首先平滑倒排序评测准则,进而获得倒排序函数的下界并进行优化.

在CliMF模型的基础上,Shi等人[26]又提出了扩展的CLiMF模型xCLiMF.相比CLiMF模型处理二元评分数据,xCLiMF模型通过用户和物品矩阵的隐语义模型对期望倒排序函数进行优化,使得xCLiMF模型能够处理用户多个等级的评分数据.

Karatzoglou等人[81]提出一种基于上下文感知的推荐方法TFMAP,采用张量分解来优化MAP评测准则.张量分解是高维矩阵因式分解,从原来的“用户-物品”二维矩阵扩展成为“用户-物品-上下文环境”的三阶张量.据我们所知:TFMAP是第1个能够挖掘用户隐式反馈和上下文信息,并将排序学习与协同过滤算法相结合的方法.它将用户m在上下文环境k中对物品i的隐式反馈数据表示为三阶张量,ymik为其中的元 素:ymik=1,表示用户m在上下文环境k中对物品i有过交互行为(如购买、使用等行为);ymik=0则表示用户m在上下文环境k中对物品i的偏好不确定.作者将“用户-物品-上下文环境”三阶张量分解为用户、物品、上下文信息隐含特征矩阵Um,ViCk的内积,如图7所示.

Fig.7 Decomposition of three-order tensor “user-item-context” 图7 “用户-物品-上下文环境”三阶张量分解

在TFMAP方法中,依据用户m在上下文环境k中对物品i的偏好,我们可以通过降序排序物品来获得推荐列表.为此,作者定义了平均准确率AP见公式(21).

$A{P_{mk}} = \frac{1}{{\sum\limits_{i = 1}^N {{y_{mik}}} }}\sum\limits_{i = 1}^N {\frac{{{y_{mik}}}}{{{r_{mik}}}}} \sum\limits_{j = 1}^N {{y_{mjk}}\Pi ({r_{mjk}} \le {r_{mik}})} $ (21)

其中,rmjk表示上下文环境k中物品i在用户m排序列表中的位置,Π(×)为指示函数.那么对所有用户的AP求平均值,就能够得到整体的平均准确率MAP.显然,MAP排序准则是非平滑函数,无法用主流的标准优化方法进行优化.因此,作者提出了MAP平滑的近似函数,将指示函数P(×)和1/rmjk用Sigmod函数替换,达到平滑的MAP近似函数,并加入正则化参数,从而得到了TFMAP的目标函数.

在2012年的KDD会议(ACM SIGKDD Conf| on Knowledge Discovery And Data Mining)的推荐系统比赛中提出了3个挑战:(1) 数据的多元性和异构性;(2) 新用户的迅猛增长导致了严重的冷启动问题;(3) 挖掘用户偏好和物品流行度的及时性.针对上述3个挑战,Chen等人[36]提出了将基于特征的因式分解和叠加树模型[82]相结合的方式.基于特征的因式分解能够表示用户信息如社交关系、行为、用户关键词/标签以及物品的分类信息,可以解决矩阵稀疏的问题.而叠加树模型是基于决策树,在决策结果标注上不同用户的喜好程度,它能够表示用户的配置文档、浏览模式等信息,同时还可以表示连续性特征如年龄、时间戳等.由于用户-物品之间的交互行为如浏览模式等比较复杂,因此需要采用叠加森林模型即多棵叠加树来充分表达用户-物品的交互模式,如图8所示.叠加森林由多棵叠加树构成,每棵叠加树都能够得到用户对物品的不同喜好程度,有效解决新用户的冷启动问题.作者采用对级排序学习方法训练矩阵因式分解模型,并采用列表级排序学习算法LambdaRank[83]训练叠加树模型,以优化MAP评价准则.

Fig.8 Instance of superimposed forest model 图8 叠加森林模型实例
4 . 排序学习的效用评价准则

推荐算法中,排序学习的效用评价准则是通过如下方式来计算:排序学习模型预测的推荐列表中物品的得分与实际用户给物品的打分间的偏差.目前主要的效用评价标准有准确率(precision)[84]、召回率(recall)[84]、NDCG(normalized discounted cumulative gain)[85, 86]、MAP(mean average precision)[81]等.

4.1 准确率和召回率

对用户u推荐N个物品的集合记为R(u),而u在测试集上喜欢的物品集合为T(u),那么可以通过准确率/召回率[84]来评测推荐算法的精度,见公式(22)和公式(23).

$precision = \frac{{\sum\limits_u {|R(u) \cap T(u)|} }}{{\sum\limits_u {|R(u)|} }}$ (22)
$recall = \frac{{\sum\limits_u {|R(u) \cap T(u)|} }}{{\sum\limits_u {|T(u)|} }}$ (23)

推荐准确率表示用户对被推荐物品感兴趣的概率,准确率越大,说明用户对被推荐的物品越感兴趣,则该推荐算法性能越好.推荐召回率表示用户感兴趣的物品被推荐的概率,召回率越大,说明算法越可能推荐用户感兴趣的物品.这两个评价标准都是用以描述推荐结果和用户偏好需求之间的匹配关系,因此在传统推荐算法中被广泛采用,而在基于排序学习的推荐算法中用得比较少.

4.2 平均准确率MAP

由于在传统的推荐算法中,准确率只是考虑了推荐结果中用户感兴趣的物品个数,而没有考虑物品之间的排序.然而在实际应用中,推荐结果必然是有序的,与用户偏好越相关的物品排序越靠前越好,因此引入平均准确率MAP [81],主要由3个部分组成:Precision,Average Precision和Mean Average Precision.推荐列表中,某一位置k的准确率Precision定义为物品在推荐列表和用户在测试集上实际喜欢的物品列表的交集中的位置,除以该物品在推荐列表中的位置,见公式(24).

$P@k(u) = \frac{{R(u) \cap T(u)@k}}{{R(u)@k}} \cdot {l_k}$ (24)
其中,lk表示位置k处物品与用户的偏好是否相关:相关为1,否则为0.

Average Precision即对用户u推荐列表中所有物品计算准确率,见公式(25).

$AP(u) = \frac{{\sum\limits_{k = 1}^{{n_u}} {P@k(u)} }}{{|R|}}$ (25)
其中,R为用户u推荐列表长度,nu表示用户u推荐列表中所有的物品.

对于所有用户平均准确率取平均值即为MAP,见公式(26).

$MAP = \frac{{\sum\limits_u {AP(u)} }}{{|U|}}$ (26)

MAP是对于排序位置敏感的,其值越大,说明与用户偏好相关的物品排序越靠前,算法整体排序性能越好.

4.3 NDCG

对于目标用户u,其推荐列表排在位置k物品的DCG(discounted cumulative gain)[85, 86]值表示为公式(27).

$DCG@k(u) = \sum\limits_{i = 1}^k {G(u,i)D(i)} $ (27)
其中,G(u,i)为增益函数,用来反映物品和用户偏好的相关度等级,例如,可以定义为指数函数2k(i)-1,k(i)为物品和用户偏好的相关度等级;D(i)为位置衰减函数,表示随着位置的增大而衰减.当所有评分高的物品都排在评分低的物品前面时,该排序序列的DCG称为理想的DCG,记为DCG(u).那么对所有用户求平均值,即为算法整体的NDCG值.从而对于用户u,其NDCG定义见公式(28),取值范围为[0, 1].

$NDCG@k(u) = \frac{{DCG@k(u)}}{{DCG*@k(u)}}$ (28)

NDCG和MAP都是对排序位置敏感的,其区别在于:对于MAP而言,推荐结果中物品和用户偏好的关系呈二元相关性;而NDCG中物品和用户偏好的相关性等级可以分为多个等级,NDCG值越大,说明算法排序结果越符合用户的偏好,算法整体排序性能越好.

5 . 基于排序学习的推荐算法应用进展

基于排序学习的推荐算法具有广阔的应用前景,本节将深入讨论其主要应用领域.

5.1 微博服务

近几年,以Facebook和Twitter为代表的社交网络应用成为互联网中最激动人心的产品.同时,国内以新浪和腾讯为代表的微博服务也应运而生[87].为了方便用户从海量动态的信息中找到感兴趣的内容,Twitter提供了推特搜索服务.与传统的搜索引擎类似,用户输入关键词搜索就可以得到按照时间排序的推文列表.新浪推出了类似的微博搜索服务,但仅针对注册用户.Duan等人[88]将用户Tweet账号的权威性(被其他用户提及的次数)、推文的长度和是否含有URL链接作为特征,选用RankSVM排序学习算法对微博搜索结果进行排序.周诗龙等人[31]提出将排序学习算法ListNet应用于微博排序中并进行了改进,创新地引入动态步长策略,使得算法经过较少的迭代次数即可训练出较高精度的排序模型.彭等人[89]融合影响微博用户推荐的各类信息,包括用户的内容信息、个人信息、交互信息和社交拓扑信息,提出了基于排序学习的微博用户推荐框架,取得了较好的实验推荐效果.

另一方面,可以挖掘微博内容中隐含的商业价值,从用户的微博内容中挖掘用户潜在的兴趣偏好,并对用户进行物品推荐.这与传统的电子商务网站的推荐服务的不同之处在于:电子商务网站的推荐服务只能获取用户登录网站后的浏览记录等数据,而基于微博的物品推荐服务则可以实时发现用户潜在的兴趣偏好和需求[90].Zhao等人[34]构建了基于新浪微博的商业智能推荐系统METIS,爬取大量用户的新浪微博内容,提取用户需求信息以及用户的人口统计特征,同时爬取京东的物品评论,从中提取购买物品的用户反馈作为该物品的特征,然后采用排序学习算法库RankLib对用户产生推荐物品列表.南京理工大学[91]提出对社交网络中的用户兴趣建模,并对用户行为模式建模,结合排序学习对微博用户进行推荐.

5.2 多媒体应用

多媒体推荐系统是个性化推荐系统的一个垂直组成部分,主要包括音乐推荐和视频推荐两大类.如今,国内外流行度较高的音乐推荐服务主要有豆瓣电台和Pandora等,豆瓣电台综合用户在豆瓣上的各种收听音乐行为进行分析推荐;而Pandora则是根据专家对音乐特性进行标注以计算歌曲的相似度,并给用户推荐和他之前喜欢的音乐相似的其他音乐.McFee等人[92]将基于SVM的排序学习算法与基于内容的推荐算法相结合,通过音频之间的相似度训练一个相似度距离计算模型,从而产生具有较高准确度的排序列表.该模型对于用户输入的音乐计算音频之间的相似度,根据相似度距离进行排序以产生推荐列表.Zhao等人[93]设计了一种视频推荐方法,其中融合了大量的用户和视频信息,例如用户的教育背景、职业、地理位置、兴趣偏好、浏览记录、社交网络信息等以及视频的标题、描述、标签等.作者采用对级的排序学习算法RankSVM对Youtube和Facebook中的活跃用户进行视频推荐.该方法能够获取较好的准确性,但同时也存在新用户的冷启动问题.由于新用户没有足够观看视频的训练集,因此无法为新用户训练排序模型,即,无法对其推荐视频.

5.3 标签推荐

标签是Web 2.0时代非常重要的一种应用,根据维基百科的定义,标签是一种无层次化结构的、用来描述信息的关键词.在推荐系统中,标签可以用于描述用户和物品的特征.Wu等人[94]基于图像以及由用户创建的标签来计算标签同现频率,进而选用Rankboost排序学习算法,针对图像以及用户对该图像创建的标签进行训练排序模型,最后,对输入的图像推荐适合于描述其特征的标签.Rendle等人[95]提出了对级排序学习模型PITF,通过将“用户-物品-标签”三阶张量因式分解,并改进了基于贝叶斯后验概率的BPR算法,进而将其应用于标签推荐.周杨名[96]提出了基于高斯混合模型的标签排序方法对标签进行排序,从而产生商品或服务的推荐结果.Canuto等人[27]通过大量的仿真实验,综合比较了8种不同排序学习算法融入标签推荐中的效果,这8种算法分别为RankSVM、随机森林、多重累计回归树MART、lMART、ListNet、AdaRank、RankBoost和遗传算法.实验结果表明:随机森林、MART、lMART这3种算法的NDCG标准评分为4%~12%,优于其他算法;而在时间效率方面,采用排序学习算法比起无监督学习算法并不增加额外的开销.

5.4 个性化新闻推送

随着推荐系统的应用越来越广泛,个性化新闻推送[97, 98]成为了重要的应用之一.现在大部分新闻类阅读产品都是根据用户阅读文章时进行“顶”、“踩”、“转发”、“收藏”等操作进行用户建模并更新,随着用户行为数据的积累,系统为每个用户建立的兴趣模型愈发精确,从而新闻推荐愈发个性化.LÜ等人[28]对用户点击阅读一篇新闻之后进行新闻推荐的问题进行了研究,提出了GBRank对级排序学习算法用于学习一个新闻内容的关联模型,从内容相关性和新颖性、主题相关度以及内容连贯性4个方面衡量两篇新闻内容的关联程度,从而用户点击阅读完一篇新闻之后,能够对该用户进行下一篇新闻推送.De等人[99]提出了基于Tweet的新闻推荐系统T.Rex,将新闻流与用户的推文内容相结合,获取用户推文中提及的实体以及新闻内容中包含的实体,以此计算用户与新闻之间的内容关联度,同时找出其他用户与新闻之间的内容关联度来计算用户之间的相似度和新闻的流行度,然后,通过Ranking SVM排序学习算法将上述3种关联度训练得到一种排序模型,并根据该排序模型找到top-k个最符合用户的新闻文章推送给用户.

5.5 购物推荐

网上购物推荐已经被广泛应用于各电子商务网站之中,如Amazon、eBay、淘宝、MovieFinder等,都以不同形式不同程度地应用了电子商务购物推荐.Das等人[100]搭建一个类似于导购的推荐平台,通过构造决策树,利用物品属性对用户购物的提问问题作为决策树的节点,每个节点包含一个物品的排序列表,作者采用RankSVM对级排序学习算法按照物品的属性对物品进行排序.用户可以一直遍历至决策树的叶子节点,最终的物品排序列表选取top-k个物品作为推荐结果;而且,用户也可以在中间节点停止遍历,获得中间的物品排序列表.该物品推荐平台需要用户显示表达购买意愿,因此可以有效解决新用户的冷启动问题,但其缺点在于无法处理隐式信息.Liu等人[101]提出了一个以社交场合为导向的穿衣搭配推荐系统,将衣服的属性(包括类别、颜色、款式等)作为特征,采用图像识别技术从用户的照片中判断适合于该场合的衣服,通过支持向量机SVM算法将衣服属性特征与社交场合进行匹配,从而产生适合于该场合的穿衣搭配排序列表推荐给目标用户.

5.6 移动推荐

近年来,移动推荐系统随着移动互联网的蓬勃发展也越发活跃起来[102].移动推荐系统中用户处于移动网络环境,移动性强,而且移动设备的处理能力差、屏幕小、输入能力较差、无线网络的带宽弱等因素使其对实时性和准确性的要求较高,从而原先适合传统互联网用户的推荐方法并不能直接应用到移动推荐中.Zheng等人[103]从用户的GPS历史数据中提取信息构建“用户-地理位置-活动”三维评分矩阵,并提出了3种推荐方法:第1种方法是基于矩阵的协同过滤模型,目标在于对用户的“地理位置-活动”二维矩阵进行因式分解,使得平方误差损失函数最小化;第2种对“用户-地理位置-活动”三维评分矩阵进行张量分解,同样使得平方误差损失函数最小化;第3种方法同样是对“用户-地理位置-活动”三维评分矩阵进行张量分解,但直接优化排序评价准则以学习最优排序函数.Shaw等人[53]使用签到数据对用户和地点建立空间概率模型和时间概率模型,空间概率模型表示在特定的地理位置坐标签到的概率,时间概率模型则表示以时间范围划分在地点签到的概率,然后采用线性回归构造损失函数,并采用坐标上升算法[104]训练损失函数中的权重参数以优化损失函数.另外,作者利用LambdaMART排序学习算法构建决策树,非线性地训练输入的用户签到的时间和空间特征.Zhuang等人[105]讨论了用户使用移动设备时,基于上下文感知需要某种实体类别或者具体实体的概率模型,并通过随机游走算法来更新优化该概率模型,最终对用户生成一个实体排序列表.蒋锴和连德富[106, 107]把融合多种上下文信息进行个性化推荐的问题建模为排序学习的问题,建立用户偏好模型、空间偏好模型以及时间偏好模型,利用基于地理建模内嵌的矩阵分解模型进行地理位置推荐和预测.

6 . 基于排序学习的推荐算法研究趋势展望

基于排序学习的推荐算法是一个新兴的研究领域,它仍有许多值得深入探索和亟待解决的问题.在这一节中,我们提出一些值得进一步深入探讨的研究点,也是我们今后需要解决完善的研究方向.

(1) 计算复杂度和准确率

大部分基于排序学习的推荐算法的研究工作都集中于优化排序函数和损失函数模型商,对于排序结果的准确性要求导致了模型的复杂度呈指数级增长;同时,密集型计算增大了整个模型的时间和空间开销,从而降低了推荐算法的时效性.目前,有相关的研究用准确度换取计算复杂度,即,降低对准确度的要求以降低计算复杂度.Wang等人[108]量化排序函数的有效性和时效性,通过引入权重来自动权衡排序函数的准确度和时间开销,使得算法整体在排序结果的有效性和时效性方面都满足用户的要求.

(2) 大数据排序学习

近些年来,随着物联网、云计算和社交网络等技术的迅猛发展,大数据越发显现4V(volume,velocity,variety,veracity)的特性.机器学习通过训练数据来训练模型,数据样本越大,机器学习就可以训练出越复杂的模型,进而做出更准确的判别与预测.但是,大数据环境同时给机器学习造成了计算上的困难,主要表现为CPU计算量和内存存储量的限制.通常,我们可以采用并行计算、集成学习、近似估计这3种方法.并行计算是指可以采用MapReduce框架进行分布式计算,目前已有部分推荐算法采用分布式计算模式[69, 96, 109, 110],但是仍然有很大的研究和应用空间.集成学习则是每次抽取少量样本数据并对其进行建模,多次迭代获得多个模型进行集成,得到最终的模型.Ueda等人[111]验证了这种方法可以有效处理大规模数据,并训练得到合成模型.近似估计是指提出一个近似算法,其复杂度低于原有算法的复杂度而不以准确度为代价.文献[112, 113, 114]都是在损失函数中引入指数函数等具有平滑性质的连续函数,然后根据不等式性质找到损失函数的边界作为损失函数的近似函数进行优化更新.该方法可以降低原有损失函数的复杂度而不损失其准确度.

(3) 算法的可扩展性

由于基于排序学习的推荐算法依赖于训练样本学习得到排序模型,因此对于不同类型的训练样本,不能用统一模型来表示.Shi等人[25]构建的排序模型仅适用于二元相关数据(如0-1等级评分),不适用于多级评分数据.另外,基于排序学习的推荐算法依赖于特定的评价准则进行优化更新模型,对于不同的评价准则,如MRR,NDCG,MAP等,排序模型并不能广泛适用.如何构建具有普适性、较强的可扩展性的排序模型,能够兼容不同类型的训练样本和评价准则,仍是一个值得深入研究的问题.

(4) 排序模型局部极小值问题

基于排序学习的推荐算法采用机器学习的算法训练得到排序模型,排序模型非凸的目标损失函数中普遍存在局部极小值的问题.例如采用神经网络BP算法,由于该算法输入与输出间非线性映射关系使得误差函数含有多个极小点,根据梯度下降进行迭代更新仅仅使得排序模型往误差减小的方向,因而可能会收敛到局部极小值.因此需要构造一个凸损失函数,或者将损失函数近似为凸函数.文献[22]采用不等式构造损失函数使其具有凸函数的性质,使损失函数能够收敛得到全局最小值.

(5) 新用户冷启动问题

目前,推荐系统的一个重要挑战是无法采集到新用户的历史行为记录,不能准确地获取新用户偏好,从而对新用户缺乏训练集学习得到项目的排序模型,因此不能对新用户产生有效的推荐结果.Das等人[100]需要用户显示地表达购买物品的意愿和偏好来解决了新用户的冷启动问题.Cena等人[115]为了避免新用户冷启动问题,利用新用户的注册信息(年龄、性别、职业等),使用基于规则的推理建立用户偏好模型,进而通过用户隐式行为记录获得用户偏好需求,训练排序函数得到排序结果来进行推荐.我们发现:现有的这些做法通常效果都不是很好,解决新用户冷启动依然是一个亟需解决的挑战.

(6) 多任务学习

排序学习运用机器学习算法对用户-物品行为记录的数据集进行训练,目标是提高排序模型处理未知样本的能力,即泛化能力.传统的机器学习技术主要针对单任务学习问题,但是当训练数据集稀疏的情况下,学习系统很难获取足够的信息进行学习已得到具有强泛化能力的模型[116].因此,Caruana于1997年提出了多任务学习(multitask learning)[117].多任务学习本质上还是采用机器学习的算法,但是多任务学习通过相关任务之间的有价值的信息来提高学习系统的性能[116].因此,在基于排序学习的推荐算法中结合多任务学习,能够有效缓解训练数据稀疏性问题.文献[118]将协同过滤算法结合多任务学习,使得不同的分类器之间能够共享信息,从而有效缓解数据稀疏的问题.文献[119]提出基于隐含狄利克雷的贝叶斯模型,并采用多任务学习方法.实验结果表明,该模型取得了较好的推荐效果.

(7) 隐私保护和安全问题

目前,基于排序学习的推荐算法也面临着严峻的安全问题,由于Web 2.0的开放性和推荐算法需要用户的参与性,推荐系统易受到恶意用户的攻击.Soldo等人[120]分析和探讨了目前基于排序学习的推荐算法所面临的安全共性问题以及可能的应对措施.基于排序学习的推荐算法,大部分研究工作都是以协同过滤推荐算法为推荐框架,同样面临巨大的安全攻击问题.

7 . 结束语

推荐系统作为缓解信息过载问题的有效手段,已经融入我们日常生活几乎各项个性化服务中.将排序学习技术融合进推荐算法中,即,基于排序学习的推荐算法,通过采样对训练集数据整合大量特征并进行参数的自动化调整,构建复杂的用户兴趣偏好模型,进而更新项目排序列表,并最终向用户产生有效的推荐列表.与传统的推荐算法相比,基于排序学习的推荐算法能更有效地反映用户的不同偏好以及提高推荐的准确性.本文在分析传统推荐算法所存在问题的基础上,介绍和分析了基于排序学习的推荐算法的研究现状和进展,并讨论了今后的发展方向,希望能对相关领域的研究人员和工程技术人员提供有益的帮助.

参考文献
[1] George G, Haas MR, Pentland A. Big data and management. Academy of Management Journal, 2014,57(2):321-326.[doi:10. 5465/amj.2014.4002]
[2] Gantz J, Reinsel D. The Digital Universe in 2020:Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East. IDC iView:IDC Analyze the Future, 2012. 1-16.
[3] Xu H, Zhang R, Lin C, Gan W. Construction of E-commerce recommendation system based on semantic annotation of ontology and user preference. TELKOMNIKA Indonesian Journal of Electrical Engineering, 2014,12(3):2028-2035.[doi:10.11591/telkomnika.v12i3.4132]
[4] Gupta Y, Saini A, Saxena AK. A new fuzzy logic based ranking function for efficient information retrieval system. Expert Systems with Applications, 2015,42(3):1223-1234.[doi:10.1016/j.eswa.2014.09.009]
[5] Colombo-Mendoza LO, Valencia-García R, Rodríguez-González A, Samper-Zapaterd JJ. RecomMetz:A context-aware knowledgebased mobile recommender system for movie showtimes. Expert Systems with Applications, 2015,42(3):1202-1222.[doi:10. 1016/j.eswa.2014.09.016]
[6] Gavalas D, Kenteris M. A Web-based pervasive recommendation system for mobile tourist guides. Personal and Ubiquitous Computing, 2011,15(7):759-770.[doi:10.1007/s00779-011-0389-x]
[7] Popescul A, Pennock DM, Lawrence S. Probabilistic models for unified collaborative and content-based recommendation in sparse-data environments. .In:Proc. of the 7th Conf. on Uncertainty in artificial intelligence. San Francisco:Morgan Kaufmann Publishers, 2001. 437-444.
[8] Arora G, Kumar A, Devre GS, Ghumare A. Movie recommendation system based on users' similarity. Int'l Journal of Computer Science and Mobile Computing, 2014,3(4):765-770.
[9] Ekstrand MD, Riedl JT, Konstan JA. Collaborative filtering recommender systems. Foundations and Trends in Human-Computer Interaction, 2011,4(2):81-173.[doi:10.1561/1100000009]
[10] Linden G, Smith B, York J. Amazon.com recommendations:Item-to-Item collaborative filtering. IEEE Internet Computing, 2003, 7(1):76-80.[doi:10.1109/MIC.2003.1167344]
[11] Cai Y, Leung H, Li Q, Min H, Tang J, Li H. Typicality-Based collaborative filtering recommendation. IEEE Trans. on Knowledge and Data Engineering, 2014,26(3):766-779.[doi:10.1109/TKDE.2013.7]
[12] Burke R. Hybrid recommender systems:Survey and experiments. User Modeling and User-Adapted Interaction, 2002,12(4):331-370.[doi:10.1023/A:1021240730564]
[13] Kagita VR, Pujari AK, Padmanabhan V. Virtual user approach for group recommender systems using precedence relations. Information Sciences, 2015,294:15-30.[doi:10.1016/j.ins.2014.08.072]
[14] Chen W, Niu Z, Zhao X, Li Y. A hybrid recommendation algorithm adapted in e-learning environments. World Wide Web, 2014, 17(2):271-284.[doi:10.1007/s11280-012-0187-z]
[15] Pessiot JF, Truong V, Usunier N, Amini M, Gallinari P. Learning to rank for collaborative filtering. In:Proc. of the Int'l Conf. on Enterprise Information Systems. New York:ACM Press, 2007. 145-151.
[16] Karatzoglou A, Baltrunas L, Shi Y. Learning to rank for recommender systems. In:Proc. of the 7th ACM Conf. on Recommender Systems. ACM Press, 2013. 493-494.[doi:10.1145/2507157.2508063]
[17] Li H. Learning to Rank for Information Retrieval and Natural Language Processing. 2nd ed., Toronto:Synthesis Lectures on Human Language Technologies, 2014. 1-121.[doi:10.2200/S00348ED1V01Y201104HLT012]
[18] Cao Z, Qin T, Liu TY. Learning to rank:From pairwise approach to listwise approach. In:Proc. of the 24th Int'l Conf. on Machine Learning. New York:ACM Press, 2007. 129-136.[doi:10.1145/1273496.1273513]
[19] Hang LI. A short introduction to learning to rank. IEICE Trans. on Information and Systems, 2011,94(10):1854-1862.[doi:10.1587/transinf.E94.D.1854]
[20] Xu J, Liu TY, Lu M. Directly optimizing evaluation measures in learning to rank. In:Proc. of the 31st Annual Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. New York:ACM Press, 2008. 107-114.[doi:10.1145/1390334. 1390355]
[21] Kang C, Yin D, Zhang R, Torzec N, He J, Chang Y. Learning to rank related entities in Web search. Neurocomputing, 2015,166:309-318.[doi:10.1016/j.neucom.2015.04.004]
[22] Weimer M, Karatzoglou A, Le QV, Smola A. Cofirank maximum margin matrix factorization for collaborative ranking In:Proc. of the 21th Int'l Conf. on Neural Information Processing Systems. Berlin, Heidelberg:Springer-Verlag, 2007. 1-8.
[23] Sharma A, Yan B. Pairwise learning in recommendation:Experiments with community recommendation on linkedin. In:Proc. of the 7th ACM Conf. on Recommender Systems. New York:ACM Press, 2013. 193-200.[doi:10.1145/2507157.2507175]
[24] Shi Y, Larson M, Hanjalic A. List-Wise learning to rank with matrix factorization for collaborative filtering. In:Proc. of the 4th ACM Conf. on Recommender Systems. New York:ACM Press, 2010. 269-272.[doi:10.1145/1864708.1864764]
[25] Shi Y, Karatzoglou A, Baltrunas L, Larson M. Climf:Learning to maximize reciprocal rank with collaborative less-is-more filtering. In:Proc. of the 6th ACM Conf. on Recommender Systems. New York:ACM Press, 2012. 139-146.[doi:10.1145/2365952.2365981]
[26] Shi Y, Karatzoglou A, Baltrunas L, Larson M, Hanjalic A. xCLiMF:Optimizing expected reciprocal rank for data with multiple levels of relevance. In:Proc. of the7th ACM Conf. on Recommender Systems. New York:ACM Press, 2013. 431-434.[doi:10. 1145/2507157.2507227]
[27] Canuto SD, Belém FM, Almeida JM, Marcos A. A comparative study of learning-to-rank techniques for tag recommendation. Journal of Information and Data Management, 2013,4(3):453-462.
[28] Lv Y, Moon T, Kolari P, Zheng ZH, Wang XH, Chang Y. Learning to model relatedness for news recommendation. In:Proc. of the 20th Int'l Conf. on World Wide Web. New York:ACM Press, 2011. 57-66.[doi:10.1145/1963405.1963417]
[29] Yao W, He J, Huang G, Zhang Y. SoRank:Incorporating social information into learning to rank models for recommendation. In:Proc. of the Companion Publication of the 23rd Int'l Conf. on World Wide Web Companion. New York:ACM Press, 2014. 409-410.[doi:10.1145/2567948.2577333]
[30] Yao W, He J, Wang H, Zhang YC, Cao J. Collaborative topic ranking:Leveraging item meta-data for sparsity reduction. In:Proc. of the 29th AAAI Conf. on Artificial Intelligence. 2015. 374-380.
[31] Zhou SL, Xu JG. Learning to rank algorithm for microblogs based on analysis features and dynamic stepsize. Ruan Jian Xue Bao/Journal of Software, 2013,24:150-161(in Chinese with English abstract).http://www.jos.org.cn/1000-9825/13033.htm
[32] Hong L, Doumith AS, Davison BD. Co-Factorization machines:Modeling user interests and predicting individual decisions in Twitter. In:Proc. of the 6th ACM Int'l Conf. on Web Search and Data Mining. New York:ACM Press, 2013. 557-566.[doi:10. 1145/2433396.2433467]
[33] Liu NN, Yang Q. Eigenrank:A ranking-oriented approach to collaborative filtering. In:Proc. of the 31st Annual Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. ACM Press, 2008. 83-90.[doi:10.1145/1390334.1390351]
[34] Zhao XW, Guo Y, He Y, Jiang H, Wu YX, Li XM. We know what you want to buy:A demographic-based system for product recommendation on microblogs. In:Proc. of the 20th ACM SIGKDD Int'l Conf. on Knowledge Discovery and Data Mining. New York:ACM Press, 2014. 1935-1944.[doi:10.1145/2623330.2623351]
[35] Wu H, Hu Y, Li H, Chen EH. A new approach to query segmentation for relevance ranking in Web search. Information Retrieval Journal, 2015,18(1):26-50.[doi:10.1007/s10791-014-9246-7]
[36] Chen T, Tang L, Liu Q, Yang DY, Xie SN, Cao XZ, Wu CY, Yao EP, Liu ZY, Jiang ZS, Chen C, Kong WH, Yu Y. Combining factorization model and additive forest for collaborative followee recommendation. In:Proc. of the KDD-Cup Workshop. 2012.
[37] Yu J, Tao D, Wang M, Rui Y. Learning to rank using user clicks and visual features for image retrieval. IEEE Trans. on Cybernetics, 2015,45(4):767-779.[doi:10.1109/TCYB.2014.2336697]
[38] Ding YX, Yan ZQ, Feng W, Xu CL, Zhou D. Rank learning based on supervised topic model. Acta Electronica Sinica, 2015,43(2):333-337(in Chinese with English abstract).[doi:10.3969/j.issn.0372-2112.2015.02.019]
[39] Su X, Khoshgoftaar TM. A survey of collaborative filtering techniques. In:Proc. of the Advances in artificial intelligence 2009. 2009. 4.[doi:10.1155/2009/421425]
[40] Adomavicius G, Tuzhilin A. Toward the next generation of recommender systems:A survey of the state-of-the-art and possible extensions. IEEE Trans. on Knowledge and Data Engineering, 2005,17(6):734-749.[doi:10.1109/TKDE.2005.99]
[41] Pazzani MJ, Billsus D. Content-Based recommendation systems. In:Proc. of the Adaptive Web. Berlin, Heidelberg:Springer- Verlag, 2007. 325-341.[doi:10.1007/978-3-540-72079-9_10]
[42] Baltrunas L, Ricci F. Experimental evaluation of context-dependent collaborative filtering using item splitting. User Modeling and User-Adapted Interaction, 2014,24(1-2):7-34.[doi:10.1007/s11257-012-9137-9]
[43] Klašnja-Milićević A, Vesin B, Ivanović M, Budimac Z. E-Learning personalization based on hybrid recommendation strategy and learning style identification. Computers & Education, 2011,56(3):885-899.[doi:10.1016/j.compedu.2010.11.001]
[44] Wen H, Fang L, Guan L. A hybrid approach for personalized recommendation of news on the Web. Expert Systems with Applications, 2012,39(5):5806-5814.[doi:10.1016/j.eswa.2011.11.087]
[45] Nguyen TTS, Lu HY, Lu J. Web-Page recommendation based on Web usage and domain knowledge. IEEE Trans. on Knowledge and Data Engineering, 2014,26(10):2574-2587.[doi:10.1109/TKDE.2013.78]
[46] Blanco-Fernández Y, Pazos-Arias JJ, Gil-Solla A, Ramos-Cabrer M, Lopez-Nores M, Garcia-Duque J, Fernandez-Vilas A, Diaz- Redondo RP, Bermejo-Munoz J. A flexible semantic inference methodology to reason about user preferences in knowledge-based recommender systems. Knowledge-Based Systems, 2008,21(4):305-320.[doi:10.1016/j.knosys.2007.07.004]
[47] Movahedian H, Khayyambashi MR. A semantic recommender system based on frequent tag pattern. Intelligent Data Analysis, 2015, 19(1):109-126.[doi:10.3233/IDA-140699]
[48] Salton G, Fox EA, Wu H. Extended Boolean information retrieval. Communications of the ACM, 1983,26(11):1022-1036.[doi:10.1145/182.358466]
[49] Berry MW, Drmac Z, Jessup ER. Matrices, vector spaces, and information retrieval. SIAM Review, 1999,41(2):335-362.[doi:10.1137/S0036144598347035]
[50] Blei DM. Probabilistic topic models. Communications of the ACM, 2012,55(4):77-84.[doi:10.1145/2133806.2133826]
[51] Zhai C, Lafferty J. A study of smoothing methods for language models applied to information retrieval. ACM Trans. on Information Systems (TOIS), 2004,22(2):179-214.[doi:10.1145/984321.984322]
[52] Campos R, Dias G, Jorge AM, Jatowt A. Survey of temporal information retrieval and related applications. ACM Computing Surveys (CSUR), 2014,47(2):15.[doi:10.1145/2619088]
[53] Shaw B, Shea J, Sinha S, Hogue A. Learning to rank for spatiotemporal search. In:Proc. of the 6th ACM Int'l Conf. on Web Search and Data Mining. New York:ACM Press, 2013. 717-726.[doi:10.1145/2433396.2433485]
[54] Fuhr N. Optimum polynomial retrieval functions based on the probability ranking principle. ACM Trans. on Information Systems (TOIS), 1989,7(3):183-204.[doi:10.1145/65943.65944]
[55] Cao Y, Xu J, Liu TY, Li H, Huang YL, Hon HW. Adapting ranking SVM to document retrieval. In:Proc. of the 29th Annual Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. New York:ACM Press, 2006. 186-193.[doi:10.1145/1148170.1148205]
[56] Cao H, Verma R, Nenkova A. Speaker-Sensitive emotion recognition via ranking:Studies on acted and spontaneous speech. Computer Speech & Language, 2015,29(1):186-202.[doi:10.1016/j.csl.2014.01.003]
[57] Song Y, Wang H, He X. Adapting deep ranknet for personalized search. In:Proc. of the 7th ACM Int'l Conf. on Web Search and Data Mining. New York:ACM Press, 2014. 83-92.[doi:10.1145/2556195.2556234]
[58] Freund Y, Iyer R, Schapire RE, Singer Y. An efficient boosting algorithm for combining preferences. The Journal of Machine Learning Research, 2003,4:933-969.
[59] Miao Z, Wang J, Zhou A, Tang K. Regularized boost for semi-supervised ranking. In:Proc. of the 18th Asia Pacific Symp. on Intelligent and Evolutionary Systems. Berlin, Heidelberg:Springer-Verlag, 2015. 643-651.[doi:10.1007/978-3-319-13359-1_49]
[60] Liu TY. Learning to rank for information retrieval. Foundations and Trends in Information Retrieval, 2009,3(3):225-331.
[61] Hüllermeier E, Fürnkranz J, Cheng W, Brinker K. Label ranking by learning pairwise preferences. Artificial Intelligence, 2008, 172(16):1897-1916.[doi:10.1016/j.artint.2008.08.002]
[62] Hofmann K, Whiteson S, de Rijke M. Balancing exploration and exploitation in listwise and pairwise online learning to rank for information retrieval. Information Retrieval, 2013,16(1):63-90.[doi:10.1007/s10791-012-9197-9]
[63] Xia F, Liu TY, Wang J, Li H. Listwise approach to learning to rank:Theory and algorithm. In:Proc. of the 25th Int'l Conf. on Machine Learning. New York:ACM Press, 2008. 1192-1199.[doi:10.1145/1390156.1390306]
[64] Xie B, Tang X, Tang F. Hybrid recommendation base on learning to rank. In:Proc. of the 20159th Int'l Conf. on Innovative Mobile and Internet Services in Ubiquitous Computing (IMIS). IEEE, 2015. 53-57.[doi:10.1109/IMIS.2015.13]
[65] Koren Y, Bell R, Volinsky C. Matrix factorization techniques for recommender systems. Computer, 2009,42(8):30-37.[doi:10.1109/MC.2009.263]
[66] Sotiras A, Resnick SM, Davatzikos C. Finding imaging patterns of structural covariance via non-negative matrix factorization. NeuroImage, 2015,108:1-16.[doi:10.1016/j.neuroimage.2014.11.045]
[67] Bach F. Adaptivity of averaged stochastic gradient descent to local strong convexity for logistic regression. The Journal of Machine Learning Research, 2014,15(1):595-627.
[68] Koren Y, Sill J. OrdRec:An ordinal model for predicting personalized item rating distributions. In:Proc. of the 5th ACM Conf. on Recommender Systems. New York:ACM Press, 2011. 117-124.
[69] Yin J, Wang ZS, Li Q, Su WJ. Personalized recommendation based on large-scale implicit feedback. Ruan Jian Xue Bao/Journal of Software, 2014,25(9):1953-1966(in Chinese with English abstract).http://www.jos.org.cn/1000-9825/4648.htm[doi:10.13328/j. cnki.jos.004648]
[70] Sun JK. Research and implementation of ranking based personalized recommender algorithms[M.S. Thesis]. Ji'nan:Shandong University, 2014(in Chinese with English abstract).
[71] Croux C, Dehon C. Influence functions of the Spearman and Kendall correlation measures. Statistical Methods & Applications, 2010, 19(4):497-515.[doi:10.1007/s10260-010-0142-z]
[72] Puth MT, Neuhäuser M, Ruxton GD. Effective use of Spearman's and Kendall's correlation coefficients for association between two measured traits. Animal Behaviour, 2015,102:77-84.[doi:10.1016/j.anbehav.2015.01.010]
[73] Rendle S, Freudenthaler C, Gantner Z, Schmidt-Thieme L. BPR:Bayesian personalized ranking from implicit feedback. In:Proc. of the 25th Conf. on Uncertainty in Artificial Intelligence. Oregon:AUAI, 2009. 452-461.
[74] Pan W, Chen L. Cofiset:Collaborative filtering via learning pairwise preferences over item-sets. In:Proc. of the SIAM Int'l Conf. on Data Mining. Philadelphia:SAIM, 2013. 180-188.
[75] Takács G, Tikk D. Alternating least squares for personalized ranking. In:Proc. of the 6th ACM Conf. on Recommender Systems. New York:ACM Press, 2012. 83-90.[doi:10.1145/2365952.2365972]
[76] Yang SH, Long B, Smola AJ, Zha HY, Zheng ZH. Collaborative competitive filtering:learning recommender using context of user choice. In:Proc. of the 34th Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. New York:ACM Press, 2011. 295-304.[doi:10.1145/2009916.2009959]
[77] Liu J, Wu C, Xiong Y, Liu WY. List-Wise probabilistic matrix factorization for recommendation. Information Sciences, 2014,278:434-447.[doi:10.1016/j.ins.2014.03.063]
[78] Ceberio J, Mendiburu A, Lozano J. The Plackett-Luce ranking model on permutation-based optimization problems. In:Proc. of the 2013 IEEE Congress on Evolutionary Computation (CEC). IEEE, 2013. 494-501.[doi:10.1109/CEC.2013.6557609]
[79] Le QV, Smola AJ. Direct optimization of ranking measures. Technical Report, NICTA, Canberra, Australia, 2007.
[80] Ronkin LI. Jessen theorems for holomorphic, almost-periodic functions in tubular domains. Siberian Mathematical Journal, 1987, 28(3):510-514.[doi:10.1007/BF00969587]
[81] Shi Y, Karatzoglou A, Baltrunas L, Larson M, Hanjalic A, Oliver N. TFMAP:Optimizing MAP for top-n context-aware recommendation. In:Proc. of the 35th Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. New York:ACM Press, 2012. 155-164.[doi:10.1145/2348283.2348308]
[82] Johnson R, Zhang T. Learning nonlinear functions using regularized greedy forest. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2014,36(5):942-954.[doi:10.1109/TPAMI.2013.159]
[83] Donmez P, Svore KM, Burges CJC. On the local optimality of LambdaRank. In:Proc. of the 32nd Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. New York:ACM Press, 2009. 460-467.[doi:10.1145/1571941.1572021]
[84] Xiang L. Recommender System Practice. Beijing:Posts and Telecom Press, 2012. 40-55(in Chinese).
[85] Burges C, Shaked T, Renshaw E, Lazier A, Deeds M, Hamilton N, Hullender G. Learning to rank using gradient descent. In:Proc. of the 22nd Int'l Conf. on Machine Learning. ACM Press, 2005. 89-96.[doi:10.1145/1102351.1102363]
[86] Järvelin K, Kekäläinen J. Cumulated gain-based evaluation of IR techniques. ACM Trans. on Information Systems (TOIS), 2002, 20(4):422-446.[doi:10.1145/582415.582418]
[87] Meng XW, Liu SD, Zhang YJ, Hu X. Research on social recommender systems. Ruan Jian Xue Bao/Journal of Software, 2015,26(6):1356-1372(in Chinese with English abstract).http://www.jos.org.cn/1000-9825/4831.htm[doi:10.13328/j.cnki.jos. 004831]
[88] Duan Y, Jiang L, Qin T, Zhou M, Shum HY. An empirical study on learning to rank of tweets. In:Proc. of the 23rd Int'l Conf. on Computational Linguistics. Berlin, Heidelberg:Springer-Verlag, 2010. 295-303.
[89] Peng ZH, Sun L, Han XP, Shi B. Micro-blog user recommendation using learning to rank. Journal of Chinese Information Processing, 2013,27(4):96-102(in Chinese with English abstract).[doi:10.3969/j.issn.1003-0077.2013.04.015]
[90] Elmongui HG, Mansour R, Morsy H, Khater S, El-Sharkasy A, Ibrahim R. TRUPI:Twitter recommendation based on users' personal Interests. In:Proc. of the Computational Linguistics and Intelligent Text Processing. Springer Int'l Publishing, 2015. 272-284.[doi:10.1007/978-3-319-18117-2_20]
[91] Liu JB. Microblog recommender system based on collaborative filtering and behavior analysis[MS. Thesis]. Nanjing:Nanjing University of Science and Technology, 2014(in Chinese with English abstract).
[92] McFee B, Barrington L, Lanckriet G. Learning content similarity for music recommendation. IEEE Trans. on Audio, Speech, and Language Processing, 2012,20(8):2207-2218.[doi:10.1109/TASL.2012.2199109]
[93] Zhao X, Li G, Wang M, Yuan J, Zha ZJ, Li ZJ, Chua TS. Integrating rich information for video recommendation with multi-task rank aggregation. In:Proc. of the 19th ACM Int'l Conf. on Multimedia. New York:ACM Press, 2011. 1521-1524.[doi:10. 1145/2072298.2072055]
[94] Wu L, Yang L, Yu N, Hua XS. Learning to tag. In:Proc. of the 18th Int'l Conf. on World Wide Web. New York:ACM Press, 2009. 361-370.[doi:10.1145/1526709.1526758]
[95] Rendle S, Schmidt-Thieme L. Pairwise interaction tensor factorization for personalized tag recommendation. In:Proc. of the 3rd ACM Int'l Conf. on Web Search and Data Mining. New York:ACM Press, 2010. 81-90.[doi:10.1145/1718487.1718498]
[96] Zhou YM. Label ranking methods based on Gaussian mixture model[MS. Thesis]. Hangzhou:Zhejiang University, 2014(in Chinese).
[97] Li C, Feng S, Shang W. Research on personalized recommendation algorithm for internet user to browse news. In:Proc. of the 2015 Int'l Conf. on Automation, Mechanical Control and Computational Engineering. Atlantis Press, 2015.
[98] Lu Z, Dou Z, Lian J, Xie X, Yang Q. Content-Based collaborative filtering for news topic recommendation. In:Proc. of the 29th AAAI Conf. on Artificial Intelligence. 2015.
[99] De Francisci Morales G, Gionis A, Lucchese C. From chatter to headlines:harnessing the real-time Web for personalized news recommendation. In:Proc. of the 5th ACM Int'l Conf. on Web Search and Data Mining. New York:ACM Press, 2012. 153-162.[doi:10.1145/2124295.2124315]
[100] Das M, De Francisci Morales G, Gionis A, Weber I. Learning to question:Leveraging user preferences for shopping advice. In:Proc. of the 19th ACM SIGKDD Int'l Conf. on Knowledge Discovery and Data Mining. New York:ACM Press, 2013. 203-211.[doi:10.1145/2487575.2487653]
[101] Liu S, Feng J, Song Z, Zhang TZ. Hi, magic closet, tell me what to wear! In:Proc. of the 20th ACM Int'l Conf. on Multimedia. New York:ACM Press, 2012. 619-628.[doi:10.1145/2393347.2393433]
[102] Meng XW, Hu X, Wang LC, Zhang YJ. Mobile recommender systems and their applications. Ruan Jian Xue Bao/Journal of Software, 2013,24(1):91-108(in Chinese with English abstract).http://www.jos.org.cn/1000-9825/4292.htm[doi:10.3724/SP.J. 1001.2013.04292]
[103] Zheng VW, Zheng Y, Xie X, Qiang Y. Towards mobile intelligence:Learning from GPS history data for collaborative recommendation. Artificial Intelligence, 2012,184:17-37.[doi:10.1016/j.artint.2012.02.002]
[104] Glover F, Ye T, Punnen AP, Kochenberger G. Integrating tabu search and VLSN search to develop enhanced algorithms:A case study using bipartite Boolean quadratic programs. European Journal of Operational Research, 2015,241(3):697-707.[doi:10.1016/j.ejor.2014.09.036]
[105] Zhuang J, Mei T, Hoi SCH, Xy YQ, Li SP. When recommendation meets mobile:Contextual and personalized recommendation on the go. In:Proc. of the 13th Int'l Conf. on Ubiquitous Computing. New York:ACM Press, 2011. 153-162.[doi:10.1145/2030112. 2030134]
[106] Jiang K. Geo-Referenced social media mining and its application[Ph.D. Thesis]. Hefei:University of Science and Technology of China, 2014(in Chinese).
[107] Lian DF. Data mining on location-based social networks[Ph.D. Thesis]. Hefei:University of Science and Technology of China, 2014(in Chinese).
[108] Wang L, Lin J, Metzler D. Learning to efficiently rank. In:Proc. of the 33rd Int'l ACM SIGIR Conf. on Research and Development in Information Retrieval. New York:ACM Press, 2010. 138-145.[doi:10.1145/1835449.1835475]
[109] Han P, Xie B, Yang F, Shen R. A scalable P2P recommender system based on distributed collaborative filtering. Expert Systems with Applications, 2004,27(2):203-210.[doi:10.1016/j.eswa.2004.01.003]
[110] Abbas A, Bilal K, Zhang L, Khan SU. A cloud based health insurance plan recommendation system:A user centered approach. Future Generation Computer Systems, 2015,43:99-109.
[111] Ueda N, Nakano R. Generalization error of ensemble estimators. In:Proc. of IEEE Int'l Conf. on Neural Networks. New York:IEEE, 1996. 90-95.[doi:10.1109/ICNN.1996.548872]
[112] Zhang T, Iyengar VS. Recommender systems using linear classifiers. The Journal of Machine Learning Research, 2002,2:313-334.[doi:10.1162/153244302760200641]
[113] Li L, Zheng L, Yang F, Li T. Modeling and broadening temporal user interest in personalized news recommendation. Expert Systems with Applications, 2014,41(7):3168-3177.[doi:10.1016/j.eswa.2013.11.020]
[114] Pfeiffer J, Scholz M. A low-effort recommendation system with high accuracy. Business & Information Systems Engineering, 2013, 5(6):397-408.[doi:10.1007/s12599-013-0295-z]
[115] Cena F, Console L, Gena C, Goy A, Levi G, Modeo S, Torre I. Integrating heterogeneous adaptation techniques to build a flexible and usable mobile tourist guide. AI Communications, 2006,19(4):369-384.
[116] Zhang ML. Research on multi-task learning. Sciencepaper Online, 2011(in Chinese).
[117] Caruana R. Multitask learning. Machine Learning, 1997,28(1):41-75.[doi:10.1023/A:1007379606734]
[118] Phuong ND, Phuong TM. Collaborative filtering by multi-task learning. In:Proc. of the IEEE Int'l Conf. on Research, Innovation and Vision for the Future (RIVF 2008). IEEE, 2008. 227-232.[doi:10.1109/RIVF.2008.4586360]
[119] Tan S, Bu J, Qin X, Chen C, Cai D. Cross domain recommendation based on multi-type media fusion. Neurocomputing, 2014,127:124-134.[doi:10.1016/j.neucom.2013.08.034]
[120] Soldo F, Le A, Markopoulou A. Blacklisting recommendation system:Using spatio-temporal patterns to predict future attacks. IEEE Journal on Selected Areas in Communications, 2011,29(7):1423-1437.[doi:10.1109/JSAC.2011.110808]
[121] Gao Y, Shen J, Chen C, Liu CY, Ye JF. A rank-based prediction algorithm of learning the intention of the query. In:Proc. of the CCIR 2009. 2009(in Chinese with English abstract).
[122] Wang YZ, Jin XL, Cheng XQ. Network big data:Present and future. Chinese Journal of Computer 2013,36(6):1125-1138(in Chinese with English abstract).[doi:10.3724/SP.J.1016.2013.01125]
[123] Li JZ, Yang W, Xia JW, Ceng XY, Sun LY. Learning to rank method based on Hooke & Jeeves Pattern Search. Computer Engineering, 2015,41(7):215-218(in Chinese with English abstract).[doi:10.3969/j.issn.1000-3428.2015.07.041]
[124] Ying Y, Liu YJ, Chen C. Personalization recommender system based on cloud-computing technology. Computer Engineering and Applications, 2015,51(13):111-117(in Chinese with English abstract).[doi:10.3778/j.issn.1002-8331.1409-0134]
[125] Huang W, Ceng SR. A novel computer-aided diagnosis method for disease severity prediction based on image information and ranking learning techniques. Journal of Nanchang Institute of Technology, 2015,34(3):33-37(in Chinese with English abstract).
[126] Chen K, Zou Q, Peng ZP, Ke WD. Collaborative ranking friend recommendation algorithm in heterogeneous social network. Journal of Chinese Computer Systems, 2014,35(6):1270-1274(in Chinese with English abstract).
[127] Hawalah A, Fasli M. Dynamic user profiles for web personalisation. Expert Systems with Applications, 2015,42(5):2547-2569.[doi:10.1016/j.eswa.2014.10.032]
[128] Bobadilla J, Ortega F, Hernando A, Gutierrez A. Recommender systems survey. Knowledge-Based Systems, 2013,46:109-132.[doi:10.1016/j.knosys.2013.03.012]
[129] Tejeda-Lorente Á, Porcel C, Peis E, Sanz R, Herrera-Viedma E. A quality based recommender system to disseminate information in a university digital library. Information Sciences, 2014,261:52-69.[doi:10.1016/j.ins.2013.10.036]
[130] Lee S, Park S, Kahng M, Lee SG. Pathrank:Ranking nodes on a heterogeneous graph for flexible hybrid recommender systems. Expert Systems with Applications, 2013,40(2):684-697.[doi:10.1016/j.eswa.2012.08.004]
[131] 周诗龙,徐俊刚.基于分析特征与动态步长的微博排序学习算法.软件学报,2013,24:150-161.http://www.jos.org.cn/1000- 9825/13033.htm
[132] 丁宇新,燕泽权,冯威,薛成龙,周迪.基于有监督主题模型的排序学习算法.电子学报,2015,43(2):333-337.[doi:10.3969/j.issn. 0372-2112.2015.02.019]
[133] 印鉴,王智圣,李琪,苏伟杰.基于大规模隐式反馈的个性化推荐.软件学报,2014,25(9):1953-1966.http://www.jos.org.cn/1000- 9825/4648.htm[doi:10.13328/j.cnki.jos.004648]
[134] 孙建凯.面向排序的个性化推荐算法研究与实现[硕士学位论文].济南:山东大学,2014.
[135] 项亮.推荐系统实践.第1版.北京:人民邮电出版社,2012.40-55.
[136] 孟祥武,刘树栋,张玉洁,胡勋.社会化推荐系统研究.软件学报,2015,26(6):1356-1372.http://www.jos.org.cn/1000-9825/4831.htm[doi:10.13328/j.cnki.jos.004831]
[137] 彭泽环,孙乐,韩先培,石贝.基于排序学习的微博用户推荐.中文信息学报,2013,27(4):96-102.[doi:10.3969/j.issn.1003-0077. 2013.04.015]
[138] 刘剑波.基于协同过滤和行为分析的微博推荐系统[硕士学位论文].南京:南京理工大学,2014.
[139] 周扬名.基于高斯混合模型的标签排序算法研究[硕士学位论文].杭州:浙江大学,2014.
[140] 孟祥武,胡勋,王立才,张玉洁.移动推荐系统及其应用.软件学报,2013,24(1):91-108.http://www.jos.org.cn/1000-9825/4292.htm[doi:10.3724/SP.J.1001.2013.04292]
[141] 蒋锴.含地理位置信息的社交媒体挖掘及应用[博士学位论文].合肥:中国科学技术大学,2014.
[142] 连德富.基于位置社交网络的数据挖掘[博士学位论文].合肥:中国科学技术大学,2014.
[143] 张敏灵.多任务学习的研究.中国科技论文在线,2011.
[144] 高莺,沈洁,陈沧,刘春阳,叶君峰.一种基于排序学习的查询意图预测算法.见:第5届全国信息检索学术会议论文集.2009.
[145] 王元卓,靳小龙,程学旗.网络大数据:现状与展望.计算机学报,2013,36(6):1125-1138.[doi:10.3724/SP.J.1016.2013.01125]
[146] 李金忠,杨威,夏洁武,曾小荟,孙凌宇.基于Hooke & Jeeves模式搜索的排序学习方法.计算机工程,2015,41(7):215-218.[doi:10. 3969/j.issn.1000-3428.2015.07.041]
[147] 应毅,刘亚军,陈诚.基于云计算技术的个性化推荐系统.计算机工程与应用,2015,51(13):111-117.[doi:10.3778/j.issn.1002-8331. 1409-0134]
[148] 黄伟,曾舒如.基于图像信息和排序学习技术的疾病预测方法.南昌工程学院学报,2015,34(3):33-37.