可交换性假设是采用贝叶斯模型对网络数据建模的重要前提,基于Aldous-Hoover表示理论的可交换图不能生成稀疏网络.实证结果表明,真实世界中的很多复杂网络都具有节点度幂律分布的稀疏特征,基于Kallenberg表示理论的可交换图能够同时满足可交换性和稀疏性.以Caron-Fox模型和Graphex模型为例,对稀疏可交换图建模的相关概念、理论和方法的研究发展进行了综述.首先讨论了随机图、贝叶斯非参数混合模型、可交换表示理论、Poisson点过程、离散非参数先验等理论的研究历程;然后介绍了Caron-Fox模型的表示;进而总结了进行稀疏可交换图的随机模拟所涉及的截断采样和边缘化采样方法;接下来综述了稀疏可交换图模型的后验推理技术;最后对稀疏可交换图建模的最新进展和研究前景做了介绍.
Exchangeability is a key to model network data with Bayesian model. The Aldous-Hoover representation theorem based exchangeable graph model can't generate sparse network, while empirical studies of networks indicate that many real-world complex networks have a power-law degree distribution. Kallenberg representation theorem based exchangeable graph model can admit power-law behavior while retaining desirable exchangeability. This article offers an overview of the emerging literature on concept, theory and methods related to the sparse exchangeable graph model with the Caron-Fox model and the Graphex model as examples. First, developments of random graph models, Bayesian non-parametric mixture models, exchangeability representation theorem, Poisson point process, discrete non-parametric prior etc. are discussed. Next, the Caron-Fox model is introduced. Then, simulation of the sparse exchangeable graph model and related methods such as truncated sampler, and marginalized sampler are summarized. In addition, techniques of model posterior inference are viewed. Finally, state-of-the-art and the prospects for development of the sparse exchangeable graph model are demonstrated.
社会学、信息科学与技术、生物学和统计物理学等领域的各种系统中存在大量的关系信息, 例如, 学术论文间的引用关系, 万维网中网页间的超链接关系, 生物细胞系统中蛋白质的物理交互关系, 航空交通网络中城市间航班往来, 社交网络中人和人的交互等.人们常常采用网络对这些复杂系统中的关系信息进行建模, 称为复杂网络.随着移动互联网、普适计算[
贝叶斯模型作为一种重要的统计建模方法因其具有完备的理论基础和可解释性, 已经被广泛用于对网络数据进行建模和预测.可交换性假设是采用贝叶斯模型对网络数据进行建模的重要前提, 网络数据的可交换性是指节点的出现顺序不影响统计网络模型的定义.de Finetti[
实证结果表明, 真实世界中的很多复杂网络都具有节点度幂律分布的稀疏特征, Barabási提出的PA (preferential attachment)模型[
Caron等人[
本文对稀疏可交换图建模的研究进展进行综述.第1节讨论随机图模型、Graphon模型、Graphex模型、贝叶斯非参数混合模型、可交换性表示理论、泊松点过程、完全随机测度、带独立增量的归一化随机测度、可交换分区概率函数等理论基础.第2节介绍有向多图和带自边的无向图所对应的Caron-Fox模型.第3节总结进行稀疏可交换图模型的随机模拟所涉及的截断采样和边缘化采样方法的研究发展, 重点描述通过条件采样构造CRM的Adaptive Thinning算法和通过边缘化采样构建稀疏可交换图的Pólya Ura Scheme方法.第4节对Caron-Fox模型后验推理过程采用的MCMC近似推理算法进行综述, 详细阐述哈密顿MCMC算法, 并对切片采样算法和指数倾斜稳定分布的采样进行说明.第5节对稀疏可交换图建模的最新研究进展和研究前景进行介绍.
随机图是利用观测数据理解复杂网络结构的重要工具, 其基本原理是:观测到的图结构是由一个潜在数据生成过程(即随机图模型)产生的, 从最大似然性思想出发, 在模型空间中寻找使观测数据具有最大出现可能性的模型, 其独特之处在于可以用概率的方法来证明所需要的图的存在性, 而不必把图真实构造出来.
例1.1(ER模型):经典随机图模型由埃尔德什和莱利[
为了更准确地对真实网络进行建模, 随机图模型的一个重要属性就是节点数和边数之间的关系.随机图模型
例1.2(KEG):Kallenberg可交换图
统计网络分析的固定模式是:观测到的网络
例1.3(AHEG模型):Aldous-Hoover可交换图是
对于无限图, Aldous-Hoover表示理论断言:一个随机图具有可交换性当且仅当其分布是定义在特定的一族各态历经测度(ergodic measures)上的一个混合分布, 每一个各态历经测度就是一个graphon, 由此导致的一个必然结果是
随机图模型的一般结构:给定一个Graphon, 必定存在一个对应的具有可数无限可交换性的随机图
相应的随机邻接测度
将一个分布建模成由很多简单分布混合而成, 既是一种有用的非参数密度估计方法, 又是一种对解释变量间依赖关系的潜在类进行识别的重要方法.可以采用以某个先验分布作为混合比例的层次贝叶斯框架来处理由可数无限个成份组成的混合分布, 混合比例有助于找到起决定作用的混合成份.
非参数贝叶斯估计的灵活性能够带来更好的预测性能, 原因在于其学习能力不会饱和, 从而使得预测性能可以随着观测数据的增多而持续提升[
MAP和NPB的对比
Contrast between MAP and NPB
MAP估计 | NPB估计 | |
推理的目标 | 找到使得后验Pr( |
得到后验分布 |
预测机制 | 求 |
求 |
特点 | 1.观测数据是由可重复随机采样得到的一个序列 |
1.数据是对某个采样的观测 |
模型空间中存在大量可选的随机图模型, 然而大部分模型都只能建模出真实网络的一部分特性, 换个角度可能就变成了病态模型, 因此很难评估这些模型的统计可用性.想要找到既易于处理, 又足够灵活(可以较准确地解释真实世界中各种现象)的随机图模型, 就必须做出一定假设, 可交换性假设是非常重要的一种假设, 是指生成模型不依赖于观测样本出现的顺序, 或者说变换节点的标签不会改变图模型的概率分布(即节点的标签不提供图结构的任何信息)[
可交换性是最常见的一种统计不变性(invariant), 也称为概率对称(probability symmetry), 具有统计不变性的分布族, 其结构可以通过各态历经分解(ergodic decomposition)来解释, 或者说采用表示理论来更直观地刻画[
各种表示理论
Overview of representation theorems
离散随机结构 | 连续时间上的随机测度 | |
可交换性 | de Finetti | Bühlmann |
联合(分部)可交换性 | Aldous-Hoover | Kallenberg |
从概率角度来看,
此时, Aldous-Hoover表示理论可以进一步简化为:无向图是可交换的, 当且仅当存在一个参数对称的随机函数
Caron等人建立了随机图和对称点过程的对应关系:将随机图中的节点看作任意实数
随机图的点过程表示
Point process representation of a random graph
这里, 区间
采用一个纯原子的简单随机测度来表示简单点过程更便于进行处理, 将点过程的每个点用随机测度中的每个原子来表示, 就得到了随机图的邻接测度(adjacent measure)表示, 即KEG(Kallenberg可交换图).不同于邻接矩阵表示的AHEG, KEG在连续空间取节点, 因此无限图
因为邻接测度是纯原子的, 所有带Lebesgue成分的项必须测度为0, 因此式(1.8)取0, 式(1.7)对应了graphex的
随机变量
常数
定理1.5可以通俗地解释为给定区间内事件的总数量, 事件发生的位置是某种方式的均匀分布.
任何贝叶斯模型都有一个重要的组成部分, 被表示成一个随机可测函数
通过为可测函数指定先验
Kingman[
依据Campbell定理[
为确保定义1.14中的规一化是良定的,
满足(1.11)表明CRM在任意区间[0,
例1.4:GP(伽马过程)的列维强度有如下形式
例1.5:广义伽马过程的列维强度如下形式
NRMI的离散分布特性很自然地引发了对生成数据的划分结构的分析, 事实上, 给定取值于某个度量空间
如将中任意子集
Caron和Fox利用随机测度和随机图间的联系提出了采用可交换随机测度来对网络数据进行建模, 将网络表示成随机点过程而不是邻接矩阵, 基于Kallenberg表示理论, Caron-Fox模型既可以生成稠密可交换网络也可以生成稀疏可交换图.以下介绍Caron和Fox提出的有向多图、带自边的无向图所对应的稀疏可交换图模型[
可数无限多个节点的集合
与每个节点
给定
本质上, PP是随机点集
对有向图
因为Pr(
Caron等人证明了当
GGP的定义在例2.5给出,
稀疏可交换图的生成模型是一个非参数贝叶斯模型, 非参数贝叶斯有无限多个参数, 使得模型的复杂性随着采样尺寸的增大而增大, 由于基于随机模拟的方法需要在有限维参数空间进行采样, 因而需要通过边缘化或者截断方式对无限维参数空间进行采样.Caron等人提出了采用截断方式对GPP进行模拟, 采用边缘化对稀疏可交换图进行模拟[
截断方法也称条件采样方法(conditional sampler), 通过合适的方法采样
NRMI作为先验时, 对应的CRM
输入:强度为
输出:对强度为
算法步骤:
1. 令
2. 迭代一些操作一直到结束
a) 从参数是1的指数分布采样得到
b) 若
c) 以概率
d) 令
3. 返回
Thinning是从一种泊松随机测度进行采样的方法, 分为两步:首先从一个提议分布(一个比目标分布强度更高的泊松随机测度)采样出一些点, 然后以提议分布和目标分布的强度之比作为概率接受或拒绝每个采样[
如
从一个泊松随机测度进行采样时采用的渐进界限[
Asymptotic bounds used in sampling from a Poisson random measure[
随机变量序列{
给定
NRMI作为先验时, 若对应的CRM采用截棍过程表示时, 网络的生成模型为(2.4), 若对应的CRM采用unit-rate poisson表示时, 网络的生成模型为(1.2).以下介绍Caron和Fox提出的对生成模型为(2.4)的稀疏可交换图所进行的模拟[
采用邻接测度表示的随机图是一个无限图(因为
随机变量
由于
边缘化采样(marginal sampler)通过求
稀疏可交换图的生成模型是一个以NRMI作为先验的非参数贝叶斯混合模型, 其后验分布的计算涉及到很复杂的积分, 大多不可能精确计算得到, 需要采用近似计算方法[
无限维先验不允许直接使用基于随机模拟的方法来进行后验分布推理, 因此需要对
这里只讨论对
MH算法的一个主要的局限是它具有随机游走的行为, 而在状态空间中遍历的距离与步骤数量只是平方根的关系, 仅仅通过增加步长的方式是无法解决这个问题的, 因为这会使得拒绝率变高.HMC采样方法弥补了MH算法的缺陷, 可以更有效地对状态空间进行搜索.HMC起源于对哈密顿动力学(Hamiltonian dynamics)下进行变化的物理系统的行为的模拟, 通过将概率仿真转化为哈密顿系统的形式, 利用哈密顿动力学的框架能够让系统状态发生较大的改变, 同时让拒绝概率较低[
哈密顿动力学对应于在连续时刻
不失一般性, 将概率分布Pr(
哈密顿动态系统的一个重要性质是在动态系统的变化过程中, 哈密顿函数
考虑相空间上的联合概率分布, 其总能量是哈密顿函数, 概率分布的形式为
HMC也称混合蒙特卡罗(hybrid Monte Carlo), 是一种对连续分布进行近似的MCMC方法:给定独立观测变量集
蛙跳积分对动量变量的更新形式是半步更新, 步长为
对于一个非零的步长
输入:起始位置
输出:后验分布Pr(
算法步骤:
for
1. 对动量
2. 对离散化的对哈密顿动力系统进行采样
a)
b) for
end
c)
d)
3.进行Metroplis-Hastings修正, 消除离散化带来的误差
a) 计算接受率
b) 从[0, 1]上的均匀分布采样一个
End
与基本的MH方法不同, HMC能够利用到对数概率分布的梯度信息和概率分布本身的信息[
首先对受限CRM
需要注意的是, 规一化的权值
James等人[
特别地,
定理4.2表明, 在边缘采样中, CRM
定理4.3表明一个齐次NRMI
以下介绍Caron和Fox提出的对生成模型为(2.4)的稀疏可交换图所进行的后验推理[
在观测数据是一个无向简单图的情况下, 需要推算未知的有向边数
此处,
综上所述, 当稀疏可交换图是一个有向图时, 后验分布
1.给定
2.给定
3.给定
步骤1:采用HMC对
(1) 首先对辅助动量变量
(2) (
①
②
③
(3) 以概率
步骤2:采用MH算法对
这里,
步骤3:对潜变量
在
指数倾斜稳定分布是严格稳定分布天然的指数族分布, 采用指数倾斜可以在求解贝叶斯估计的近似公式时不涉及似然函数的条件最大值, 求解过程更稳定, 并且显著减少了所需要的计算时间.将严格稳定分布与指数倾斜相结合已经被证明在很多应用(例如, 重要性采样、罕见事件的模拟、保险精算等)中非常有效[
Brix、Rosinski、Ridout、Devroye、Hofert对指数倾斜稳定分布采样算法进行了研究, 针对分布为
Caron等人[
如
Log-Log坐标系下的节点度分布图
Degree distribution on a log-log scale
如
Log-Log坐标系下图中度是1的节点的个数随着节点个数的增加而变化的情况
Number of nodes with degree 1 versus the number of nodes on a log-log scale
如
Log-Log坐标系下图中边的个数随着节点个数的增加而变化的情况
Number of edges versus the number of nodes on a log-log scale
实证结果表明, 当
在随机图模型方面, 通过对经典Graphon的定义进行推广, Borgs等人[
社区结构作为网络模型的重要特征刻画了网络的多种属性和功能, 对人们准确理解复杂系统的特性有十分重要的意义.从社区结构这一中观层面对复杂网络进行研究对人们准确理解复杂系统的特性有十分重要的意义, 既能够弥补宏观层面粒度过粗所造成的很多网络特性无法观察到的缺陷, 又避免了微观层面粒度过细所带来的丢失共性并且计算复杂度高等问题.社区发现作为网络数据分析的重要内容已经得到了学术界的广泛关注和深入研究, Herlau等人[
在稀疏可交换图的动态演化方面, Palla等人[
在近似推理方法方面, 现有的关于稀疏可交换图的研究工作几乎都采用的是MCMC推理方法.相对于随机变分推理(stochastic variational inference, 简称SVI)方法, MCMC方法因为可扩展性和可并行性差从而导致其很难应用于大数据环境下的数据分析, 因此如何采用SVI对稀疏可交换图进行推理是一个非常重要的研究课题. Roychowdhury[
Caron-Fox模型中提出的“节点社交能力”这一概念可以为网络分析提供非常合理的社会学解释——节点间建立边的概率取决于两个节点潜在的社交能力, 并且正是因为具有不同方面的社交能力(或者说不同方面的潜在兴趣), 决定了一个节点可以同时隶属于不同的社区.“节点社交能力”与度纠正的随机块模型(degree- corrected SBM)[
稀疏可交换图模型是对传统可交换稠密图模型的扩展.关于传统可交换稠密图的研究, 从网络建模、网络演化到社区发现、社区演化, 再到链路预测、影响力分析、网络传播等各个方面的研究工作, 都已经历时弥久并且成果丰硕.尽管传统可交换稠密图的先天不足导致其无法再继续成为对真实复杂网络进行数据分析的利器, 但是很多已经被提出的研究问题和研究成果可以在进行稀疏可交换图研究时被广泛继承和发展.
综上所述, Caron等人的开创性工作为复杂网络数据分析带来了新的转机, 稀疏可交换图模型不仅解决了可交换性与稀疏性二者不可兼顾的矛盾, 并且具有很多独特的优良基因.随着对稀疏可交换图模型以及贝叶斯非参数混合模型的深入研究, 必将可以推动复杂网络数据分析, 尤其是网络社区结构动态演化研究工作的进一步发展.
文中关于哈密顿动力学方法和混合蒙特卡罗算法的部分内容引自马毅未公开发表的对文献[39]的翻译手稿, 在此向马毅表示感谢.
Yu ZW, Zhou XS. Relocation and discussion about pervasive computing. Communications of the CCF, 2011, 7(7):49-56(in Chinese).
於志文, 周兴社.普适计算的重定位与探讨.中国计算机学会通讯, 2011, 7(7):49-56.
Yu ZW, Yu ZY, Zhou XS. Socially aware computing. Chinese Journal of Computers, 2012, 35(1):16-26(in Chinese with English abstract).[doi:10.3724/SP.J.1016.2012.0001]
於志文, 於志勇, 周兴社.社会感知计算:概念、问题及其研究进展.计算机学报, 2012, 35(1):16-26.
Freer CE, Roy DM. Computable exchangeable sequences have computable de Finetti measures. In: Ambos-Spies K, Lőwe B, Merkle W, eds. Proc. of the CiE 2009. LNCS 5635, Berlin, Heidelberg: Springer-Verlag, 2009. 218-231.
Aldous DJ. Representations for partially exchangeable arrays of random variables. Journal of Multivariate Analysis, 1981, 11(4):581-598.[doi:10.1016/0047-259X(81)90099-3]
Hoover DN, Keisler HJ. Adapted probability distributions. Trans. of the American Mathematical Society, 1984, 286(1):159-201.[doi:10.1090/S0002-9947-1984-0756035-8]
Kallenberg O. Exchangeable random measures in the plane. Journal of Theoretical Probability, 1990, 3:81-136.[doi:10.1007/BF01063330]
Erdős P, Rényi A. On the evolution of random graphs. Trans. of the American Mathematical Society, 2011, 286(1):257-274.
Airoldi EM, Costa TB, Chan SH. Stochastic blockmodel approximation of a graphon: Theory and consistent estimation. In: Advances in Neural Information Processing Systems, 2013, 26: 692-700.
Airoldi EM, Blei D, Fienberg SE, Xing E. Mixed membership stochastic blockmodels. Journal of Machine Learning Research, 2007, 9(5):1981-2014.
Kemp C, Tenenbaum JB, Griffiths TL, Yamada T, Ueda N. Learning systems of concepts with an infinite relational model. In: Proc. of the National Conf. on Artificial Intelligence. 2006. 381-388.
http://arxiv.org/abs/1512.03099]]>
Orbanz P, Roy DM. Bayesian models of graphs, arrays and other exchangeable random structures. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2015, 37(2):437-461.[doi:10.1109/TPAMI.2014.2334607]
Barabási AR, Albert L. Statistical mechanics of complex networks. Reviews of Modern Physics, 2002, 74(1):47-97.
Herlau T, Schmidt MN, Mørup M. Completely random measures for modelling block-structured sparse networks. In: Advances in Neural Information Processing Systems (NIPS). Barcelona, 2016.
Caron F, Fox E. Sparse graphs using exchangeable random measures. Journal of the Royal Statistical Society B, 2017, 79:1295-1366.
http://arxiv.org/abs/1508.06675]]>
Kingman JFC, Poisson processes. London:Oxford University Press, 1992. 79-98.
Lloyd JR, Orbanz P, Ghahramani Z, Roy DM. Random function priors for exchangeable arrays. Advances in Neural Information Processing Systems (NIPS), 2012, 25(6):1007-1015.
Lijoi A, Prünster I. Models beyond the Dirichlet process. SSRN Electronic Journal, 2009, (23):80-136.[doi:10.2139/ssrn.1526505]
Kingman JFC. Completely random measures. Pacific Journal of Mathematics, 1967, 21(1):59-78.[doi:10.2140/pjm.1967.21.59]
Hougaard P. Survival models for heterogeneous populations derived from stable distributions. Biometrika, 1986, 73(2):387-396.[doi:10.1093/biomet/73.2.387]
Caron F, Teh YW, Murphy TB. Bayesian nonparametric Plackett-Luce models for the analysis of preferences for college degree programmes. The Annals of Applied Statistics, 2014, 8(2):1145-1181.[doi:10.1214/14-AOAS717]
Muliere P, Tardella L. Approximating distributions of random functionals of Ferguson-Dirichlet priors. The Canadian Journal of Statistics, 1998, 26(2):283-297.[doi:10.2307/3315511]
Ishwaran H, Zarepour M. Exact and approximate sum represenations for the Dirichlet process. The Canadian Journal of Statistics, 2002, 30(2):269-283.[doi:10.2307/3315951]
Ishwaran H, James L. Gibbs sampling methods for stick-breaking priors. Journal of the American Statistical Association, 2001, 96(453):161-173.[doi:10.2307/2670356]
Papaspiliopoulos O, Roberts GO. Retrospective Markov chain Monte Carlo methods for Dirichlet process hierarchical models. Biometrika, 2008, 95(1):169-186.
Walker SG. Sampling the Dirichlet mixture model with slices. Communications in Statistics:Simulation and Computation, 2007, 36(1):45-54.[doi:10.2139/ssrn.945330]
Kalli M, Griffin JE, Walker SG. Slice sampling mixture models. Statistics and Computing, 2011, 21(1):93-105.[doi:10.1007/s11222-009-9150-y]
Favaro S, Walker SG. Slice sampling s-stable Poisson-Kingman mixture models. Journal of Computational and Graphical Statistics, 2013, 22(4):830-847.[doi:10.1080/10618600.2012.681211]
Favaro S, Teh YW. MCMC for normalized random measure mixture models. Statistical Science, 2013, 28(3):335-359.[doi:10. 1214/13-STS422]
Lewis PAW, Shedler GS. Simulation of nonhomogeneous Poisson processes by thinning. Naval Research Logistics, 1979, 26(3):403-413.[doi:10.1002/nav.3800260304]
Favaro S, Lijoi A, Nava C, Nipoti B, Prünster I, Teh YW. On the stick-breaking representation for homogeneous NRMIs. Bayesian Analysis, 2016, 11(3):697-724.[doi:10.1214/15-BA964]
http://stat.columbia.edu/~porbanz/reports/OrbanzWilliamson2012.pdf]]>
Ferguson TS, Klass MJ. A representation of independent increment processes without Gaussian components. The Annals of Mathematical Statistics, 1972, 43(5):1634-1643.[doi:10.1214/aoms/1177692395]
Blackwell D, MacQueen JB. Ferguson distributions via Pólya urn schemes. The Annals of Statistics, 1973, 1(2):353-355.
Griffin JE. An adaptive truncation method for inference in Bayesian nonparametric models. Statistics and Computing, 2016, 26(1):423-441.[doi:10.1007/s11222-014-9519-4]
Neal RM. Markov chain sampling methods for dirichlet process mixture models. Journal of Computational and Graphical Statistics, 2000, 9(2):249-265.[doi:10.1111/j.1467-9469.2008.00609.x]
Bishop CM. Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag, 2006. 548-556.
Neal RM. MCMC using Hamiltonian dynamics. In: Brooks S, Gelman A, Jones G, Meng XL, eds. Handbook of Markov Chain Monte Carlo, Vol. 2. Chapman & Hall/CRC Press, 2011. 113-160.
Chen T, Fox EB, Guestrin C. Stochastic gradient Hamiltonian Monte Carlo. In: Proc. of the Int'l Conf. on Machine Learning. 2014. 1683-1691.
James L, Lijoi A, Prünster I. Posterior analysis for normalized random measures with independent increments. Scandinavian Journal of Statistics, 2009, 36(1):76-97.[doi:10.1111/j.1467-9469.2008.00609.x]
Hofert M. Sampling exponentially tilted stable distributions. ACM Trans. on Modeling and Computer Simulation, 2011, 22(1):Article No.3.[doi:10.1145/2043635.2043638]
Kharroubi SA, Sweeting TJ. Exponential tilting in Bayesian asymptotics. Biometrika, 2016, 103(2):337-349.
Hofert M. Sampling Archimedean copulas. Computational Statistics and Data Analysis, 2008, 52(12):5163-5174.[doi:10.1016/j. csda.2008.05.019]
Devroye L. Random variate generation for exponentially and polynomially tilted stable distributions. ACM Trans. on Modeling and Computer Simulation, 2009, 19(4):1-20.[doi:10.1145/1596519.1596523]
http://arxiv.org/abs/1601.07134]]>
Janson S. On edge exchangeable random graphs. Journal of Statistical Physics, 2017, 8:1-37.[doi:10.1007/s10955-017-1832-9]
http://arxiv.org/abs/1411.4070]]>
http://arxiv.org/abs/1602.02114]]>
Zhou MY. Infinite edge partition models for overlapping community detection and link prediction. In: Proc. of the 18th Int'l Conf. on Artificial Intelligence and Statistics (AISTATS). 2015. 1135-1143.
Griffin JE, Leisen F. Compound random measures and their use in Bayesian nonparametrics. Journal of the Royal Statistical Society—Series B, 2017, 79:525-545.[doi:10.1111/rssb.12176].
http://arxiv.org/abs/1607.01624]]>
http://arxiv.org/abs/1512.07075v2]]>
Roychowdhury A, Kulis B. Gamma processes, stick-breaking, and variational inference. In: Proc. of the 18th Int'l Conf. on Artificial Intelligence and Statistics (AISTATS). San Diego, 2015. 800-809.
Tank A, Foti N, Fox EB. Streaming variational inference for Bayesian nonparametric mixture models. In: Proc. of the 18th Int'l Conf. on Artificial Intelligence and Statistics. 2014. 968-976.
Salimans T, Kingma DP, Welling M. Markov chain Monte Carlo and variational inference: Bridging the gap. In: Proc. of the 32nd Int'l Conf. on Machine Learning (ICML). Lille, 2015. 1218-1226.
http://arxiv.org/abs/1609.08203]]>
Karrer B, Newman ME. Stochastic blockmodels and community structure in networks. Physical Review E, 2011, 83(2):96-107.[doi:10.1103/PhysRevE.83.016107]