主页期刊介绍编委会编辑部服务介绍道德声明在线审稿编委办公English
2022年专刊出版计划 微信服务介绍 最新一期:2021年第2期
     
在线出版
各期目录
纸质出版
分辑系列
论文检索
论文排行
综述文章
专刊文章
美文分享
各期封面
E-mail Alerts
RSS
旧版入口
中国科学院软件研究所
  
投稿指南 问题解答 下载区 收费标准 在线投稿
张文涛,苑斌,张智鹏,崔斌.图嵌入算法的分布式优化与实现.软件学报,2021,32(3):17-0
图嵌入算法的分布式优化与实现
Distributed Optimization and Implementation of Graph Embedding Algorithms
投稿时间:2020-08-23  修订日期:2020-11-06
DOI:10.13328/j.cnki.jos.006186
中文关键词:  图数据  分布式机器学习  图嵌入  网络优化
英文关键词:Graphs  Distributed Machine Learning  Graph Embedding  Network Optimization
基金项目:国家自然科学基金(61832001,61702015,61702016);国家重点研发计划(2018YFB1004403);北京大学-腾讯协同创新实验室项目
作者单位E-mail
张文涛 北京大学 计算机系 高可信软件技术教育部重点实验室, 北京 100871  
苑斌 北京大学 计算机系 高可信软件技术教育部重点实验室, 北京 100871  
张智鹏 北京大学 计算机系 高可信软件技术教育部重点实验室, 北京 100871  
崔斌 北京大学 计算机系 高可信软件技术教育部重点实验室, 北京 100871 bin.cui@pku.edu.cn 
摘要点击次数: 148
全文下载次数: 113
中文摘要:
      随着人工智能时代的到来,图嵌入技术被越来越多的用来挖掘图中的信息.然而,现实生活中的图通常很大,因此分布式图嵌入技术得到了广泛的关注,分布式图嵌入算法面临着两大难点:(1)图嵌入算法多种多样,没有一个通用的框架能够描述大部分的算法;(2)现在的分布式图嵌入算法扩展性不足,当处理大图时性能较低,针对以上两个挑战,本文首先提出一个通用的分布式图嵌入框架,具体地,本文将图嵌入算法中的采样流程和训练流程进行解耦,使得框架能够较好的表达多种不同的算法;其次,本文提出了一种基于参数服务器的模型切分嵌入策略,具体地,本文将模型分别切分到计算节点和参数服务器上,同时使用数据洗牌的操作保证计算节点之间没有模型交互,从而大大减少了分布式计算中的通信开销,笔者基于参数服务器实现了一个原型系统,并且用充分的实验证明了在不损失精度的前提下,基于模型切分的策略能够比基线系统取得更好的性能.
英文摘要:
      With the advent of artificial intelligence, graph embedding techniques are more and more used to mine the information from graphs. However, graphs in real world are usually large and we need distributed graph em-bedding. There are two main challenges in distributed graph embedding:(1) there exist many graph embedding methods and there is not a general framework for most of the embedding algorithms; (2) Existing distributed implementations of graph embedding suffer from poor scalability and perform bad on large graphs. To tackle the above two challenges, we first present a general framework for distributed graph embedding. In detail, we separate the process of sampling and training in graph embedding such that the framework can describe dif-ferent graph embedding methods. Second, we propose a parameter server-based model partitioning strategy---We partition the model to both workers and servers and use shuffling to ensure that there is no model exchange among workers. We implemented a prototype system on parameter server and conducted solid experiments to show that partitioning-based strategy can get better performance than all baseline systems without loss of accuracy.
HTML  下载PDF全文  查看/发表评论  下载PDF阅读器
 

京公网安备 11040202500064号

主办单位:中国科学院软件研究所 中国计算机学会 京ICP备05046678号-4
编辑部电话:+86-10-62562563 E-mail: jos@iscas.ac.cn
Copyright 中国科学院软件研究所《软件学报》版权所有 All Rights Reserved
本刊全文数据库版权所有,未经许可,不得转载,本刊保留追究法律责任的权利