本站提供免费毕业论文范文，硕士论文范文参考！
发布时间：2019年04月11号，星期四 快速评论
4电子商务个性化推荐实现 根据基于Canopy-FCM聚类改进的协同过滤推荐算法的串行思想以及MapReduce编程模型[120,121]，文中设计的算法在Hadoop分布式软件编程框架下主要分为以下几个阶段进行，分别是数据预处理、基于Canopy-FCM算法构建聚类模型、创建候选项目空间CIS以及基于候选项目空间CIS的协同推荐，实现了MapReduce框架下的分布式计算，具体的过程如图4.1所示。
图4.1基于Canopy-FCM聚类改进的协同过滤推荐算法的MapReduce并行化实现流程图
在用户-项目评分矩阵Rm,n =(Ru,i)m×n中，Ru,i表示用户u对项目i的评分，每一行表示一个用户的评分集合，每一列表示一个项目的得分集合，由于Rm,n通常是一个稀疏矩阵，因此为了节省存储空间，将用户评分向量以>形式进行存储，其中，UserID为用户唯一标识，为该用户所有评分列表。类似地，将项目得分向以>形式存储，其中，ItemID为项目唯一标识，为该项目所有的得分列表。 4.1数据预处理 根据MapReduce并行编程模型的特点，项目得分向量具有独立性以及输入数据的切分过程与数据无关，能够对用户-项目评分矩阵进行并行计算处理。MapReduce任务被高度抽象为Map阶段和Reduce阶段，其中Map阶段输入，其中，Null是当前输入的行号，(UserID, ItemID, Rating)是对应行的内容，输出为，Reduce阶段接收到用户对每个ItemID的评分后合成项目得分向量集合>。 4.2基于Canopy-FCM聚类构建聚类模型 FCM属于一种经典的软聚类算法，传统FCM算法结果易受初始聚类中心影响导致局部最优，本文结合Canopy聚类予以改进，首先根据项目得分向量集合使用Canopy算法进行聚类预处理，接着根据已生成的Canopy聚类中心集合使用FCM算法进行聚类处理，得到最终的聚类集合，Canopy-FCM聚类作为一种优化的算法，可以极大提高聚类模型的构建效率。
基于MapReduce的Canopy聚类预处理算法的Map与Reduce过程都釆用了相同的串行化算法思想，Map过程主要利用Canopy算法对项目得分向量集合进行区分，形成各个节点相应的Canopy中心，Reduce读取这些结果作为输入信息并对这些结果进行汇总归纳，产生最终的Canopy聚类中心。下面具体说明基于MapReduce的Canopy聚类预处理算法，记做CanopyICByMapReduce算法，该算法主要步骤如所示：
CanopyICByMapReduce算法
//Map函数
输入为：Key1为ItemID，Value1为list，距离阈值T1和T2(T1>T2) 。
输出为：Key2为CanopyID，Value2为C_List。
步骤1：创建初始Canopy聚类中心列表C_List并设置为空;
步骤2：将输入的项目得分向量集合>记做Item，从Item中随机获取一个项目得分向量，将其记作ItemA，并将ItemA作为一个Canopy聚类中心点，构建初始的C_List，然后将ItemA从Item中删除;
步骤3：从剩余的Item中任选一个项目得分向量并将其记做ItemB，计算ItemB与C_List中所有Canopy聚类中心点间的距离，若ItemB与某个Canopy中心点之间的距离在T1内则将ItemB添加到对应Canopy中，若ItemB与某个Canopy中心点之间的距离在T2内则ItemB不能再作为聚类中心点，将其从Item中删除;
步骤4：重复第2步直到Item为空，按格式输出到Reduce;
Reduce过程读取Map过程的输出结果并利用距离阈值T3和T4归并Value2的值，最后输出，其中，Key3为CanopyID，Value3为全局Canopy聚类中心列表Canopy_List。由于CanopyICByMapReduce算法的Map和Reduce过程都采用了相同的串行化算法思想，所以不再给出Reduce过程的算法流程。
除此之外，基于MapReduce的Canopy-FCM聚类算法利用CanopyICByMapReduce算法产生的Canopy聚类中心列表Canopy_List对项目得分向量集合进行划分。首先，Hadoop集群的Master结点将已得到的Canopy_List以及聚类中心个数传送到各Slave结点上，Map过程根据输入的项目得分向量集合以及各个聚类中心值求出新的隶属度值，根据新的隶属度值重新求出聚类中心值然后更新到聚类中心文件FCMC_List中，其余Map过程根据新生成的聚类中心文件FCMC_List进行计算，全部Map过程计算结束后，将隶属度值输出到Reduce过程，Reduce过程读取项目得分向量集合和Map过程输出的隶属度值重新计算聚类中心值，然后更新到FCMC_List中，供下一次作业用，重复以上过程直到取得最后的聚类结果。下面具体说明基于MapReduce的Canopy聚类改进的FCM聚类算法，记做FCMICByMapReduce算法，FCMICByMapReduce算法具体描述如下：
FCMICByMapReduce算法
//Map函数
输入为：Key1为ItemID，Value1为list(UserID, Rating)，FCMC_List。
输出为、：Key2为ClusterNumi，Value2为(Null, MemeberShipi);Key3为ClusterNumi，Value3为(Null, Data)。
步骤1：Map函数以项目得分向量集合作为输入，读取聚类中心集合FCMC_List，接着按照公式2.4求出各个项目对聚类中心的隶属度值，并做好相应类别标记;
步骤2：将新旧聚类中心之间的差值与给定阈值进行比较，如果差值大于给定阈值范围则执行步骤3，否则执行步骤6;
步骤3：若当前Map函数为首次作业的实行过程则执行步骤5，不然，转向步骤4;
步骤4：根据步骤1得到的隶属度值和公式2.3求出新的聚类集合，然后更新FCMC_List;
步骤5：按格式将隶属度值输出到Reduce函数，其中：ClusterNumi为第i个聚类中心的序号，Null为当前项目的行偏移量，MemeberShipi为当前项目到ClusterNumi所对应的聚类中心的隶属度值，本次任务完成;
步骤6：将Map函数的结果格式进行输出，其中，Data为当前项目记录值;
//Reduce函数
输入为、：Key2为ClusterNumi，Value2为(Null, MemeberShipi);Key3为ClusterNumi，Value3为(Null, Data)。
输出为、：Key4为ClusterNumi，Value4为Clusteri;Key5为ClusterNumi，Value5为DataListi。
步骤1：将上次(或初始)聚类中心与本次聚类中心之间的差值与给定阈值相对比，如果差值大于给定阈值则执行步骤4，反之执行步骤2;
步骤2：Reduce函数将中相同的ClusterNumi记录分配到同一个Reduce任务，并且根据每个项目对各个聚类中心的隶属度值更新聚类中心;
步骤3：按格式输出聚类结果，Clusteri为第i个聚类中心的值，重新生成聚类中心列表FCMC_List，本次Reduce任务结束，开始进行下一次MapReduce Job;
步骤4：Reduce函数根据Map函数输出的中间结果，计算得出最后的聚类结果并按格式输出，其中，DataListi为属于第i个聚类的所有项目集合;
基于MapReduce的Canopy-FCM聚类框架图如图4.2所示。
图4.2基于MapReduce的Canopy-FCM聚类框架图
4.3创建候选项目空间CIS 在Hadoop分布式计算框架的基础上按已生成的Canopy-FCM聚类，使用K最近邻方法为用户-项目评分矩阵中的待预测项目寻找相似近邻，结合MapReduce并行计算的运算特性，首先将目标项目TI与FCMICByMapReduce算法的输出结果中的所有聚类中心ClusterNumi按第三章改进的皮尔逊相似度度量方法(见公式3.1)进行相似度计算得到Similarity(TI, ClusterNumi)，然后将所有Similarity(TI, ClusterNumi)不小于指定阈值θ的对应聚类DataListi中的项目都添加到候选项目空间中，生成候选项目空间CIS。 4.4本章小结 本章主要结合MapReduce编程模型对第三章描述的串行化算法的思想进行了MapReduce化的设计以及描述了算法的实现。首先介绍了本文算法基于MapReduce并行化的原则，并给出了本文算法的并行化算法及其并行化流程图，针对FCM算法依赖于初始聚类中心的问题，本文利用Canopy算法的优点结合FCM算法设计了Canopy-FCM算法，并给出了具体的的MapReduce框架图及具体的MapReduce实现。
5 实验结果及分析 本文针对电子商务个性化推荐算法中存在的数据稀疏性高以及可扩展性以及实时性差的问题，对传统的协同过滤推荐算法上进行了改进并设计了一种基于Canopy-FCM聚类改进的协同过滤推荐算法，然后在Hadoop云计算开发平台上实现本文设计的个性化推荐算法，本章旨在通过实验来比较本文设计的基于Canopy-FCM聚类改进的协同过滤推荐算法与传统协同过滤推荐算法在推荐质量以及性能上的优劣。 5.1 实验环境及数据集 本实验主要采用MovieLens站点(自http://grouplens. org/datasets/movielens/站点下载)提供的MovieLens 100KByte、MovieLens 1 MByte和MovieLens 10 MByte三个不同数据量的数据集作为数据源，数据集的具体信息内容如表5.1所示，测试本文算法在Hadoop环境下的推荐性能。其中，MovieLens 100KByte包含1 000个用户对1 700部电影的评分记录，MovieLens 1 MByte包含6 000个用户对4 000部电影的评分记录，MovieLens 10 MByte包含72 000个用户对10 000部电影的评分记录。
表5.1 MovieLens实验数据集 Movie Lens 100k Movie Lens 1M Movie Lens 10M 评分总数 100,000 1,000,209 10,000,054 用户数 943 6040 71567 项目数 1682 3592 10681 评分范围 {1,…,5} {1,…,5} {1,…,5} 稀疏度 0.937 0.954 0.987
本文的实验平台使用由5台PC机搭建而成的Hadoop分布式集群，Hadoop分布式集群具体配置图如图5.1所示，其中一台作为Master节点，其余4台作为Slave节点，集群所用PC机的配置完全相同，其中，CPU为Intel(R) Core(TM) i5处理器，主频为3.30 GHz CPU、内存容量为4GByte、硬盘容量为2T，JDK版本为1.6.0_24，操作系统版本为Ubuntu15.10操作系统，Hadoop版本为Hadoop 1.2.1版本。
图5.1Hadoop分布式集群具体配置图
5.2 实验评价标准 通常使用推荐质量和推荐速度评价各个协同过滤推荐算法优劣，其中，MAE、RMSE以Precision、Recall及F1经常被用来评价协同过滤推荐算法的推荐质量，并且MAE、RMSE主要用来评价协同过滤推荐算法的评分预测准确性，Precision、Recall及F1则用来评价协同过滤推荐算法的推荐准确性、协同过滤推荐算法的推荐速度通常使用加速比Sspeedup公式进行时间比较。
(1) 预测准确性评价
测试集中实际评分与所有预测评分偏差的绝对值和的平均值，数值越小表明预测评分与测试集中用户实际评分越接近。
(5.1)
其中，是测试集中所有用户-项目对的集合，是用户u对项目i的预测评分，是用户u对项目i的真实评分。
(2) Top-N推荐准确性评价
假如使用A用户测试集中积极评价项集合，使用B表示为A生成的Top-N推荐集合，则Precision评价指标的公式如下：
(5.2)
(3) 推荐速度评价
可以釆用Sspeedup来评价协同过滤推荐算法的推荐速度，运行时间指协同过滤推荐算法在计算机上从开始运行到产生推荐结果所花费的时间。此外，还可以通过计算复杂度分析来判断协同过滤推荐算法的执行效率。
(5.3)
式中，Ts表示单机协同过滤推荐改进算法运行所花费的时间，Ti表示基于MapReduce在不同结点数量集群上所需要运行的时间。 5.3 实验结果及分析 为了对本文算法的性能进行实验验证，将MovieLens实验数据集按照4:1的比例随机分割成训练集R1和测试集R2，然后通过五折交叉验证法获取本文设计的Hadoop云计算开发平台下基于Canopy-FCM聚类改进的协同过滤推荐算法中的可调参数，其中，在基于Canopy-FCM聚类过程中Canopy距离阈值T1=18，T2=10，T3=1.5T1，T4=2T2，得到的聚类个数为13，在最终的推荐过程中，相似度阈值θ等于0.25，本文提出的协同过滤推荐算法在各个实验阶段所得的上述参数值都是在没有产生过拟合问题的前提下经过交叉验证实验取得的。
对推荐算法稀疏性的改善是本文设计的Hadoop环境下基于Canopy-FCM聚类改进的协同过滤推荐算法验证的重点。在推荐稀疏性实验中，从MovieLens 100KByte数据集中随机选取50、189、385、738和943五组实验数据如表5.3所示，这5组数据的项目以及评分数量存在很大的差别，此外这五组实验数据的稀疏性也互不相同，按照4:1的比例随机将每组实验数据中的项目划分训练集R1和测试集如图R2。
表5.3 五组实验数据集合 组别 用户数 项目数量 评分数量 稀疏度 1 50 1071 4736 0.9115 2 189 1315 16935 0.9318 3 385 1473 39728 0.9299 4 738 1517 75837 0.9322 5 943 1682 90571 0.9428 采用皮尔逊相似度度量方法计算各个协同过滤推荐算法用户(或项目)间的相似度并截取IBCF算法、UBCF算法、DIBCF算法以及本文算法在聚类过程中聚类数目为13，推荐阶段相似性阈值θ为0.25时的MAE值结果得到如表5.4所示的五组实验数据的MAE值实验结果并将表5.4中的实验数据结果绘制成如图5.3所示的折线图。
表5.4 五组实验数据的MAE值 算法名称 组别 1 2 3 4 5 IBCF 0.856 0.803 0.795 0.791 0.775 UBCF 0.863 0.823 0.806 0.793 0.794 DIBCF 0.886 0.810 0.790 0.781 0.755 本文算法 0.806 0.793 0.771 0.739 0.728
图5.3 五组实验数据的MAE值
通过图5.3中4条折线可知，在五组实验数据中本文算法的MAE值均低于其他四种算法，随着实验数据量增大，本文算法的MAE值随之减小，推荐精度逐渐提高，在数据最稀疏的第5组数据中，本文算法相较于其他三种协同过滤推荐算法而言更好地克服了数据稀疏性，因此本文算法能更好改善数据稀疏性问题。 5.4 本章小结 本章主要对第四章给出的并行化后的基于Canopy-FCM聚类改进的协同过滤推荐算法在开源云计算平台Hadoop 上进行了仿真实验，首先介绍了实验平台和实验数据集，然后将本文算法与其他算法进行了准确性、稀疏性以及可扩展性对比实验，证明了本文算法能够显著提高协同过滤推荐算法的性能。
6 总结 随着电子商务的迅猛发展，个性化推荐系统在电子商务领域的应用也日益广泛，但是个性化推荐系统性能的好坏很大程度上是由相关推荐技术决定的。本文较好地改善了协同过滤推荐算法的实时性、可扩展性并在一定程度上提高了算法的推荐精度，总结本文所做的工作，主要包括以下几个方面：
(1) 阐述了本文的研究背景和研究意义，对当前电子商务个性化推荐系统以及云计算领域的发展状况进行了介绍。
(2) 论述了与本文算法研究相关的理论，包括Canopy聚类、FCM聚类、Hadoop云计算开发平台的基本技术以及各个主要的电子商务个性化推荐技术。
(3) 在Hadoop分布式集群上对本文算法使用MovieLens数据集进行了一系列的实验，对更大规模数据集下的推荐具有一定的借鉴意义。
参考文献 邓爱民，陶宝，马莹莹.网络购物顾客忠诚度影响因素的实证研究.中国管理科学，2014，22(6):94-99. 李书宁.互联网信息环境中信息超载问题研究.情报科学，2005，23(10):1587-1590. 刘龙.一个能实现个性化实时路径推荐服务的推荐系统框架.中国科学技术大学博士学位论文，2014. 孙慧峰.基于协同过滤的个性化Web推荐.北京邮电大学博士学位论文，2012. 张红军.基于用户要求的互联网产品差异化设计探究.产业与科技论坛，2015，14(22):53-54. 刘明，刘涛，张同建.四大国有商业银行差异化营销战略比较研究.金融论坛，2014(6):26-29. SunLin, XuWenzheng. E-commerce Personalized Recommendation System Based on Web Mining Technology Design and Implementation.Conference on Intelligent Transportation, Big Data and Smart City2015, Halong BayVietnam, 2015:347-350. GuoHongqi, ChenLi, ChenSanxinet al.A personalized recommendation technology for E-commerce website.International Conference on Machine Learning and Cybernetics (ICMLC)2016, JejuKorea, 2016:761-765. 邓晓懿.移动电子商务个性化服务推荐方法研究.大连理工大学博士学位论文，2012. http://www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201701/t20170122_66437.htm. http://b2b.toocle.com/zt/16dsscbg/?_t_t_t=0.9020631110761315. 陆嘉恒.Hadoop实战:第2版.北京:机械工业出版社，2012. 蔡斌，陈湘萍.Hadoop技术内幕.北京:机械工业出版社，2013. FengDongyu, ZhuLigu, ZhangLei. Review of hadoop performance optimization. Conference on Computer and Communications (ICCC)2016, Chengdu China, 2016:65-68. 李建江，崔健，王聃等.MapReduce并行编程模型研究综述.电子学报，2011，39(11):2635-2642. 杜江，张铮，张杰鑫等.MapReduce并行编程模型研究综述.计算机科学，2015，42(6A):537-541. Chandra S,MotwaniD. An Approach to Enhance the Performance of Hadoop MapReduce Framework for Big Data.International Conference on Micro-Electronics and Telecommunication Engineering (ICMETE)2016, Ghaziabad India,2016:178-182. 李忠俊，周启海，帅青红.一种基于内容和协同过滤同构化整合的推荐系统模型.计算机科学，2009，36(12):142-145. TewariAS, KumarA,BarmanA G. Book recommendation system based on combine features of content based filtering, collaborative filtering and association rule mining.International AdvanceConference on Computing (IACC)2014,GurgaonIndia, 2014:500-503. 冷亚军，陆青，梁昌勇.协同过滤推荐技术综述.模式识别与人工智能，2014，27(08):720-730. YeFeiyue, ZhangHaolin. A collaborative filtering recommendation based on users' interest and correlation of items.International Conference on Audio, Language and Image Processing (ICALIP)2016, ShanghaiChina, 2016:515-520. 时念云，葛晓伟，马力.基于用户人口统计特征与信任机制的协同推荐.计算机工程，2016，42(6):180-184. 周明建，赵建波，李腾.基于情境相似的知识个性化推荐系统研究.计算机工程与科学，2016(03)147. Gilbert B, Hazem H, Wassim EH. A hybrid approach with collaborative filtering for recommender systems.International Conferenceon Wireless Communications and Mobile Computing (IWCMC)2013, SardiniaItaly, 2013:349-354. KarunA K, ChitharanjanK. A review on hadoop—HDFS infrastructure extensions. International Conference on Information & Communication Technologies2013, JeJu IslandKorea, 2013:132-137. 赵艳玲, 李战宝. 大数据及其安全在美国的发展研究[J]. 信息网络安全, 2011(10):83-87. 佚名. 亚马逊像卖书一样卖大数据[J]. 计算机与网络, 2009, 35(9):4-5. Mahajan R, Singh D. Cloud Computing Issues[J]. International Journal of Computers & Technology, 2013, 4(2). 冯登国, 张敏, 李昊. 大数据安全与隐私保护[J]. 计算机学报, 2014, 37(1):246-258. 张文斌. 高速公路视频会议系统的扩展性应用[J]. 中国交通信息化, 2012(12):114-115. 罗军舟, 金嘉晖, 宋爱波,等. 大数据:体系架构与关键技术[J]. 通信学报, 2011, 32(7):3-21. 黄晓雯. 大数据体系架构与关键技术[J]. 中国新通信, 2014(13):29-29. THUSOO A, SHAO Z, ANTHONY S, et al. Data warehousing and analytics infrastructure at facebook[A]. SIGMOD'10[C]. Indianapolis, Indiana, USA: ACM, 2010.1013-1020. 淘宝数据开放策略[EB/OL]. http://www.aliresearch.com/wp-content/uploads/2011/03/taobaoshuju.pdf. 2011. GILLEN A, BROUSSARD F W, PERRY R, et al. Optimizing infra- structure: the relationship between it labor costs and best practices for managing the windows desktop[EB/OL]. http://download.microsoft. com/ download/a/4/4/a4474b0c-57d8-41a2-afe6-32037fa93ea6/ IDC_ windesktop_IO_whitepaper.pdf 2007. MELL P, GRANCE T. The NIST Definition of Cloud Computing[R]. National Institute of Standards and Technology, 2011. DEAN J, GHEMAWAT S. MapReduce: a flexible data processing tool[J]. Commun ACM, 2010, 53(1): 72-77. Amazon EC2[EB/OL]. http://aws.amazon.com/ec2 2011. Salesforce CRM[EB/OL]. http://www.salesforce.com/. Google App Engine[EB/OL]. http://code.google.com/appengine/ 2011. MILOJICIC D, WOLSKI R. Eucalyptus: delivering a private cloud[J]. Computer. 2011, 44(4): 102-104. FOSTER I, YONG Z, RAICU I, et al. Cloud Computing and Grid Computing 360-Degree Compared[Z]. 2008.1-10. 毛伊敏,彭喆,陈志刚等.基于不确定决策树分类算法在滑坡危险性预测的应用[J].计算机应用研究,2014,31(12):3646-3650 彭喆. 基于不确定的数据挖掘分类算法在滑坡灾害预测的应用[D]. 江西理工大学, 2015 Han J,Kamber M.数据挖掘概念与技术[M].范明,孟小峰,译.北京:机械工业出版社,2001 Facebook server count: 60 000 or more[EB/OL]. http://www.datacen-terknowledge.com/archives/ -2010/06/28/facebook -server-count-60000-or-more/. 2011. Google investor relations[EB/OL].http://investor.google.com/financial. 2011. GREENBERG A, HAMILTON J, MALTZ D A, et al. The cost of a cloud: research problems in data center networks[J]. SIGCOMM Comput Commun Rev, 2008, 39: 68-73. GREENBERG A, HAMILTON J R, JAIN N, et al. VL2: a scalable and flexible data center network[A]. SIGCOMM'09[C]. Barcelona, Spain: ACM, 2009.51-62. MYSORE R N, PAMBORIS A, FARRINGTON N, et al. PortLand: a scalable fault-tolerant layer 2 data center network fabric[A]. SIG- COMM'09[C]. Barcelona, Spain: ACM, 2009.39-50. GUO C, WU H, TAN K, et al. Dcell: a scalable and fault-tolerant network structure for data centers[A]. SIGCOMM'08[C]. Seattle, WA, USA: ACM, 2008.75-86. GUO C, LU G, LI D, et al. BCube: a high performance, server-centric network architecture for modular data centers[A]. SIGCOMM'09[C]. Barcelona, Spain: ACM, 2009.63-74. NATHUJI R, SCHWAN K. VirtualPower: coordinated power management in virtualized enterprise systems[A]. SOSP '07[C]. New York, NY, USA: ACM, 2007.265-278. HOELZLE U, BARROSO L A. The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines[M]. 1st ed. Morgan and Claypool Publishers, 2009. RAO L, LIU X, LE XIE, et al. Minimizing electricity cost: optimization of distributed internet data centers in a multi-electricity-market environment[A]. INFOCOM'10[C]. San Diego, California, USA: IEEE Press, 2010.1145-1153. PALLIPADI V, STARIKOVSKIY A. The ondemand governor: past, present and future[A]. Proceedings of Linux Symposium[C]. 2006. 223-238. SAMADIANI E, JOSHI Y, MISTREE F. The Thermal Design of a Next Generation Data Center: a Conceptual Exposition[Z]. 2007. 93-102. CHEN G, HE W, LIU J, et al. Energy-aware server provisioning and load dispatching for connection-intensive internet services[A]. NSDI'08[C]. Berkeley, CA, USA: USENIX Association, 2008. 337-350. About virtual machine templates[EB/OL]. http://technet. microsoft.com/en-us/library/bb740838.aspx, 2011. VRABLE M, MA J, CHEN J, et al. Scalability, fidelity, and containment in the potemkin virtual honeyfarm[A]. SOSP'05[C]. Brighton, United Kingdom: ACM, 2005.148-162. ANDR H, LAGAR-CAVILLA S, WHITNEY J A, et al. SnowFlock: virtual machine cloning as a first-class cloud primitive[J]. ACM Trans Comput Syst, 2011, 29(1): 1-45. CLARK C, FRASER K, HAND S, et al. Live migration of virtual machines[A]. NSDI'05[C]. USENIX Association, 2005.273-286. HIROFUCHI T, NAKADA H, OGAWA H, et al. A live storage migra- tion mechanism over wan and its performance evaluation[A]. VTDC'09[C]. Barcelona, Spain: ACM, 2009.67-74. [41] CULLY B, LEFEBVRE G, MEYER D, et al. Remus: high availability via asynchronous virtual machine replication[A]. NSDI'08[C]. San Francisco, California: USENIX Association, 2008.161-174. GHEMAWAT S, GOBIOFF H, LEUNG S. The Google file system[A]. SOSP'03[C]. Bolton Landing, NY, USA: ACM, 2003.29-43. CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: a distributed storage system for structured data[J]. ACM Trans Comput Syst, 2008.26(2): 1-26. DECANDIA G, HASTORUN D, JAMPANI M, et al. Dynamo: ama- zon's highly available key-value store[A]. SOSP'07[C]. Stevenson, Washington, USA: ACM, 2007.205-220. PIKE R, DORWARD S, GRIESEMER R, et al. Interpreting the Data: Parallel Analysis with Sawzall[J]. Scientific Programming Journal, 2005, 13(4): 227-298. OLSTON C, REED B, SRIVASTAVA U, et al. Pig latin: a not-so-foreign language for data processing[A]. SIGMOD'08[C]. New York, NY, USA: ACM, 2008.1099-1110. YANG H, DASDAN A, HSIAO R, et al. Map-reduce-merge: simplified relational data processing on large clusters[A]. SIGMOD'07[C]. New York, NY, USA: ACM, 2007.1029-1040. WANG Y, SONG A, LUO J. A MapReduce Merge-based Data Cube Construction Method[Z]. 2010.1-6. EKANAYAKE J, LI H, ZHANG B, et al. Twister: a runtime for iterative MapReduce[A]. HPDC'10[C]. Chicago, Illinois: ACM, 2010.810-818. XIONG R, LUO J, SONG A, et al. QoS preference-aware replica selection strategy using mapreduce-based PGA in data grids[A]. ICPP'11[C].Taipei, Taiwan, China. VERMA A, LLOR X, GOLDBERG D E, et al. Scaling genetic algorithms using mapreduce [A]. ISDA'09[C]. IEEE Computer Society, 2009.13-18. ISARD M, BUDIU M, YU Y, et al. Dryad: distributed data-parallel programs from sequential building blocks[A]. EuroSys'07[C]. Lisbon, Portugal: ACM, 2007.59-72. YU Y, ISARD M, FETTERLY D, et al. DryadLINQ: a system for general-purpose distributed data-parallel computing using a high-level language[A]. OSDI'08[C]. San Diego, California: USENIX Association, 2008.1-14. Microsoft Azure[EB/OL]. http://www.microsoft.com/windowsazure/. 2011. ELTABAK M Y, TIAN Y, OZCAN F, et al. CoHadoop: flexible data placement and its exploitation in hadoop[A]. Proc VLDB Endow- ment[C]. 2011. 郑湃,崔立真,王海洋等. 大数据环境下面向数据密集型应用的数据布局策略与方法[J]. 计算机学报. 2010(8): 1472-1480. FISCHER M J, SU X, YIN Y. Assigning tasks for efficiency in Ha- doop: extended abstract[A]. SPAA'10[C]. New York, NY, USA: ACM, 2010.30-39. JIN J, LUO J, SONG A, et al. BAR: an efficient data locality driven task scheduling algorithm for cloud computing[A]. CCGRID'11[C]. Newport Beach, CA, USA: IEEE Computer Society, 2011.295-304. [ ZAHARIA M, BORTHAKUR D, SEN SARMA J, et al. Delay scheduling: a simple technique for achieving locality and fairness in cluster scheduling[A]. EuroSys'10[C]. New York, NY, USA: ACM, 2010. 265-278 ISARD M, PRABHAKARAN V, CURREY J, et al. Quincy: fair scheduling for distributed computing clusters[A]. SOSP '09[C]. New York, NY, USA: ACM, 2009.261-276. ZAHARIA M, KONWINSKI A, JOSEPH A D, et al. Improving MapReduce performance in heterogeneous environments[A]. OSDI'08[C]. Berkeley, CA, USA: USENIX Association, 2008.29-42. STANTCHEV V, SCHR O PFER C. Negotiating and Enforcing QoS and SLAs in grid and cloud computing[A]. GPC '09[C]. Berlin, Heidelberg: Springer-Verlag, 2009.25-35. BUYYA R, BROBERG J, GOSCINSKI A M. Cloud Computing Principles and Paradigms[M]. Wiley Publishing, 2011. CALHEIROS R N, RANJANY R, BUYYA R. Virtual machine provisioning based on analytical performance and QoS in cloud computing environments[A]. ICPP'11[C]. Taipei, Taiwan, China. XIAO Y, LIN C, JIANG Y, et al. Reputation-BASED QoS provision- ing in cloud computing via dirichlet multinomial model[A]. ICC'10[C]. 2010.1-5. ANDRZEJAK A, KONDO D, YI S. Decision model for cloud computing under SLA constraints[A]. MASCOTS'10[C]. 2010. 257-266. SANTHANAM S, ELANGO P, ARPACI-DUSSEAU A, et al. De- ploying virtual machines as sandboxes for the grid[A]. WORLDS'05[C]. Berkeley, CA, USA: USENIX Association, 2005. 7-12. RISTENPART T, TROMER E, SHACHAM H, et al. Hey, you, get off of my cloud: exploring information leakage in third-party compute clouds[A]. CCS'09[C]. Chicago, Illinois, USA: ACM, 2009. 199-212. RAJ H, NATHUJI R, SINGH A, et al. Resource management for isolation enhanced cloud services[A]. CCSW'09[C]. New York, NY, USA: ACM, 2009.77-84. ROY I, SETTY S T V, KILZER A, et al. Airavat: security and privacy for MapReduce[A]. NSDI'10[C]. Berkeley, CA, USA: USENIX Association, 2010.20. LI J, WANG Q, WANG C, et al. Fuzzy keyword search over encrypted data in cloud computing[A]. INFOCOM'10[C]. Piscataway, NJ, USA: IEEE Press, 2010.441-445. YU S, WANG C, REN K, et al. Achieving secure, scalable, and fine-grained data access control in cloud computing[A]. INFO- COM'10[C]. Piscataway, NJ, USA: IEEE Press, 2010.534-542. 冯登国,张敏,张妍等. 大数据安全研究[J]. 软件学报. 2011, 22(1):71-83. ARMBRUST M, FOX A, GRIFFITH R, et al. Above the Clouds: A Berkeley View of Cloud Computing[R]. EECS Department, University of California, Berkeley, 2009. MORETTI C, BUI H, HOLLINGSWORTH K, et al. All-pairs: an abstraction for data-intensive computing on campus grids[J]. IEEE Transactions on Parallel and Distributed Systems, 2010, 21: 33-46. 朱夏，宋爱波，东方.云计算环境下基于协同过滤的个性化推荐机制.计算机研究与发展，2014，51(10):2255-2269. 张秀伟，何克清，王健等.Web服务个性化推荐研究综述.计算机工程与科学，2013，35(9):132-140. 马宏伟，张光卫，李鹏.协同过滤推荐算法综述.小型微型计算机系统，2009，30(7):1282-1288. 夏培勇.个性化推荐技术中的协同过滤算法研究.中国海洋大学博士学位论文，2011. ZhaoZhidan,ShangMingsheng.User-based collaborative-filtering recommendation algorithms on Hadoop. International Conference on Knowledge Discovery and Data Mining2010.PhuketThailand, 2010:478-481. 韩飞飞.基于云计算的电子商务个性化推荐研究.华北电力大学硕士学位论文，2014. 李小龙.基于MapReduce的电子商务个性化推荐研究.北京交通大学硕士学位论文，2014. Yingyan,Caoyan.Collaborative filtering recommendation combining FCM and Slope One algorithm. International Conference on Informative and Cybernetics for Computational Social Systems2015.ChengduChina, 2015:1052-1060. 赵明，无线传感网络中基于缓存的Top k查询的存储优化方法[D].上海交通大学硕士论文，2007:17-23 范丽文. 基于无线传感器网络不确定数据的HPDBSCAN算法研究[D]. 江西理工大学, 2013 张明波，陆锋，申排伟，程昌秀.R树家族的演变和发展[J].计算机学报，Zoos, 28,03,:289-299. R.Cheng,Y.Xia,S.Prabhakar,R.Shah,J. S. Vitter. Efficient indexing methods for probabilistic thresholdqueries over uncertain data[C]// Proc. of the Int'1 Con# on Very Large Data- Bases , 2004:876-887 R.Cheng,Y.Xia, et al. Efficient join processing over uncertain-valued attributes[C]. In:Proceedings of the 15th ACM international conference on information and knowledge management.Arlington: ACM Press 2006: 738-747. 孙业勤. 基于数据分区的密度聚类算法应用研究[D]. 大连理工大学硕士论文, 2008 冯少荣, 肖文俊. 基于密度的DBSCAN聚类算法的研究及应用[J]. 计算机工程与应用, 2007, 43(20):216-221. 冀晓岩. 基于Hadoop的电子商务个性化推荐研究与实现[D]. 兰州交通大学, 2017. 鲍玉斌，王大玲，于戈.关联规则和聚类分析在个性化推荐中的应用.东北大学学报，2003， 24(12):1149-1152. 李华，张宇，孙俊华.基于用户模糊聚类的协同过滤推荐研究.计算机科学，2012，39(12):83-86. 荣辉桂，火生旭，胡春华等.基于用户相似度的协同过滤推荐算法.通信学报，2014，35(2):16-24. 邓爱林，朱扬勇，施伯乐.基于项目评分预测的协同过滤推荐算法.软件学报，2003，14(9):1621-1628. 孔维梁.协同过滤推荐系统关键问题研究.华中师范大学博士学位论文，2013. Ghazi M R,Gangodkar D.Hadoop,MapReduce and HDFS:a developers perspective.Procedia Computer Science,2015,48:45-50. 虞倩倩，戴月明.基于MapReduce的并行模糊C均值算法.计算机工程与应用，2013，49(14):133-137. Jiangjing,Lujie,ZhangGuangquan et al.Scalingup itembased collaborative filtering recommendation algorithm based on Hadoop. World Congress on Services2011, WashingtonDC,2011:490-497.