本站提供免费毕业论文范文，硕士论文范文参考！
发布时间：2019年04月08号，星期一 快速评论
论文题目：基于机器学习电子商务推荐系统的设计与研究
摘 要电子商务的兴起实现了从“以产品为中心”向“以客户为中心”的消费模式的转变，极大地提高了用户和企业之间的交易效率。针对协同过滤推荐算法中存在的稀疏性、可扩展性和实时性等问题，本文设计了一种基于Hadoop的电子商务个性化推荐算法，利用Hadoop云计算平台所拥有的强大计算及存储能力对基于项目的协同过滤推荐算法予以改进。首先根据用户的评分使用Canopy算法进行聚类预处理，将项目集合中的全部项目迅速划分到不同的Canopy中并生成相应的聚类中心。其次，按照Canopy聚类中心集合使用FCM算法对项目集合中的每个项目迭代求出其相对于各个聚类的隶属度和聚类中心，并根据最大隶属度原则确定每个项目所属的聚类，从而得到最终的聚类集合。再次，在Canopy-FCM聚类算法上根据目标项目与所有聚类中心之间的相似度，选择相似度最高的前若干个聚类中的项目构建目标项目的推荐候选项目空间。最后，在推荐候选项目空间上使用基于项目的协同过滤推荐算法在线完成推荐。
通过总结各种协同过滤推荐算法的优势以及不足，深入分析了电子商务个性化推荐算法中存在的数据稀疏性高以及可扩展性以及实时性差等问题，设计改进的协同过滤推荐算法，最后证明了本文设计的推荐算法能够有效地改善电子商务个性化推荐的稀疏性、实时性以及可扩展性问题。
关键词：云计算;电子商务;聚类;协同过滤推荐;相似度
论文类型：应用研究
Abstract The rise of E-commerce has realized the transformation from "product centered" to "customer centered" consumption mode, greatly improving the transaction efficiency between users and enterprises. In view of the existing collaborative filtering algorithm in sparsity, scalability and real-time problem, this paper designs a personalized recommendation algorithm in E-commerce based on Hadoop, a powerful computing and storage capacity computing platform owned by Hadoop cloud on the project to improve the collaborative filtering recommendation algorithm based on. First, according to the user's score, we use Canopy algorithm to cluster preprocessing, and quickly divide all the items in the project set into different Canopy and generate the corresponding clustering centers. Secondly, according to the Canopy clustering center set using the FCM algorithm to each project item set iterative with respect to the membership degree and cluster center of each cluster, and determine the clustering of each project according to the principle of maximum membership degree, so as to obtain the final clustering set. Thirdly, in the Canopy-FCM clustering algorithm, according to the similarity between the target project and all the clustering centers, we select the first several clustering items with the highest similarity to build the recommended candidate space for the target project. Finally, a collaborative filtering recommendation algorithm based on project based collaborative filtering is used online to recommend the recommended candidate project space.
By summing up the various collaborative filtering algorithm advantages and disadvantages, in-depth analysis of the recommended data sparsity and scalability problems and poor real-time algorithm in the presence of personalized E-commerce, collaborative filtering recommendation algorithm design improvement, and finally proves the recommendation algorithm designed in this paper can effectively improve the E-commerce personalized recommendation sparse real-time and scalability problems.
Key Words：Cloud Computing;Electronic Commerce;Cluster;Collaborative Filtering Recommendation; Similarity
目 录
摘 要 I
Abstract II
1 绪论 1
1.1 研究背景及意义 1
1.2 国内外研究现状 3
1.2.1 机器学习发展现状 3
1.2.2 大数据发展现状 6
1.2.3 海量数据处理技术发展现状 7
1.3 本文主要工作和结构 7
2 关键技术研究 1
2.1 云架构相关技术 1
2.1.1 大数据及相关知识 1
2.1.2 大数据的体系架构 5
2.1.3 大数据的关键技术 7
2.1.4 大数据的应用与挑战 19
2.2 聚类算法 20
2.2.1 Canopy算法 21
2.2.2 FCM算法 22
2.2.3 HPDBSCAN算法 24
2.3 电子商务个性化推荐服务概述 32
2.3.1 电子商务的概念 32
2.3.2 电子商务个性化推荐理论 33
2.3.3 基于关联规则的推荐 34
2.3.4 基于人口统计信息的推荐 35
2.3.5 协同过滤推荐 36
2.3.6 组合推荐技术 37
2.4 本章小结 38
3 改进聚类的协同过滤算法 39
3.1 相似度度量方法研究 39
3.1.1 相似度度量方法分析 39
3.1.2 皮尔逊相似度度量方法的改进 39
3.2 基于Canopy-FCM聚类改进的协同过滤推荐算法 40
3.3 本章小结 43
4 电子商务个性化推荐实现 44
4.1 数据预处理 44
4.2 基于Canopy-FCM聚类构建聚类模型 44
4.3 创建候选项目空间CIS 47
4.4 本章小结 47
5 实验结果及分析 49
5.1 实验环境及数据集 49
5.2 实验评价标准 50
5.3 实验结果及分析 51
5.4 本章小结 54
6 总结 55
致 谢 56
参考文献 57
1 绪论 1.1 研究背景及意义互联网和Web技术的迅猛发展促进了以网络信息技术为应用基础的电子商务市场日益繁荣，人类传统的生产生活方式得到了翻天覆地的变化，方便快捷的购物体验使众多的消费者日益青睐“网络购物”[1]，网络购物已经成为人们生活中不可或缺的重要组成部分，然而随着电子商务网站商品种类和数量的日益增多，网络购物为人们提供丰富多彩的产品信息时所引发的信息超载问题[2]导致用户进行商品选择时往往迷失在大量的商品信息空间中，严重制约了电子商务的进一步发展，用户对个性化信息服务[3,4]的要求越来越高，如何锁定电子商务网站的目标用户并为其提供定制化、个性化和差异化[5,6]的服务以提升用户满意度，成为电子商务网站的当务之急，为了满足用户需求，电子商务个性化推荐系统[7-9]应运而生。
2017年1月22日下午中国互联网络信息中心(CNNIC)在京发布第39次《中国互联网络发展状况统计报告》[10]，第39次《中国互联网络发展状况统计报告》显示，截至2016年12月，中国网民规模达7.31亿，相当于欧洲人口总量，互联网普及率达到53.2%，超过全球平均水平3.1个百分点，超过亚洲平均水平7.6个百分点，全年共计新增网民4299万人，增长率为6.2%，中国互联网行业整体向规范化、价值化发展，图1.1是第39次《中国互联网络发展状况统计报告》中关于中国互联网规模和互联网普及率的部分。
同时，移动互联网正在推动朝消费模式共享化、设备智能化方向发展，我国手机网民规模达6.95亿，增长率连续三年超过10%，移动互联网与线下经济联系日益紧密，2016年，我国手机网上支付用户规模增长迅速，达到4.69亿，年增长率为31.2%，网民手机网上支付的使用比例由57.7%提升至67.5%，手机支付向线下支付领域的快速渗透，极大丰富了支付场景，有50.3%的网民在线下实体店购物时使用手机支付结算，图1.2是第39次《中国互联网络发展状况统计报告》中关于中国手机网民规模及其占网民比例的部分。
2016年9月13日中国电子商务研究中心发布《2016年(上)中国电子商务市场数据监测报告》[11]，《2016年(上)中国电子商务市场数据监测报告》显示2016年上半年中国电子商务交易规模达10.5万亿元，同比增长37.6%，其中，B2B市场交易规模达7.9万亿元，同比增长36.2%，从业人员方面截止到2016年6月，中国电子商务服务企业直接从业人员超过285万人，由电子商务间接带动就业人数已超过2100万人，图1.3是《2016年(上)中国电子商务市场数据监测报告》中关于中国电子商务市场交易规模的部分。
交易规模方面2016年上半年中国网络零售市场交易规模达2.3万亿元，同比增长43.4%，占到社会消费品零售总额14.8%，较2015年上半年的11.4%，增幅提高了3.4%，中国网购用户规模达4.8亿人，较2015年上半年的4.17亿人，同比增长15.1%，与2015年年底的4.6亿人相比，同比增长4.3%。
在日益激烈的市场竞争环境下电子商务个性化推荐系统通过模拟销售人员的角色直接与用户进行交互，实时分析用户的个性化需求，向用户积极主动地推荐符合其兴趣偏好的个性化商品从而帮助用户顺利完成商品交易，因此电子商务个性化推荐系统可以最大限度地吸引用户，极大地提升了电子商务网站的商品交易额，具有良好的发展和应用前景，逐渐被越来越多的专家学者以及电子商务企业关注，成为电子商务技术领域一项热门研究内容，对于电子商务个性化推荐的研究的具体意义有：
(1) 对于用户来说，电子商务个性化推荐服务使具有明确目标的客户利用检索能够从无限的商品信息数据中迅速找出符合其兴趣偏好的各种商品，予用户更多的优质服务以获取用户的满意和支持。
(2) 对于服务的提供者来说，电子商务个性化推荐系统具体通过建立模型体系，收集不同用户的不同兴趣偏好，分析电子商务企业的Web日志数据从而促进了电子商务企业在商品同质化日益严重和信息量日益庞杂的激烈市场竞争中健康快速地发展。
(3) 从学术价值角度来说，随着电子商务产业的迅猛发展，作为一种新兴的智能信息服务方式，个性化推荐技术已经在各行各业得到了广泛应用，基于Hadoop的云计算开发平台[12-14]的并行数据挖掘算法在很大程度上无法胜任云计算时代发展的要求，MapReduce并行编程模型[15-17]在处理庞大的电子商务日志数据方面拥有良好的性能优势，通过使用包括基于内容推荐[18,19]、基于协同过滤推荐[20,21]、基于人口统计推荐[22]、基于知识推荐[23]以及基于混合推荐[24]在内的多种多样的个性化推荐技术获得更加准确有效的符合各个用户兴趣偏好的数据信息，在很大程度上促进了电子商务企业数字化发展以及经济效益的持续健康快速地增长。
如今包括亚马逊、京东、淘宝等在内的众多国内外大型电子商务网站都在向个性化方向发展，电子商务个性化推荐技术得到了突飞猛进的发展，但是随着电子商务网站规模的日益扩大，消费者、商品数量、网购访问量以及交易量与日俱增，电子商务个性化推荐系统的数据存储能力已经远远不能满足用户-商品评分矩阵无以复加的增长需求，同时在推荐商品的过程中用户与用户之间、商品与商品之间、用户与商品之间的相似度度量方法的计算复杂度也逐渐超出了传统电子商务个性化推荐计算能力所能承受的极限，作为传统计算机技术和网络技术发展和融合的产物，云计算技术使用HDFS分布式文件系统[25]，用户能够便捷随意地增减云计算集群的节点使用户能够动态扩展或降低集群规模，因此非常适用于各种规模类型的电子商务企业，此外云计算开发平台优秀的的容错性和数据一致性特点能够主动感知并处理失去效用的节点。云计算处理技术对于电子商务业务的影响主要表现在以下几个方面：
(1) 云计算能够节约电子商务企业基础设施的成本并且高效便捷;
(2) 云计算能够有效地提高电子商务企业的信息检索以及数据分析性能;
(3) 云计算能够为电子商务企业的信息安全提供更高的安全保障。
1.2 国内外研究现状 1.2.1 机器学习发展现状机器能否象人类一样能具有学习能力呢?1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对奕中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题。
机器学习的研究是根据生理学、认知科学等对人类学习机理的了解，建立人类学习过程的计算模型或认识模型，发展各种学习理论和学习方法，研究通用的学习算法并进行理论上的分析，建立面向任务的具有特定应用的学习系统。这些研究目标相互影响相互促进。机器学习是关于理解与研究学习的内在机制、建立能够通过学习自动提高自身水平的计算机程序的理论方法的学科。近年来机器学习理论在诸多应用领域得到成功的应用与发展，已成为计算机科学的基础及热点之一。机器学习是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一。现有的计算机系统和人工智能系统没有什么学习能力，至多也只有非常有限的学习能力，因而不能满足科技和生产提出的新要求。对机器学习的讨论和机器学习研究的进展，必将促使人工智能和整个科学技术的进一步发展。
1、机器学习的发展史
机器学习是人工智能研究较为年轻的分支，它的发展过程大体上可分为4个时期。
第一阶段是在50年代中叶到60年代中叶，属于热烈时期。…>
第二阶段是在60年代中叶至70年代中叶，被称为机器学习的冷静时期。
第三阶段是从70年代中叶至80年代中叶，称为复兴时期。
机器学习的最新阶段始于1986年。
机器学习进入新阶段的重要表现在下列诸方面：
(1) 机器学习已成为新的边缘学科并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。
(2) 结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。特别是连接学习符号学习的耦合可以更好地解决连续性信号处理中知识与技能的获取与求精问题而受到重视。
(3) 机器学习与人工智能各种基础问题的统一性观点正在形成。例如学习与问题求解结合进行、知识表达便于学习的观点产生了通用智能系统SOAR的组块学习。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。
(4) 各种学习方法的应用范围不断扩大，一部分已形成商品。归纳学习的知识获取工具已在诊断分类型专家系统中广泛使用。连接学习在声图文识别中占优势。分析学习已用于设计综合型专家系统。遗传算法与强化学习在工程控制中有较好的应用前景。与符号系统耦合的神经网络连接学习将在企业的智能管理与智能机器人运动规划中发挥作用。
(5) 与机器学习有关的学术活动空前活跃。国际上除每年一次的机器学习研讨会外，还有计算机学习理论会议以及遗传算法会议。
2、机器学习分类
(1) 基于学习策略的分类
学习策略是指学习过程中系统所采用的推理策略。一个学习系统总是由学习和环境两部分组成。由环境(如书本或教师)提供信息，学习部分则实现信息转换，用能 够理解的形式记忆下来，并从中获取有用的信息。在学习过程中，学生(学习部分)使用的推理越少，他对教师(环境)的依赖就越大，教师的负担也就越重。学习 策略的分类标准就是根据学生实现信息转换所需的推理多少和难易程度来分类的，依从简单到复杂，从少到多的次序分为以下五种基本类型：
a.机械学习
学习者无需任何推理或其它的知识转换，直接吸取环境所提供的信息。如塞缪尔的跳棋程序，纽厄尔和西蒙的LT系统。这类学习系统主要考虑的是如何索引存贮的 知识并加以利用。系统的学习方法是直接通过事先编好、构造好的程序来学习，学习者不作任何工作，或者是通过直接接收既定的事实和数据进行学习，对输入信息 不作任何的推理。
b. 示教学习
学生从环境(教师或其它信息源如教科书等)获取信息，把知识转换成内部可使用的表示形式，并将新的知识和原有知识有机地结合为一体。所以要求学生有一定程 度的推理能力，但环境仍要做大量的工作。教师以某种形式提出和组织知识，以使学生拥有的知识可以不断地增加。这种学习方法和人类社会的学校教学方式相似， 学习的任务就是建立一个系统，使它能接受教导和建议，并有效地存贮和应用学到的知识。目前，不少专家系统在建立知识库时使用这种方法去实现知识获取。示教 学习的一个典型应用例是FOO程序。
c. 演绎学习
学生所用的推理形式为演译推理。推理从公理出发，经过逻辑变换推导出结论。这种推理是"保真"变换和特化(specialization)的过程，使学生 在推理过程中可以获取有用的知识。这种学习方法包含宏操作(macro-operation)学习、知识编辑和组块(Chunking)技术。演绎推理的 逆过程是归纳推理。
d. 类比学习
利用二个不同领域(源域、目标域)中的知识相似性，可以通过类比，从源域的知识(包括相似的特征和其它性质)推导出目标域的相应知识，从而实现学习。类比 学习系统可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能。类比学习需要比上述三种学习方式更多的推理。它一般要 求先从知识源(源域)中检索出可用的知识，再将其转换成新的形式，用到新的状况(目标域)中去。类比学习在人类科学技术发展史上起着重要作用，许多科学发 现就是通过类比得到的。例如著名的卢瑟福类比就是通过将原子结构(目标域)同太阳系(源域)作类比，揭示了原子结构的奥秘。
e. 基于解释的学习学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什该例子满足目标概念，然后将解释推广为目标概念的一个 满足可操作准则的充分条件。EBL已被广泛应用于知识库求精和改善系统的性能。著名的EBL系统有迪乔恩(G.DeJong)的GENESIS, 米切尔(T.Mitchell)的LEXII和LEAP, 以及明顿(S.Minton)等的PRODIGY。
f. 归纳学习
归纳学习是由教师或环境提供某概念的一些实例或反例，让学生通过归纳推理得出该概念的一般描述。这种学习的推理工作量远多于示教学习和演绎学习，因为环境 并不提供一般性概念描述(如公理)。从某种程度上说，归纳学习的推理量也比类比学习大，因为没有一个类似的概念可以作为"源概念"加以取用。归纳学习是最 基本的，发展也较为成熟的学习方法，在人工智能领域中已经得到广泛的研究和应用。
(2) 按应用领域分类
目前最主要的应用领域有: 专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。
从机器学习的执行部分所反映的任务类型上看，目前大部分的应用研究领域基本上集中于以下两个范畴：分类和问题求解。
a. 分类任务要求系统依据已知的分类知识对输入的未知模式(该模式的描述)作分析，以确定输入模式的类属。相应的学习目标就是学习用于分类的准则(如分类规则)。
b. 问题求解任务要求对于给定的目标状态?寻找一个将当前状态转换为目标状态的动作序列;机器学习在这一领域的研究工作大部分集中于通过学习来获取能提高问题求解效率的知识(如搜索控制知识，启发式知识等)。
3、机器学习技术的发展趋势
从目前研究趋势看，机器学习今后主要的研究方向如下：1)人类学习机 制的研究：2)发展和完善现有学习方法，同时开展新的学习方法的研究：3)建立实用的学习系统，特别是开展 多种学习方法协同工作的集成化系统的研究：4)机器学习有关理论及应用的研究.
机器学习是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一。现有的计算机系统和人工智能系统没有什么学习能力，至多也只有非常有限的学习能力，因而不能满足科技和生产提出的新要求。对机器学习的讨论和机器学习研究的进展，必将促使人工智能和整个科学技术的进一步发展。
1.2.2 大数据发展现状大数据于2003年正式开启开发和研究工作，美国的七所顶尖院校的研究人员共同提出了“大数据VGrADS和网格虚拟化”的项目[26]，之后Amazon、Giftag、Saleforce.com以及IBM都使用大数据来提高自己在业界的竞争力。例如，Google以企业搜索、应用托管等形式向企业提供Google开放云，而Microsoft推出了Live Mesh这种网络管理和数据存储软件来与Google竞争。在2006年Amazon推出了弹性计算云和简单存储服务，是建立在2004年Amazon提出了MechanicalTurk、简单队列服务等大数据服务雏形之上的[27]。在2008年，IBM提出了公有云和私有云的定义[28]。而Apple公司近年来也相继推出iTunes服务以及MobileMe服务等，标志向大数据开始进军。
与美国相比，国内的大数据发展较慢，但业内人士把大数据作为一个新机遇，纷纷开拓大数据的应用市场。首先是中国移动、中国电信以及中国联通三大运营商都推出了自己的云产品，如中国移动的“大云”大数据基础服务平台、中国联通的“互联云”平台以及中国电信的“e云”大数据平台。并且许多大数据被开发商高度关注，使得大数据在国内外的研究都很主流。但是总体来说，大数据目前的研究正处于发展阶段，仍有大量关键问题需要进行深入研究，主要是从解决内在的局限性发以及拓展大数据应用模式等角度出发，围绕可靠性、低成本等因素方面。
1.2.3 海量数据处理技术发展现状大数据与大数据技术是相辅相成的，如果要对大数据进行处理，单台计算机是不能对大数据进行处理或运算的，因此必须采用大数据分布式架构进行处理[29]。利用大数据的提供更方便的服务、更加迅速地处理大数据的丰富信息以及更强大计算能力;此外还可利用大数据的业务量，在实际应用中更多的应用到大数据。
在现阶段各个大型基于互联网运行的公司都在开发基于Hadoop架构的数据处理模式。例如，Facebook的数据分析以及机器学习是采用Hadoop技术并通过集群的方式运行的集;Yahoo!的Web搜索以及广告系统是采用Hadoop技术并通过集群的方式运行的;淘宝用Hadoop存储计算并处理电子贸易的商务数据;百度使用Hadoop进行网页搜索日志分析以及数据挖掘的工作;中国移动通信研究院基于Hadoop的Big Cloud系统主要是用来分析数据，并且将服务提供给外部的用户[30]。目前为止，以Hadoop为代表的海量数据处理技术己经在互联网的领域取得了令人瞩目的成绩，并且随着互联网日新月异的发展，今后还将会继续开拓出新的业务方式。
现如今，海量数据的来源随着手机和手机中的应用越来越多，所以将大数据技术以及云架构技术应用到手机以及通信网络应用中将会是一个很重要的方面。
1.3本文主要工作和结构本文通过总结各种协同过滤推荐算法的优势以及不足，深入分析了电子商务个性化推荐算法中存在的数据稀疏性高以及可扩展性以及实时性差等问题，设计改进的协同过滤推荐算法，最后证明了本文设计的推荐算法能够有效地改善电子商务个性化推荐的稀疏性、实时性以及可扩展性问题，本文总共分为六章，组织结构如下：
：绪论; ：关键技术研究; ：改进聚类的协同过滤算法; ：电子商务个性化推荐实现; ：实验结果及分析; ：总结。