一种基于ElasticSearch的推荐系统架构,这是一篇与系统架构论文范文相关的免费优秀学术论文范文资料,为你的论文写作提供参考。
系统架构论文参考文献：
摘 要：该文在研究了推荐系统和搜索技术以后,提出了一种利用搜索引擎来进行数据召回的方式,首先采用关键词抽取算法对用户的历史记录进行概率分析,抽取出个性化的关键词并给到ElasticSearch搜索引擎进行候选集的召回,然后提出一种特征融合的方法对样本集进行了整合,最后利用机器学习算法对样本进行了训练并预测输出.与协同过滤和纯粹的基于内容的推荐系统进行对比,利用基于ElasticSearch的推荐系统架构将推荐系统的点击率提高到了17.5%.
关键词： 推荐系统； ElasticSearch； 机器学习； SVM； GBDT
中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2017）36-0230-03
Abstract： Based on the research of the recommendation system and search technology, this paper puts forward a method of data to recall the use of search engines, the first probability analysis using keyword extraction algorithm to extract the user record, and personalized keywords to the ElasticSearch search engine recall candidate set, the sample sets for the integration method a fusion feature is then proposed, finally using machine learning algorithm to training samples and predictive output. Compared with collaborative filtering and pure content-based recommendation system, the recommendation rate of recommendation system is increased to 17.5% by using ElasticSearch based recommendation system architecture.
Key words： recommendation system； ElasticSearch； machine learning； SVM； GBDT
1 概述
21世纪以来,信息技术的不断发展和互联网规模的不断扩大,使得数据量有了指数级的增长,不同的用户在接受来自世界各地海量的数据,如何有效地将数据转化为信息,成为一个亟待解决的问题[1].从用户的角度来看,用户更加想接收到对自己有用的信息,或者自己感兴趣的信息,而不是海量信息的集合；从信息提供者的角度来看,想提供一种对于不同用户展示不同信息的平台,而这个展示的信息是跟用户紧密联系的.在这种情况下,推荐系统应运而生[2].推荐系统的产生主要完成以下的工作内容：将用户和信息紧密结合,对于不同的用户进行个性化的,通过分析特定用户的偏好,帮助用户从海量数据中筛选出用户偏好的信息,然后将这些个性化的信息呈现给用户.
推薦系统最核心的部分为推荐算法,本文首先研究了当前最流行的推荐算法,主要包括基于内容的推荐算法,基于协同过滤的推荐算法.其中还包括在模型建立过程中用到的数据降维方法,特征提取方法等.这些算法在不同的场景应用中都会有各自的优缺点,因此会有不同的适用范围.在用户使用有一定基础的情况下,基于物品的协同过滤算法在目前来说是一种比较稳定的通用推荐算法,它预测准确度较高,而且算法的解释性较高.
搜索技术是一项比较成熟的技术,它将因特网上的信息进行整合,对用户开放查询.搜索引擎主要工作原理分为三部分：从网络中搜集数据；将数据进行整理；接受用户的查询.搜索引擎有着快速返回搜索结果的优势,因此可以将搜索技术应用于实时推荐系统中.这样对于推荐系统的实时性和准确性都会有一定的提高.
本文对基于搜索技术的推荐系统关键技术进行研究,对于数据到推荐结果之间进行了搜索和推荐两步筛选,并对实时推荐系统提供了一种通用架构.在推荐算法的选用中,提供了一种将推荐问题转化为二分类问题的特征合并方法,与普通的基于协同过滤的算法相比较,解决了“冷启动”的问题,同时在算法内部隐含用户和物品聚类的数学依据,对于数据量大而用户量少的推荐场景提高了推荐准度,也解决了“冷启动”问题.
2 基于ElasticSearch的推荐系统架构
基于ElasticSearch的推荐系统架构,将推荐任务分为两步排序,第一步排序使用高并发的ElasticSearch搜索引擎返回相关的候选集,第二步通过机器学习算法对候选集进行排序最终生成推荐结果.
搜索引擎的输入为关键词,因此本文中推荐系统的架构第一步是搜集到用户的历史记录以后进行关键词的提取,关键词的提取采用了更改的TF-IDF算法,提取到多维度的关键词之后放到ElasticSearch中搜索,会得到不同维度的搜索结果,从而解决了推荐系统的多样性的问题,再进行第二步推荐算法的排序,这里采用了不同的机器学习的算法,离线训练的模型持久化到内存,然后对候选集进行二次排序最终得到推荐列表展示给用户.
搜索技术主要解决实时推荐系统的速度问题和搜索结果的多样性问题,推荐算法主要解决推荐结果的个性化问题.
2.1 基于用户的ElasticSearch关键词抽取
关键词抽取其实是TF-IDF的一种在应用场景的实现,将某一个用户的历史记录作为一整篇文档,所有数据作为总的文档.用户所有的历史记录数目为M,其中一条记录标记为[I等于{i1,i2,...,in}],公式中i为记录中的词.
结论：适合系统架构论文写作的大学硕士及相关本科毕业论文，相关系统架构开题报告范文和学术职称论文参考文献下载。
在线个性化推荐系统消费者采纳影响因素
内容摘要：信息超载的难题使得消费者很难在海量的商品信息中快速找到目标，个性化推荐系统应运而生且应用日趋广泛，但仍然被许多消费者拒绝采纳，精准找出。
智能配电系统架构分析技术挑战
摘 要：智能配电系统在智能电网建设中始终扮演重要的角色，随着技术的发展，智能配电网综合系统的综合架构有了新的特点，本文探讨了智能配电系统的综合架。
财政国库集中支付系统架构设计
摘 要：当前实施中的财政国库支付系统主要以财政资金的分散支付、预算部门设置多重账户为表现形式，这种形式已难以跟上市场经济发展步伐和深化公共财政改。
UGC标签推荐系统一种新标签清理方法
摘要：UGC标签推荐系统的推荐效果依赖标签的质量，因为UGC标签是用户随意标注的，并不是所有的标签都符合用户兴趣，有必要清空一些不符合用户兴趣的。