xlvector – Recommender System

最早进行推荐系统研究的是GroupLens，他们在1994年发表的论文[1]中提出了最早的协同过滤(Collaborative Filtering)方法。一般认为，推荐系统的主要任务是通过分析用户的行为，找到用户行为中的常见模式，同时利用这些模式从大量的item中选择用户可能会感兴趣的item推荐给用户。所以，推荐系统是解决信息过载的一种方法。 推荐系统的设计依赖于用户行为数据。目前的用户行为数据有两种。第一种是显性反馈数据，比如评分数据(rating data)，评分数据很多，比如Netflix让我们对电影打分，Youtube让我们对视频反馈Like还是Dislike。这种数据直接表示了用户的喜好。第二种是隐性反馈数据，这个主要包含了很多日志。比如在一个视频网站，用户看了什么video，搜索过什么video，浏览过什么页面，都属于隐性反馈。从这种反馈并不能直接得出用户对他们浏览/搜索/观看过的item的喜好程度。但是通过分析这种数据，我们可以得到用户潜在感兴趣的item。 所有，推荐系统的主要问题有两个： 1> 评分预测问题 (Rating Prediction Problem) : 这个问题是推荐系统最早研究，也是研究的最系统的问题，他的代表数据集有MovieLens和Netflix[2]。这个问题的输入数据一般是一个user-item的稀疏矩阵，每一项代表了一个用户对一个item的评分。而这个问题的目的是，给定一个用户和一个item，如果这个用户没有给这个item打过分，我们要预测这个用户可能会给这个item打多少分。 2> 行为预测问题 (Behavior Prediction Problem or Binary Prediction Problem) : 这个问题的目的是预测用户的行为，而不是预测用户会不会喜欢某个item。这个问题在很多的系统中具有现实的意义，是因为他主要依赖于分析系统日志（隐性反馈数据）。很多非专门的推荐系统网站，并没有用户给item打分的数据，但是几乎所有的可以让用户登录的网站都会记录用户的行为日志。这些行为包含搜索，浏览，观看，购买等等各种行为。所有分析这些日志可以对用户的行为作出预测。 但这两个问题结合起来，其实是一个问题：如何将用户和item联系起来。 除了这两个主要的问题，推荐系统领域还有很多其他的研究问题，但这些问题最终都是为了解决上面两个问题，比如 1> 社会网络与推荐 (Social Based Recommendation) 2> 推荐的时间效应 (Temporal Recommendation) 3> 推荐的多样性，惊喜度 (Diversity and Serendipity) 5> 人口统计学 (Demograph) [1] GroupLens: An open architecture for collaborative filtering of netnews, Resnick, P.; Iacovou, [...]

We have built a minisite on douban for recsys. Please visit and follow: http://site.douban.com/106414/

最近group里面讨论到了音乐推荐的新颖性，很有意思，这里把一些精华的言论摘录出来 Wu Di 说到热门推荐vs.长尾挖掘的事，我想到了一个实验 还是Oscar同学的那篇博士论文，“Music Recommendation and Discovery in the Long Tail”，对应的答辩PPT里面有张图，是一个实验的数据表格。实验是拿Last.fm的CF引擎跑的。 实验有288个参与者，实验素材是一堆30秒的音乐片段，经过CF处理后，推荐给测试者听，要求他们用5分制打分，同时会问他们一个问题，“你认得出这首歌 / 这首歌的演唱者吗？” 实验结果： 1. 当测试者既认得出这首歌，也听得出这首歌的演唱者时，测试者的平均给分是4.64（发生比率15.5%，下同） 2. 当测试者只听得出演唱者，而认不出这首歌的时候，测试者的平均给分是3.88（12.81%） 3. 当测试者即听不出演唱者，也认不出这首歌的时候，平均给分是3.03（71.69%） 实验得出的一个直观简论是，当推荐结果变得陌生时，用户变得不爽了… Song Hui 关于这个实验结果我觉得是不是换个理解方式？ Oscar的结果1，2，3：当推荐结果陌生时，用户对推荐结果的评价会降低（而非用户变得不爽） 举个例子来说，如果豆瓣电台推荐给我的都是孙燕姿的歌，我都很熟悉，而且我会给很高的评分（正常情况下我是不会给那些我熟悉的歌打分的，不过在这个实验里用户是被要求给所有推荐结果打分）， 但我对推荐系统确很不满意，推荐结果对我来说不够新颖，我更喜欢系统给我推荐一些我不熟悉的东西（如果是我喜欢的就更好了）， 虽然对于这些不熟悉的推荐结果我给的分相比那些熟悉的可能会低，但这并不代表我的用户体验不好。 因此，当推荐结果变得陌生，用户给的评分较低 =？ 用户不爽 Wen GuoZhu 这个实验的一个致命问题是没有考虑时间性，所以它结论的适用场景是实验室内的那一小段时间，而实际推荐系统考虑的是一个长期效果 我的意思是说，这个实验只是实验室里的情况，并不能代表实际的情况。因为实验室里的测试只是一两个小时的听歌喜好，当然是听到熟悉的就会打高分。但实际当中，用户是长年累月在听歌，你要是老给TA播熟悉的，时间长了TA就不乐意了。所以，这个实验的结论并不适用于实际情况。 如果还有进一步的讨论，我会更新这个帖子。

这几天在黑龙江牡丹江的镜泊湖参加CCIR会议。我是来打酱油的，师弟有一篇论文。这边上网太麻烦，只有开会的地方才能上网。

文栋兄的cutt真是千呼万唤始出来啊。 文栋专门写了一篇文章介绍他们的系统，大家可以围观一下： http://www.guwendong.com/post/2010/cutt.html 然后再给大家展示一下Logo OK，客套话说完了，来说说我的看法吧。这套系统的核心是利用主题(topic)来联系user和item的关系。推荐领域的一个牛人曾经说过，推荐的本质就是将user和item联系起来，user-cf是用相同兴趣的用户联系user/item, item-cf是用相似的item联系user/item。而cutt是利用topic联系user和item。 其实用topic联系user和item的思想在数据挖掘的领域已经有很悠久的历史了，其代表的模型就是LSI,pLSA, LDA，这些统统被称为latent factor model或者topic model。在理想的情况下，我们可以把item分成一个个的topic，然后更加用户的历史记录计算用户对不同的topic的喜好程度，从而对用户做出推荐。 topic model的好处是可以解决新的item的cold start的问题。如果一个新的item出现了，在collaborative filtering的方法中，如果还没有一个用户对这个item产生过行为，我们是没有办法判断谁会喜欢这个item的。但如果item是一篇文章，我们就可以根据topic model知道这个item属于什么样的topic (可以通过分析文章的内容)，这样就可以把这个item推荐到喜欢这个item的topic的用户那儿去。 这个过程听起来很简单，其实还是很复杂的，首先是如何定义topic。举电影的例子，比如大话西游，可以属于古装片，周星驰电影，西游记，香港电影，向华强/向华胜兄弟的电影，搞笑电影，90年代香港电影，等等很多的topic。我们根据不同的数据可以得到不同的topic，而不同的用户对这个电影的看法可能是倾向于不同的topic。比如有的用户就是冲着周星驰去的，而有的用户只是冲着搞笑电影去的。 建立topic model需要的核心数据是拿到不同entity之间的关系。在collaborative filtering里面，用户看过item就是一种关系。语义网络也是一种关系，比如周星驰是演员，也当过导演，这就是一种语义网络定义的关系。cutt在语义网络方面下了很大的功夫。他们更加不同的数据，对item进行了不同种类的聚类，同时找出了用户最关心的聚类展示给用户。 另外cutt在反馈系统的设计上，直接让用户对他们找出来的topic进行反馈，这样就可以更好的给用户做出推荐。当然cutt也有很多的问题，不过这可能是和中国的互联网现状相关的，中国互联网上原创文章比较少，有意思的文章也比较少。这样造成大量的topic相关的文章其实也就是一篇，其他的文章都是相互转载。 另外用户的冷启动问题也比较难解决，因为现在还没有用户的喜好数据，所以cutt目前其实还没有做推荐系统，他们只是提供了一个相关topic的浏览体系，让用户比较容易的找到自己喜欢的topic。 就技术细节而言，cutt比我上面说的要复杂的多，我这儿就算抛砖引玉了，嘿嘿。