xlvector – Recommender System

曾经有一个人在blog里写他的博士论文，我觉得这是一个好主意。虽然现在离我正式写论文还有半年，不过我决定现在博客里写一个大纲。欢迎大家拍砖。大家的宝贵意见我会吸收到正式的论文中去。

Title :
Temporal Effects in Recommender Systems
推荐系统中的时间效应

我暂时确定是这个题目，也许会改个说法，但大致的范围就是研究推荐系统中的时间效应。

Main Contents
1. Introduction of recommender system 推荐系统简介
1.1 Main Problem of recommender system 推荐系统的主要问题
1.2 Main Algorithms in Recommender System 推荐系统的主要算法
1.3 Main Evaluation Method in Recommender System 推荐系统的主要评测手段

2. Temporal Effects Analysis 时间效应分析
2.1 User Preference Shifting 用户兴趣变化
2.2 Item Lifecycle Analysis Item的时效性
2.3 Long Tail in Temporal Data 时间中的长尾
2.4 Seasonal Effect 季节效应

3. Modelling Temporal Effects 时间效应建模
3.1 Neighborhood Model 邻域模型
3.2 Graph Model 图模型
3.3 Latent Factor Model 隐语义模型

上面是一个简短的目标

我目前在做一些时间的分析，有一些很有趣的现象，和大家share一下。

我一直比较关心一个推荐系统的问题，就是不同系统的用户行为究竟有什么区别，而如何根据这些区别来选择合适的推荐算法来预测用户的行为

在互联网里面，有着各种各样的资源，新闻，电影，音乐，百科，博客，论坛，开源工程(sourceforge)。对于不同的资源，用户行为会因为资源的属性而发生很大的改变，而正是因为用户行为的改变，使得推荐算法很难做到通用，而是需要我们为不同的系统开发不同的推荐算法。

那么我的想法是，找到每个系统不同的参数，然后根据看这些参数来了解这个系统需要什么样的算法。

目前我想到的第一个参数是时效性。这些系统具有不同的时效性。如果我们定义一个item的生命周期为这个item在系统中存在的天数（一个item在某一天存在，是指这个item在这一天至少被1个人关注过）我画出了一个item的popularity（多少人关注过）和生命周期之间的关系曲线。

从这条曲线可以看出，一个系统的时效性和这条曲线的斜率是很相关的。

nytimes的时效性很短，他的大部分item都是在第一天被很多人关注，而后面就没有人关注了，所以即使很popular的item，他的生命周期比不popular的item也长不了太久。其次是blogspot，然后是youtube。

wiki和lastfm的斜率很接近最大理论斜率（0.5)。这说明，他们上面的popular的东西完全是因为生命周期长所以才热门。而不是因为在某天特别的火过。

在算法方面，我的发现是，itemcf特别适合于wiki和lastfm这种斜率很大的，而usercf比较适合nytimes，youtube，和blogspot 我认为这是两种不同兴趣在不同系统中起不同作用的一种表现。

如果我们要预测一个人在t时候要干什么，我们一般从两条线索来调查
1）用户在t时刻还干了什么（itemcf就是基于这个假设）
2）其他用户在t时刻干了什么（usercf就是基于这个假设）
对于新闻来说，用户自己没有太多的习惯，他们其实看的都是其他用户也看的（这一点从我们觉得google reader很好用，就可以体现出来）而对音乐来说，每个人都有自己的喜好，不太会因为别人在听什么，他就也要听什么。

当然，从上面的分析可以知道，这两条线索都是不完整的，完整的应该是综合考虑两条线索。

这是香港的chen li老师在group里面贴的一个帖子，他要我们多宣传，所以我就转载到blog里面来了。

http://groups.google.com/group/resys/browse_thread/thread/c238fb019206ae34?hl=zh-CN

这是由瑞士联邦理工大学（洛桑分校）与香港浸会大学的人机交互组合作设计的一个网络用户调查。 主要目的是研究用户对当前推荐系统的使用体验，比如推荐
产品的质量，多样性和解释能力对用户行为的影响。这项研究的成果会对推荐系统就算法开发，用户界面设计和可用性等方面作出贡献，从而提高网络用户对推荐
网站的认可度。

我们有五份丰厚的奖品，会从中国（包括香港地区）的所有参与者中随机选出。

这个调查由一组英文问题组成。根据您自身使用推荐网站的经验，您只需要10到15分钟时间回答这些问题，就有机会获奖。 我们衷心的感谢您对我们的研究
所将投入的宝贵时间和意见，并谢谢如果能将这个调查链接转发给您的朋友和同事。

以下是这个调查的链接和英文介绍。

链接是：http://grpupc1.epfl.ch/~hu/survey/survey.php?sid=2

Have you used a recommender system in the past 6 months? Will you tell
us your experience with that system? By participating, you help our
research group understand user experience offered by various online
recommender systems. A recommender system proposes items that may
interest a user based on his/her browsing or purchasing behaviors. For
example, the “Customers who bought this item also bought” found on
Amazon.com is an example of a recommender system. The survey takes
about 15 minutes and can be done in front of your own computers.

As an appreciation of your time and effort, we offer the following
five prizes that will be randomly drawn from the participants:

1. First prize: iPod Touch – 8 Go (259 CHF)
2. Second prize: iPod Nano – 8 Go (199 CHF)
3. Third prize: iHome iP9 (149 CHF)
4. Forth prize: iPod Shuffle 4Gb (99.90 CHF)
5. Fifth prize: Victorinox Swissflash Ruby Mini Multi-Tool (75.00 CHF)

Note: the statement “All prizes can be exchanged to gift vouchers of
an equal amount from FNAC (www.fnac.ch or www.fnac.fr)” is not
suitable for users from Asia.

If you are interested, the study can be found at:
http://grpupc1.epfl.ch/~hu/survey/survey.php?sid=2

We thank you very much for your time and help in advance. Don’t
hesitate to forward the link to your friends/colleagues.

Best regards,
Dr. Pearl Pu
Swiss Federal Institute of Technology in Lausanne (EPFL)
Dr. Li Chen
Hong Kong Baptist University (HKBU)

用户看到推荐结果的时候会有很多不同的反应，比如以电影推荐为例

1. 这个推荐很有道理，不过推荐结果我已经看过了
2. 这个推荐的东西是什么啊，不知道
3. 靠，这个电影这个网站居然有，一直就想看

不知道还有什么心理？

首先要感谢Wang Yi的帮助，我之前对统计模型总是没有深入的了解，最近仔细研究了LDA之后，发现这个模型具有很多矩阵模型没有的优点。而且这个算法的实现很简单。下面的图片就是主要代码。

同时利用openmp实现了一个简单的并行版本，可以充分一下利用我机器的4个核。

轻松一下