Tag Archives: yahoo

ICML 2010 and Yahoo! Learning to Rank Workshop

今年上半年比较有影响的比赛就是yahoo!的Learning to Rank,我参加了2周之后,感觉个人不擅长这个,就没有继续了。5月底这个比赛结束了,比赛的胜者可以把自己的方法发表在ICML 2010的learning to rank workshop上。 第一名是来自微软research的Chris J.C. Burges,他们的方法是: From RankNet to LambdaRank to LambdaMART: An Overview 剩下的两位获奖者的文章如下: * BagBoo: Bagging the Gradient Boosting by Dmitry Pavlov and Cliff Brunk * YetiRank: Everybody Lies by Andrey Gulin and Igor Kuralenok

Random Decision Tree

自从来到IBM CRL,Random Decision Tree (RDT)这个词几乎是我听到的频率最高的一个词。一直都没有机会来好好了解一下这个模型,这次借着参加Yahoo! LTR 比赛的机会,研究了一下这个模型,不禁感觉这个模型确实非常好。他有几个优点: 1. 参数非常少 2. 非常容易进行并行化 3. 可以实现的非常快 RDT模型是ibm watson的Wei Fan提出的,这个模型可以用来做分类,回归。不过本质上,他是一个高维空间的密度估计函数。可传统的DT不同,RDT不需要找出最好的特征,最好的分割方法,相反,它随机的找出一些特征和分割数,来生成一些随机的树,然后通过多次实验平均的方法来给出最后的预测。因为生成随机树的过程是独立的,所以并行非常容易。 目前我用这个算法来解决Yahoo! LTR的问题,效果还是很不错的。

提交了第一个Yahoo! Learning to Rank Challenge 的结果

主要是测试一下提交文件的格式对不对,目前就两个人提交了,所以一不小心的排在第一名。没用复杂的算法,就是随机的算了算。