|
Jordan身兼stat和cs兩個(gè)系的教授，從他身上可以看出Stat和ML的融合。 Jordan最先專(zhuān)注于mixtures of experts，并迅速奠定了自己的地位，我們哈爾濱工業(yè)大學(xué)的校友徐雷跟他做博后期間，也在這個(gè)方向上沾光不少。Jordan和他的弟子在很多方面作出了開(kāi)創(chuàng)性的成果，如spectral clustering， Graphical model和nonparametric Bayesian。現(xiàn)在后兩者在ML領(lǐng)域是非常炙手可熱的兩個(gè)方向，可以說(shuō)很大程度上是Jordan的lab一手推動(dòng)的。 更難能可貴的是，Jordan不僅自己武藝高強(qiáng)，并且攬錢(qián)有法，教育有方，手下門(mén)徒眾多且很多人成了大器，隱然成為江湖大幫派。他的弟子中有10多人任教授，個(gè)人認(rèn)為他現(xiàn)在的弟子中最出色的是stanford的Andrew Ng，不過(guò)由于資歷原因，現(xiàn)在還是assistant professor，不過(guò)成為大教授指日可待；另外Tommi Jaakkola和David Blei也非常厲害，其中Tommi Jaakkola在mit任教，David Blei之前在普林斯頓任副教授，最近剛剛(2014年4月初)被哥倫比亞大學(xué)花了三年時(shí)間挖走了，數(shù)次獲得NIPS最佳論文獎(jiǎng)，把SVM的最大間隔方法和Markov network的structure結(jié)構(gòu)結(jié)合起來(lái)，赫赫有名。2012年獲得科學(xué)家總統(tǒng)獎(jiǎng)，2014年初獲得2013 ACM-Infosys CS Award。還有一個(gè)博后是來(lái)自于toronto的Yee Whye Teh，非常不錯(cuò)，有幸跟他打過(guò)幾次交道，人非常nice。另外還有一個(gè)博后居然在做生物信息方面的東西，看來(lái)jordan在這方面也撈了錢(qián)。這方面他有一個(gè)中國(guó)學(xué)生Eric P. Xing(清華大學(xué)校友)，現(xiàn)在在cmu做assistant professor。 總的說(shuō)來(lái)，我覺(jué)得Jordan現(xiàn)在做的主要還是graphical model和Bayesian learning，他去年寫(xiě)了一本關(guān)于graphical model的書(shū)，今年由mit press出版，應(yīng)該是這個(gè)領(lǐng)域里程碑式的著作。3月份曾經(jīng)有人答應(yīng)給我一本打印本看看，因?yàn)镴ordan不讓他傳播電子版，但后來(lái)好像沒(méi)放在心上（可見(jiàn)美國(guó)人也不是很守信的），人不熟我也不好意思問(wèn)著要，可以說(shuō)是一大遺憾. 另外發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象就是Jordan對(duì)hierarchical情有獨(dú)鐘，相當(dāng)多的文章都是關(guān)于hierarchical的，所以能hierarchical大家趕快hierarchical，否則就讓他給搶了。 用我朋友話說(shuō)看jordan牛不牛，看他主頁(yè)下面的Past students and postdocs就知道了。 Machine Learning大家（2）：D. Koller (http://ai./~koller/) D. Koller是1999年美國(guó)青年科學(xué)家總統(tǒng)獎(jiǎng)(PECASE)得主，IJCAI 2001 Computers and Thought Award(IJCAI計(jì)算機(jī)與思維獎(jiǎng)，這是國(guó)際人工智能界35歲以下青年學(xué)者的最高獎(jiǎng))得主，2004 World Technology Award得主。 最先知道D koller是因?yàn)樗昧艘粋€(gè)大獎(jiǎng)，2001年IJCAI計(jì)算機(jī)與思維獎(jiǎng)。Koller因她在概率推理的理論和實(shí)踐、機(jī)器學(xué)習(xí)、計(jì)算博弈論等領(lǐng)域的重要貢獻(xiàn)，成為繼Terry Winograd、David Marr、Tom Mitchell、Rodney Brooks等人之后的第18位獲獎(jiǎng)?wù)?。說(shuō)起這個(gè)獎(jiǎng)挺有意思的，IJCAI終身成就獎(jiǎng)（IJCAI Award for Research Excellence），是國(guó)際人工智能界 D koller的Probabilistic Relational Models在nips和icml等各種牛會(huì)上活躍了相當(dāng)長(zhǎng)的一段時(shí)間，并且至少在實(shí)驗(yàn)室里證明了它在信息搜索上的價(jià)值，這也導(dǎo)致了她的很多學(xué)生進(jìn)入了google。雖然進(jìn)入google可能沒(méi)有在牛校當(dāng)faculty名聲響亮，但要知道google的很多員工現(xiàn)在可都是百萬(wàn)富翁，在全美大肆買(mǎi)房買(mǎi)車(chē)的主。 Koller的研究主要都集中在probabilistic graphical model，如Bayesian網(wǎng)絡(luò)，但這玩意我沒(méi)有接觸過(guò)，我只看過(guò)幾篇他們的markov network的文章，但看了也就看了，一點(diǎn)想法都沒(méi)有，這灘水有點(diǎn)深，不是我這種非科班出身的能趟的，并且感覺(jué)難以應(yīng)用到我現(xiàn)在這個(gè)領(lǐng)域中。 Koller才從教10年，所以學(xué)生還沒(méi)有涌現(xiàn)出太多的牛人，這也是她不能跟Jordan比擬的地方，并且由于在stanford的關(guān)系，很多學(xué)生直接去硅谷賺大錢(qián)去了，而沒(méi)有在學(xué)術(shù)界開(kāi)江湖大幫派的影響，但在stanford這可能太難以辦到，因?yàn)榻疱X(qián)的誘惑實(shí)在太大了。不過(guò)Koller的一個(gè)學(xué)生我非常崇拜，叫Ben Taskar，就是我在（1）中所提到的Jordan的博后，是好幾個(gè)牛會(huì)的最佳論文獎(jiǎng)，他把SVM的最大間隔方法和Markov network結(jié)合起來(lái)，可以說(shuō)是對(duì)structure data處理的一種標(biāo)準(zhǔn)工具，也把最大間隔方法帶入了一個(gè)新的熱潮，近幾年很多牛會(huì)都有這樣的workshop。 我最開(kāi)始上Ben Taskar的在stanford的個(gè)人網(wǎng)頁(yè)時(shí)，正趕上他剛畢業(yè)，他的頂上有這么一句話：流言變成了現(xiàn)實(shí)，我終于畢業(yè)了！ 可見(jiàn)Koller是很變態(tài)的，把自己的學(xué)生關(guān)得這么郁悶，這恐怕也是大多數(shù)女faculty的通病吧，并且估計(jì)還非常的push！2013年去世的牛人UW的Ben Taskar就是Koller的學(xué)生。另外Koller和NG合辦了Coursera。 Machine learning 大家（3）: J. D. Lafferty 大家都知道NIPS和ICML向來(lái)都是由大大小小的山頭所割據(jù)，而John Lafferty無(wú)疑是里面相當(dāng)高的一座高山，這一點(diǎn)可從他的publication list里的NIPS和ICML數(shù)目得到明證。雖然江湖傳說(shuō)計(jì)算機(jī)重鎮(zhèn)CMU現(xiàn)在在走向衰落，但這無(wú)礙Lafferty擁有越來(lái)越大的影響力，翻開(kāi)AI兵器譜排名第一的journal of machine learning research的很多文章，我們都能發(fā)現(xiàn)author或者editor中赫然有Lafferty的名字。 Lafferty給人留下的最大的印象似乎是他2001年的conditional random fields，這篇文章后來(lái)被瘋狂引用，廣泛地應(yīng)用在語(yǔ)言和圖像處理，并隨之出現(xiàn)了很多的變體，如Kumar的discriminative random fields等。雖然大家都知道discriminative learning好，但很久沒(méi)有找到好的discriminative方法去處理這些具有豐富的contextual inxxxxation的數(shù)據(jù)，直到Lafferty的出現(xiàn)。 而現(xiàn)在Lafferty做的東西好像很雜，semi－supervised learning， kernel learning，graphical models甚至manifold learning都有涉及，可能就是像武俠里一樣只要學(xué)會(huì)了九陽(yáng)神功，那么其它的武功就可以一窺而知其精髓了。這里面我最喜歡的是semi－supervised learning，因?yàn)殡S著要處理的數(shù)據(jù)越來(lái)越多，進(jìn)行全部label過(guò)于困難，而完全unsupervised的方法又讓人不太放心，在這種情況下semi－supervised learning就成了最好的。這沒(méi)有一個(gè)比較清晰的認(rèn)識(shí)，不過(guò)這也給了江湖后輩成名的可乘之機(jī)。到現(xiàn)在為止，我覺(jué)得cmu的semi－supervised是做得最好的，以前是KAMAL NIGAM做了開(kāi)創(chuàng)性的工作，而現(xiàn)在Lafferty和他的弟子作出了很多總結(jié)和創(chuàng)新。 Lafferty的弟子好像不是很多，并且好像都不是很有名。不過(guò)今年畢業(yè)了一個(gè)中國(guó)人，Xiaojin Zhu(上海交通大學(xué)校友)，就是做semi－supervised的那個(gè)人，現(xiàn)在在wisconsin-madison做assistant professor。他做了迄今為止最全面的Semi-supervised learning literature survey， 大家可以從他的個(gè)人主頁(yè)中找到。這人看著很憨厚，估計(jì)是很好的陶瓷 Lafferty做NLP是很好的，著名的Link Grammar Parser還有很多別的應(yīng)用。其中l(wèi)anguage model在IR中應(yīng)用，這方面他的另一個(gè)中國(guó)學(xué)生ChengXiang Zhai(南京大學(xué)校友，2004年美國(guó)青年科學(xué)家總統(tǒng)獎(jiǎng)(PECASE)得主)，現(xiàn)在在uiuc做assistant professor。 Machine learning 大家（4): Peter L. Bartlett 鄙人淺薄之見(jiàn)，Jordan比起同在berkeley的Peter Bartlett還是要差一個(gè)層次。Bartlett主要的成就都是在learning theory方面，也就是ML最本質(zhì)的東西。他的幾篇開(kāi)創(chuàng)性理論分析的論文，當(dāng)然還有他的書(shū)Neural Network Learning: Theoretical Foundations。 UC Berkeley的統(tǒng)計(jì)系在強(qiáng)手如林的北美高校中一直是top3， 這就足以證明其肯定是群星薈萃，而其中，Peter L. Bartlett是相當(dāng)亮的一顆星。關(guān)于他的研究，我想可以從他的一本書(shū)里得到答案：Neural Network Learning: Theoretical Foundations。也就是說(shuō)，他主要做的是Theoretical Foundations。基礎(chǔ)理論雖然沒(méi)有一些直接可面向應(yīng)用的算法那樣 Bartlett在最近兩年做了大量的Large margin classifiers方面的工作，如其convergence rate和generalization bound等。并且很多是與jordan合作，足見(jiàn)兩人的工作有很多相通之處。不過(guò)我發(fā)現(xiàn)Bartlett的大多數(shù)文章都是自己為第一作者，估計(jì)是在教育上存在問(wèn)題吧，沒(méi)帶出特別牛的學(xué)生出來(lái)。 Bartlett的個(gè)人主頁(yè)的talk里有很多值得一看的slides,如Large Margin Classifiers:Convexity and Classification；Large Margin Methods for Structured Classification: Exponentiated Gradient Algorithms。大家有興趣的話可以去下來(lái)看看。 Machine learning 大家（5): Michael Collins Michael Collins (http://people.csail./mcollins/ 學(xué)成之后，Collins告別師傅開(kāi)始闖蕩江湖，投入了一個(gè)叫AT&T Labs Research的幫會(huì)，并有幸結(jié)識(shí)了Robert Schapire、Yoram Singer等眾多高手。大家不要小瞧這個(gè)叫AT&T Labs Research的幫會(huì)，如果誰(shuí)沒(méi)有聽(tīng)過(guò)它的大名總該知道它的同父異母的兄弟Bell Labs吧。 言歸正傳，話說(shuō)Collins在這里度過(guò)了3年快樂(lè)的時(shí)光。其間也奠定了其N(xiāo)LP江湖老大的地位。并且練就了Discriminative Reranking， Convolution Kernels，Discriminative Training Methods for Hidden Markov Models等多種絕技。然而，世事難料，怎奈由于幫會(huì)經(jīng)營(yíng)不善，這幫大牛又不會(huì)為幫會(huì)拼殺，終于被一腳踢開(kāi)，大家如鳥(niǎo)獸散了。Schapire去了Princeton， Singer 也回老家以色列了。Collins來(lái)到了MIT，成為了武林第一大幫的六袋 在其下山短短7年時(shí)間內(nèi)，Collins共獲得了4次世界級(jí)武道大會(huì)冠軍(EMNLP2002, 2004,UAI2004, 2005)。相信年輕的他，總有一天會(huì)一統(tǒng)丐幫，甚至整個(gè)江湖。 看過(guò)Collins和別人合作的一篇文章，用conditional random fields 做object recogn =======================國(guó)內(nèi)====================之前自己一直想總結(jié)一下國(guó)內(nèi)搞機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的大牛，但是自己太懶了。所以沒(méi)搞… 最近看到了下面轉(zhuǎn)載的這篇博文，感覺(jué)總結(jié)的比較全面了。 個(gè)人認(rèn)為，但從整體研究實(shí)力來(lái)說(shuō)，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘方向國(guó)內(nèi)最強(qiáng)的地方還是在MSRA， 那邊的相關(guān)研究小組太多，很多方向都能和數(shù)據(jù)挖掘扯上邊。這里我再補(bǔ)充幾個(gè)相關(guān)研究方向 的年輕老師和學(xué)者吧。 蔡登：http://www.cad./home/dengcai/,Han Jiawei老師的學(xué)生，博士畢業(yè)后回浙大 任教，也算是國(guó)內(nèi)年輕一代的牛人了。 萬(wàn)小軍：https://sites.google.com/site/wanxiaojun1979/，得翻墻才能看到主頁(yè)。主要 研究方向是文本挖掘和語(yǔ)義計(jì)算。自然語(yǔ)言方向好會(huì)議發(fā)了很多文章。 張磊：http://research.microsoft.com/en-us/um/people/leizhang/ ———————————————————————————————– 原文地址：http://blog.csdn.net/playoffs/article/details/7588597 李航：http://research.microsoft.com/en- us/people/hangli/，是MSRA Web Search and Mining Group高級(jí)研究員和主管，主要研究領(lǐng)域是信息檢索，自然語(yǔ)言處理和統(tǒng)計(jì)學(xué)習(xí)。 近年來(lái)，主要與人合作使用機(jī)器學(xué)習(xí)方法對(duì)信息檢索中排序，相關(guān)性等問(wèn)題的 研究。曾在 人大聽(tīng)過(guò)一場(chǎng)他的講座，對(duì)實(shí)際應(yīng)用的問(wèn)題抽象，轉(zhuǎn)化和解決能力值得學(xué)習(xí)。 周志華：http://cs./zhouzh/，是南京大學(xué)的杰青，機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘方面 國(guó)內(nèi)的領(lǐng)軍人物，其好幾個(gè)研究生都 進(jìn)入了美國(guó)一流高校如uiuc，cmu等學(xué)習(xí)和深造。周教授 在半監(jiān)督學(xué)習(xí)，multi-label學(xué)習(xí)和集成學(xué)習(xí)方面在國(guó)際上有一定的影響力。另外，他也 是ACML的創(chuàng)始人。人也很nice，曾經(jīng)發(fā)郵件咨詢過(guò)一個(gè)naive的問(wèn)題，周老師還在百忙之中 回復(fù)了我，并對(duì)我如何發(fā)郵件給了些許建議。 楊強(qiáng)：http://www.cse./~qyang/，香港科技大學(xué)教 授，也是KDD 2012的會(huì)議主席， 可見(jiàn)功力非同一般。楊教授是遷移學(xué)習(xí)的國(guó)際領(lǐng)軍人物，曾經(jīng)的中國(guó)第一位acm全球冠軍上 交的戴文淵碩士期間就是跟他合作發(fā)表了一系列 高水平的文章。還有，楊教授曾有一個(gè)關(guān) 于機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘有意思的比喻：比如你訓(xùn)練一只狗，若干年后，如果它忽然有一天能 幫你擦鞋洗衣服，那么這就是數(shù) 據(jù)挖掘；要是忽然有一天，你發(fā)現(xiàn)狗發(fā)裝成一個(gè)老太婆 消失了，那么這就是機(jī)器學(xué)習(xí)。 李建中：http://db./jianzhongli/，哈工大和黑大共有教授，是分布式數(shù)據(jù)庫(kù) 的領(lǐng)軍人物。近年來(lái)，其團(tuán)隊(duì) 在不確定性數(shù)據(jù)，sensor network方面也發(fā)表了一系列有名 文章。李教授為人師表，教書(shū)育人都做得了最好，在圈內(nèi)是讓人稱(chēng)道的好老師和好學(xué)者。 唐杰：http://keg.cs./jietang/，清華大學(xué)副教授，是圖挖掘方面的專(zhuān)家。 他主持設(shè)計(jì)和實(shí)現(xiàn)的Arnetminer是國(guó)內(nèi)領(lǐng)先的圖挖掘系統(tǒng)，該系統(tǒng)也是多個(gè)會(huì)議的支持商。 張鈸：http://www.csai./personal_homepage/zhang_bo/index.html 清華 大學(xué)教授，中科院院士，?，F(xiàn)任清華大學(xué)信息技術(shù)研究院指導(dǎo)委員會(huì)主任，微軟亞洲研究院 技術(shù)顧問(wèn)等。主要從事人工智能、神經(jīng)網(wǎng)絡(luò)、遺傳算法、智能機(jī)器 人、模式識(shí)別以及智能控 制等領(lǐng)域的研究工作。在過(guò)去二十多年中，張鈸教授系統(tǒng)地提出了問(wèn)題求解的商空間理 圖像和視頻的分析與檢索方面取得一些重要研究成果。 劉鐵巖：http://research.microsoft.com/en-us/people/tyliu/ MSRA研究主管， 是learning to rank的國(guó)際知名學(xué)者。近年逐步轉(zhuǎn)向管理，研究興趣則開(kāi)始關(guān)注計(jì)算廣告學(xué)方面。 王海峰：http://ir./~wanghaifeng/ 信息檢索，自然語(yǔ)言處理，機(jī)器翻譯方面 的專(zhuān)家，ACL的副主席，百度高級(jí)科學(xué)家。近年，在百度主持研發(fā)了百度翻譯產(chǎn)品。 何曉飛：http://people.cs./~xiaofei/ 浙江大學(xué)教授，多媒體處理， 圖像檢索以及流型學(xué)習(xí)的國(guó)際領(lǐng)先學(xué)者。 朱軍：http://www./~jun/ 清華大學(xué)副教授，機(jī)器學(xué)習(xí)絕對(duì)重量級(jí)新星。 主要研究領(lǐng)域是latent variable models, large-margin learning, Bayesian nonparametrics, and sparse learning in high dimensions. 他也是今年龍星計(jì)劃的機(jī)器學(xué)習(xí)領(lǐng)域的主講人之一。 ———————————————————————————————- 吳軍：http://www.cs./~junwu/ 騰訊副總裁，前google研究員。 著名《數(shù)學(xué)之美》和《浪潮之巔》系列的作者。 張棟：http://weibo.com/machinelearning 前百度科學(xué)家和google研究員，機(jī)器學(xué)習(xí)工業(yè)界的代表人物之一。 戴文淵：http://apex./apex_wiki/Wenyuan_Dai 現(xiàn)百度鳳巢ctr預(yù)估組leader。 前ACM大賽冠軍，碩士期間一系列transfer learning方面的高水平論文讓人瞠目結(jié)舌。 ======================資源====================以前轉(zhuǎn)過(guò)一個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)的牛人簡(jiǎn)介，現(xiàn)在轉(zhuǎn)一個(gè)更寬范圍內(nèi)的牛人簡(jiǎn)介： http://www.kyb.tuebingen./~chapelle http://www.cs./homes/dengcai2/ http://research.microsoft.com/~denzho/ http://www-users.cs./~kumar/dmbook/index.php#item5 (resources for the book of the introduction of data mining by Pang-ning Tan et.al. )（國(guó)內(nèi)已經(jīng)有相應(yīng)的中文版） http://www.cs./~roweis/lle/publications.html (lle算法源代碼及其相關(guān)論文) http://dataclustering.cse./index.html#software（data clustering） http://www.cs./~roweis/ (里面有好多資源) http://www.cse./~lawhiu/ (manifold learning) http://www.math./~wittman/mani/ (manifold learning demo in matlab) http://www.iipl.fudan.edu.cn/~zhangjp/literatures/MLF/INDEX.HTM (manifold learning in matlab) http:///mlss05us_belkin_sslmm/ (semi supervised learning with manifold method by Belkin) http://isomap./ (isomap主頁(yè)) http://web./cocosci/josh.html MIT TENENBAUM J B主頁(yè) http://web.engr./~tgd/ （國(guó)際著名的人工智能專(zhuān)家 Thomas G. Dietterich） http://www.cs./~jordan/ （MIchael I.Jordan） http://www.cs./~awm/ (Andrew W. Moore’s homepage) http://learning.cs./ （加拿大多倫多大學(xué)機(jī)器學(xué)習(xí)小組） http://www.cs./~tom/ （Tom Mitchell，里面有與教材匹配的slide。）
半監(jiān)督流形學(xué)習(xí)（流形正則化） 模式識(shí)別和神經(jīng)網(wǎng)絡(luò)工具箱 http://www.ncrg./netlab/index.php 機(jī)器學(xué)習(xí)開(kāi)源代碼 http:///software/tags/large-scale-learning/ 統(tǒng)計(jì)學(xué)開(kāi)源代碼 matlab各種工具箱鏈接 http://www.tech./spmc/links/matlab/matlab_toolbox.html 統(tǒng)計(jì)學(xué)學(xué)習(xí)經(jīng)典在線教材 機(jī)器學(xué)習(xí)開(kāi)源源代碼 http:///software/language/matlab/ ======================會(huì)議====================我知道的幾個(gè)人工智能會(huì)議(一流) 下面同分的按字母序排列:IJCAI (1+): AI最好的綜合性會(huì)議, 1969年開(kāi)始, 每?jī)赡觊_(kāi)一次, 奇數(shù)年開(kāi). 因?yàn)锳I 實(shí)在太大, 所以雖然每屆基本上能錄100多篇（現(xiàn)在已經(jīng)到200多篇了），但分到每個(gè)領(lǐng)域就沒(méi)幾篇了，象machine learning、computer vision這么大的領(lǐng)域每次大概也就10篇左右, 所以難度很大. 不過(guò)從錄用率上來(lái)看倒不太低,基本上20%左右, 因?yàn)閮?nèi) 行人都會(huì)掂掂分量, 沒(méi)希望的就別浪費(fèi)reviewer的時(shí)間了. 最近中國(guó)大陸投往國(guó)際會(huì)議的文章象潮水一樣, 而且因?yàn)閲?guó)內(nèi)很少有能自己把關(guān)的研究組, 所以很多會(huì)議都在complain說(shuō)中國(guó)的低質(zhì)量文章嚴(yán)重妨礙了PC的工作效率. 在這種情況下, 估計(jì)這幾年國(guó)際會(huì)議的錄用率都會(huì)降下去. 另外, 以前的IJCAI是沒(méi)有poster的, 03年開(kāi)始, 為了減少被誤殺的好人, 增加了2頁(yè)紙的poster.值得一提的是, IJCAI是由貌似一個(gè)公司”IJCAI Inc.”主辦的(當(dāng)然實(shí)際上并不是公司, 實(shí)際上是個(gè)基金會(huì)), 每次會(huì)議上要 發(fā)幾個(gè)獎(jiǎng), 其中最重要的兩個(gè)是IJCAI Research Excellence Award 和 Computer& Thoughts Award, 前者是終身成就獎(jiǎng), 每次一個(gè)人, 基本上是AI的最高獎(jiǎng)(有趣的是, 以AI為主業(yè)拿圖靈獎(jiǎng)的6位中, 有2位還沒(méi)得到這個(gè)獎(jiǎng)), 后者是獎(jiǎng)給35歲以下的青年科學(xué)家, 每次一個(gè)人. 這兩個(gè)獎(jiǎng)的獲獎(jiǎng)演說(shuō)是每次IJCAI的一個(gè)重頭戲.另外，IJCAI 的 PC member 相當(dāng)于其他會(huì)議的area chair, 權(quán)力很大, 因?yàn)槭怯蒔C member 去找 reviewer 來(lái)審, 而不象一般會(huì)議的PC member其實(shí)就是 reviewer. 為了制約這種權(quán)力, IJCAI的審稿程序是每篇文章分配2位PC member, primary PC member去找3位reviewer, second PC member 找一位.AAAI (1): 美國(guó)人工智能學(xué)會(huì)AAAI的年會(huì). 是一個(gè)很好的會(huì)議, 但其檔次不穩(wěn)定, 可以給到1+, 也可以給到1-或者2+, 總的來(lái)說(shuō)我給它”1″. 這是因?yàn)樗拈_(kāi)法完全受IJCAI制約: 每年開(kāi), 但如果這一年的IJCAI在北美舉行, 那么就停開(kāi). 所以, 偶數(shù)年里因?yàn)闆](méi)有IJCAI, 它就是最好的AI綜合性會(huì)議, 但因?yàn)樘?hào)召力畢竟比IJCAI要小一些,特別是歐洲人捧AAAI場(chǎng)的比IJCAI少得多(其實(shí)亞洲人也是), 所以比IJCAI還是要稍弱一點(diǎn), 基本上在1和1+之間; 在奇數(shù)年, 如果IJCAI不在北美, AAAI自然就變成了比IJCAI低一級(jí)的會(huì)議(1-或2+), 例如2005年既有IJCAI又有AAAI, 兩個(gè)會(huì)議就進(jìn)行了協(xié)調(diào), 使得IJCAI的錄用通知時(shí)間比AAAI的deadline早那么幾天, 這樣IJCAI落選的文章可以投往AAAI.在審稿時(shí)IJCAI 的 PC chair也在一直催, 說(shuō)大家一定要快, 因?yàn)锳AAI那邊一直在擔(dān)心IJCAI的錄用通知出晚了AAAI就麻煩了.COLT (1): 這是計(jì)算學(xué)習(xí)理論最好的會(huì)議, ACM主辦, 每年舉行. 計(jì)算學(xué)習(xí)理論基本上可以看成理論計(jì)算機(jī)科學(xué)和機(jī)器學(xué)習(xí)的交叉, 所以這個(gè)會(huì)被一些人看成是理論計(jì)算機(jī)科學(xué)的會(huì)而不是AI的會(huì). 我一個(gè)朋友用一句話對(duì)它進(jìn)行了精彩的刻畫(huà): “一小群數(shù)學(xué)家在開(kāi)會(huì)”. 因?yàn)镃OLT的領(lǐng)域比較小, 所以每年會(huì)議基本上都是那些人. 這里順便提一件有趣的事, 因?yàn)樽罱鼑?guó)內(nèi)搞的會(huì)議太多太濫, 而且很多會(huì)議都是LNCS/LNAI出論文集, LNCS/LNAI基本上已經(jīng)被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的會(huì)議, 例如COLT. CVPR (1): 計(jì)算機(jī)視覺(jué)和模式識(shí)別方面最好的會(huì)議之一, IEEE主辦, 每年舉行. 雖然題目上有計(jì)算機(jī)視覺(jué), 但個(gè)人認(rèn)為它的模式識(shí)別味道更重一些. 事實(shí)上它應(yīng)該是模式識(shí)別最好的會(huì)議, 而在計(jì)算機(jī)視覺(jué)方面, 還有ICCV與之相當(dāng). IEEE一直有個(gè)傾向, 要把會(huì)辦成”盛會(huì)”, 歷史上已經(jīng)有些會(huì)被它從quality很好的會(huì)辦成”盛會(huì)”了. CVPR搞不好也要走這條路. 這幾年錄的文章已經(jīng)不少了. 最近負(fù)責(zé)CVPR會(huì)議的TC的chair發(fā)信說(shuō), 對(duì)這個(gè)community來(lái)說(shuō), 讓好人被誤殺比被壞人漏網(wǎng)更糟糕, 所以我們是不是要減少好人被誤殺的機(jī)會(huì)啊? 所以我估計(jì)明年或者后年的CVPR就要擴(kuò)招了. ICCV (1): 介紹CVPR的時(shí)候說(shuō)過(guò)了, 計(jì)算機(jī)視覺(jué)方面最好的會(huì)之一. IEEE主辦. ICCV逢奇數(shù)年開(kāi)，開(kāi)會(huì)地點(diǎn)以往是北美，歐洲和亞洲輪流，本來(lái)2003年定在北京，后來(lái)因Sars和原定05年的法國(guó)換了一下。ICCV’07年將首次 在南美(巴西)舉行. ICML (1): 機(jī)器學(xué)習(xí)方面最好的會(huì)議之一. 現(xiàn)在是IMLS主辦, 每年舉行. 參見(jiàn)關(guān)于NIPS的介紹. NIPS (1): 神經(jīng)計(jì)算方面最好的會(huì)議之一, NIPS主辦, 每年舉行. 值得注意的是, 這個(gè)會(huì)每年的舉辦地都是一樣的, 以前是美國(guó)丹佛, 現(xiàn)在是加拿大溫哥華; 而且它是年底開(kāi)會(huì), 會(huì)開(kāi)完后第2年才出論文集, 也就是說(shuō), NIPS’05的論文集是06年出. 會(huì)議的名字是”Advances in Neural Inxxxxation Processing Systems”, 所以, 與ICMLECML這樣的”標(biāo)準(zhǔn)的”機(jī)器學(xué)習(xí)會(huì)議不同, NIPS里有相當(dāng)一部分神經(jīng)科學(xué)的內(nèi)容, 和機(jī)器學(xué)習(xí)有一定的距離. 但由于會(huì)議的主體內(nèi)容是機(jī)器學(xué)習(xí), 或者說(shuō)與機(jī)器學(xué)習(xí)關(guān)系緊密, 所以不少人把NIPS看成是機(jī)器學(xué)習(xí)方面最好的會(huì)議之一. 這個(gè)會(huì)議基本上控制在MichaelJordan的徒子徒孫手中, 所以對(duì)Jordan系的人來(lái)說(shuō), 發(fā)NIPS并不是難事, 一些未必很強(qiáng)的工作也能發(fā)上去, 但對(duì)這個(gè)圈子之外的人來(lái)說(shuō), 想發(fā)一篇實(shí)在很難, 因?yàn)榱艚o”外人”的口子很小. 所以對(duì)Jordan系以外的人來(lái)說(shuō), 發(fā)NIPS的難度比ICML更大. 換句話說(shuō),ICML比較開(kāi)放, 小圈子的影響不象NIPS那么大, 所以北美和歐洲人都認(rèn), 而NIPS則有些人(特別是一些歐洲人, 包括一些大家)堅(jiān)決不投稿. 這對(duì)會(huì)議本身當(dāng)然并不是好事,但因?yàn)镴ordan系很強(qiáng)大, 所以它似乎也不太care. 最近IMLS(國(guó)際機(jī)器學(xué)習(xí)學(xué)會(huì))改選理事, 有資格提名的人包括近三年在ICMLECMLCOLT發(fā)過(guò)文章的人, NIPS則被排除在外了. 無(wú)論如何, 這是一個(gè)非常好的會(huì). ACL (1-): 計(jì)算語(yǔ)言學(xué)/自然語(yǔ)言處理方面最好的會(huì)議, ACL (Association of Computational Linguistics) 主辦, 每年開(kāi). KR (1-): 知識(shí)表示和推理方面最好的會(huì)議之一, 實(shí)際上也是傳統(tǒng)AI(即基于邏輯的AI)最好的會(huì)議之一. KR Inc.主辦, 現(xiàn)在是偶數(shù)年開(kāi). SIGIR (1-): 信息檢索方面最好的會(huì)議, ACM主辦, 每年開(kāi). 這個(gè)會(huì)現(xiàn)在小圈子氣越來(lái)越重. 信息檢索應(yīng)該不算AI, 不過(guò)因?yàn)檫@里面用到機(jī)器學(xué)習(xí)越來(lái)越多, 最近幾年甚至有點(diǎn)機(jī)器學(xué)習(xí)應(yīng)用會(huì)議的味道了, 所以把它也列進(jìn)來(lái). SIGKDD (1-): 數(shù)據(jù)挖掘方面最好的會(huì)議, ACM主辦, 每年開(kāi). 這個(gè)會(huì)議歷史比較短,畢竟, 與其他領(lǐng)域相比,數(shù)據(jù)挖掘還只是個(gè)小弟弟甚至小侄兒. 在幾年前還很難把它列在tier-1里面, 一方面是名聲遠(yuǎn)不及其他的top conference響亮, 另一方面是相對(duì)容易被錄用. 但現(xiàn)在它被列在tier-1應(yīng)該是毫無(wú)疑問(wèn)的事情了. 這幾年來(lái)KDD的質(zhì)量都很高. SIGKDD從2000年來(lái)full paper的錄取率都在10%-12%之間，遠(yuǎn)遠(yuǎn)低于IJCAI和ICML. 經(jīng)常聽(tīng)人說(shuō)，KDD要比IJICAI和ICML都要困難。IJICAI才6頁(yè)，而KDD要10頁(yè)。沒(méi)有扎實(shí)系統(tǒng)的工作，很難不留下漏洞。有不少I(mǎi)JICAI的?？鸵裁磕甓纪禟DD，可難得幾個(gè)能經(jīng)常中。 UAI (1-): 名字叫”人工智能中的不確定性”, 涉及表示推理學(xué)習(xí)等很多方面, AUAI(Association of UAI) 主辦, 每年開(kāi). 我知道的幾個(gè)人工智能會(huì)議(二三流) 純屬個(gè)人看法, 僅供參考. tier-1的列得較全, tier-2的不太全, tier-3的很不全. tier 2: tier-2的會(huì)議列得不全, 我熟悉的領(lǐng)域比較全一些. AAMAS (2+): agent方面最好的會(huì)議. 但是現(xiàn)在agent已經(jīng)是一個(gè)一般性的概念, ECCV (2+): 計(jì)算機(jī)視覺(jué)方面僅次于ICCV的會(huì)議, 因?yàn)檫@個(gè)領(lǐng)域發(fā)展很快, 有可能升級(jí)到1-去. ECML (2+): 機(jī)器學(xué)習(xí)方面僅次于ICML的會(huì)議, 歐洲人極力捧場(chǎng), 一些人認(rèn)為它已經(jīng)是1-了. 我保守一點(diǎn), 仍然把它放在2+. 因?yàn)闄C(jī)器學(xué)習(xí)發(fā)展很快, 這個(gè)會(huì)議的reputation上升非常明顯. ICDM (2+): 數(shù)據(jù)挖掘方面僅次于SIGKDD的會(huì)議, 目前和SDM相當(dāng). 這個(gè)會(huì)只有5年歷史, 上升速度之快非常驚人. 幾年前ICDM還比不上PAKDD, 現(xiàn)在已經(jīng)拉開(kāi)很大距離了. SDM (2+): 數(shù)據(jù)挖掘方面僅次于SIGKDD的會(huì)議, 目前和ICDM相當(dāng). SIAM的底子很厚,但在CS里面的影響比ACM和IEEE還是要小, SDM眼看著要被ICDM超過(guò)了, 但至少目前還是相當(dāng)?shù)? ICAPS (2): 人工智能規(guī)劃方面最好的會(huì)議, 是由以前的國(guó)際和歐洲規(guī)劃會(huì)議合并來(lái)的. 因?yàn)檫@個(gè)領(lǐng)域逐漸變冷清, 影響比以前已經(jīng)小了. ICCBR (2): Case-Based Reasoning方面最好的會(huì)議. 因?yàn)轭I(lǐng)域不太大, 而且一直半冷不熱, 所以總是停留在2上. COLLING (2): 計(jì)算語(yǔ)言學(xué)/自然語(yǔ)言處理方面僅次于ACL的會(huì), 但與ACL的差距比ICCV-ECCV和ICML-ECML大得多. ECAI (2): 歐洲的人工智能綜合型會(huì)議, 歷史很久, 但因?yàn)橛蠭JCAI/AAAI壓著, ALT (2-): 有點(diǎn)象COLT的tier-2版, 但因?yàn)楦阌?jì)算學(xué)習(xí)理論的人沒(méi)多少, 做得好的數(shù)來(lái)數(shù)去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非計(jì)算學(xué)習(xí)理論的內(nèi)容. EMNLP (2-): 計(jì)算語(yǔ)言學(xué)/自然語(yǔ)言處理方面一個(gè)不錯(cuò)的會(huì). 有些人認(rèn)為與COLLING相當(dāng), 但我覺(jué)得它還是要弱一點(diǎn). ILP (2-): 歸納邏輯程序設(shè)計(jì)方面最好的會(huì)議. 但因?yàn)楹芏嗥渌麜?huì)議里都有ILP方面的內(nèi)容, 所以它只能保住2-的位置了. PKDD (2-): 歐洲的數(shù)據(jù)挖掘會(huì)議, 目前在數(shù)據(jù)挖掘會(huì)議里面排第4. 歐洲人很想把它抬起來(lái), 所以這些年一直和ECML一起捆綁著開(kāi), 希望能借ECML把它帶起來(lái).但因?yàn)镮CDM和SDM, 這已經(jīng)不太可能了. 所以今年的PKDD和ECML雖然還是一起開(kāi), 但已經(jīng)獨(dú)立審稿了(以前是可以同時(shí)投兩個(gè)會(huì), 作者可以聲明優(yōu)先被哪個(gè)會(huì)考慮, 如果ECML中不了還可以被PKDD接受). tier 3: 列得很不全. 另外, 因?yàn)锳I的相關(guān)會(huì)議非常多, 所以能列在tier-3也算不錯(cuò)了, 基本上能進(jìn)到所有AI會(huì)議中的前30%吧 ACCV (3+): 亞洲的計(jì)算機(jī)視覺(jué)會(huì)議, 在亞太級(jí)別的會(huì)議里算很好的了. DS (3+): 日本人發(fā)起的一個(gè)接近數(shù)據(jù)挖掘的會(huì)議. ECIR (3+): 歐洲的信息檢索會(huì)議, 前幾年還只是英國(guó)的信息檢索會(huì)議. ICTAI (3+): IEEE最主要的人工智能會(huì)議, 偏應(yīng)用, 是被IEEE辦爛的一個(gè)典型. 以前的quality還是不錯(cuò)的, 但是辦得越久聲譽(yù)反倒越差了, 糟糕的是似乎還在繼續(xù)下滑, 現(xiàn)在其實(shí)3+已經(jīng)不太呆得住了. PAKDD (3+): 亞太數(shù)據(jù)挖掘會(huì)議, 目前在數(shù)據(jù)挖掘會(huì)議里排第5. ICANN (3+): 歐洲的神經(jīng)網(wǎng)絡(luò)會(huì)議, 從quality來(lái)說(shuō)是神經(jīng)網(wǎng)絡(luò)會(huì)議中最好的, 但這個(gè)領(lǐng)域的人不重視會(huì)議,在該領(lǐng)域它的重要性不如IJCNN. AJCAI (3): 澳大利亞的綜合型人工智能會(huì)議, 在國(guó)家/地區(qū)級(jí)AI會(huì)議中算不錯(cuò)的了. CAI (3): 加拿大的綜合型人工智能會(huì)議, 在國(guó)家/地區(qū)級(jí)AI會(huì)議中算不錯(cuò)的了. CEC (3): 進(jìn)化計(jì)算方面最重要的會(huì)議之一, 盛會(huì)型. IJCNN/CEC/FUZZ-IEEE這三個(gè)會(huì)議是計(jì)算智能或者說(shuō)軟計(jì)算方面最重要的會(huì)議, 它們經(jīng)常一起開(kāi), 這時(shí)就叫WCCI (World Congress on Computational Intelligence). 但這個(gè)領(lǐng)域和CS其他分支不太一樣, 倒是和其他學(xué)科相似, 只重視journal, 不重視會(huì)議, 所以錄用率經(jīng)常在85%左右, 所錄文章既有quality非常高的論文, 也有入門(mén)新手的習(xí)作. FUZZ-IEEE (3): 模糊方面最重要的會(huì)議, 盛會(huì)型, 參見(jiàn)CEC的介紹. GECCO (3): 進(jìn)化計(jì)算方面最重要的會(huì)議之一, 與CEC相當(dāng)，盛會(huì)型. ICASSP (3): 語(yǔ)音方面最重要的會(huì)議之一, 這個(gè)領(lǐng)域的人也不很care會(huì)議. ICIP (3): 圖像處理方面最著名的會(huì)議之一, 盛會(huì)型. ICPR (3): 模式識(shí)別方面最著名的會(huì)議之一, 盛會(huì)型. IEA/AIE (3): 人工智能應(yīng)用會(huì)議. 一般的會(huì)議提名優(yōu)秀論文的通常只有幾篇文章, 被提名就已經(jīng)是很高的榮譽(yù)了, 這個(gè)會(huì)很有趣, 每次都搞1、20篇的優(yōu)秀論文提名, 專(zhuān)門(mén)搞幾個(gè)session做被提名論文報(bào)告, 倒是很熱鬧. IJCNN (3): 神經(jīng)網(wǎng)絡(luò)方面最重要的會(huì)議, 盛會(huì)型, 參見(jiàn)CEC的介紹. IJNLP (3): 計(jì)算語(yǔ)言學(xué)/自然語(yǔ)言處理方面比較著名的一個(gè)會(huì)議. PRICAI (3): 亞太綜合型人工智能會(huì)議, 雖然歷史不算短了, 但因?yàn)楸人没蛘呦喈?dāng)?shù)木C合型會(huì)議太多, 所以很難上升 ==========機(jī)器學(xué)習(xí)推薦論文和書(shū)籍=================基本模型: HMM(Hidden Markov Models): A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition.pdf ME(Maximum Entropy): ME_to_NLP.pdf MEMM(Maximum Entropy Markov Models): memm.pdf CRF(Conditional Random Fields): An Introduction to Conditional Random Fields for Relational Learning.pdf Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data.pdf SVM(support vector machine): *張學(xué)工<<統(tǒng)計(jì)學(xué)習(xí)理論>> LSA(or LSI)(Latent Semantic Analysis): Latent semantic analysis.pdf pLSA(or pLSI)(Probablistic Latent Semantic Analysis): Probabilistic Latent Semantic Analysis.pdf LDA(Latent Dirichlet Allocation): Latent Dirichlet Allocaton.pdf(用variational theory + EM算法解模型) Parameter estimation for text analysis.pdf(using Gibbs Sampling 解模) Neural Networksi(including Hopfield Model& self-organizing maps & Stochastic networks & Boltzmann Machine etc.): Neural Networks – A Systematic Introduction Diffusion Networks: Diffusion Networks, Products of Experts, and Factor Analysis.pdf Markov random fields: Generalized Linear Model(including logistic regression etc.): An introduction to Generalized Linear Models 2nd Chinese Restraunt Model (Dirichlet Processes): Dirichlet Processes, Chinese Restaurant Processes and all that.pdf Estimating a Dirichlet Distribution.pdf ================================================================= Some important algorithms: EM(Expectation Maximization): Expectation Maximization and Posterior Constraints.pdf Maximum Likelihood from Incomplete Data via the EM Algorithm.pdf MCMC(Markov Chain Monte Carlo) & Gibbs Sampling: Markov Chain Monte Carlo and Gibbs Sampling.pdf Explaining the Gibbs Sampler.pdf An introduction to MCMC for Machine Learning.pdf PageRank: 矩陣分解算法: SVD, QR分解, Shur分解, LU分解, 譜分解 Boosting( including Adaboost): *adaboost_talk.pdf Spectral Clustering: Tutorial on spectral clustering.pdf Energy-Based Learning: A tutorial on Energy-based learning.pdf Belief Propagation: Understanding Belief Propagation and its Generalizations.pdf bp.pdf Construction free energy approximation and generalized belief propagation algorithms.pdf Loopy Belief Propagation for Approximate Inference An Empirical Study.pdf Loopy Belief Propagation.pdf AP (affinity Propagation): L-BFGS: <<最優(yōu)化理論與算法 2nd>> chapter 10 On the limited memory BFGS method for large scale optimization.pdf IIS: IIS.pdf ================================================================= 理論部分： 概率圖(probabilistic networks): An introduction to Variational Methods for Graphical Models.pdf Probabilistic Networks Factor Graphs and the Sum-Product Algorithm.pdf Constructing Free Energy Approximations and Generalized Belief Propagation Algorithms.pdf *Graphical Models, exponential families, and variational inference.pdf Variational Theory(變分理論，我們只用概率圖上的變分): Tutorial on varational approximation methods.pdf A variational Bayesian framework for graphical models.pdf variational tutorial.pdf Information Theory: Elements of Information Theory 2nd.pdf 測(cè)度論： 測(cè)度論(Halmos).pdf 測(cè)度論講義(嚴(yán)加安).pdf 概率論: …… <<概率與測(cè)度論>> 隨機(jī)過(guò)程: 應(yīng)用隨機(jī)過(guò)程 林元烈 2002.pdf <<隨機(jī)數(shù)學(xué)引論>> Matrix Theory: 矩陣分析與應(yīng)用.pdf 模式識(shí)別： <<模式識(shí)別 2nd>> 邊肇祺 *Pattern Recognition and Machine Learning.pdf 最優(yōu)化理論: <> <<最優(yōu)化理論與算法>> 泛函分析： <<泛函分析導(dǎo)論及應(yīng)用>> Kernel理論： <<模式分析的核方法>> 統(tǒng)計(jì)學(xué): …… <<統(tǒng)計(jì)手冊(cè)>> ========================================================== 綜合: semi-supervised learning: <> MIT Press semi-supervised learning based on Graph.pdf Co-training: Self-training: 本文轉(zhuǎn)載自：http://blog.csdn.net/linuxcumt/article/details/8576020 |
||||||||||||||||||||||||||||
|
|
來(lái)自： 看見(jiàn)就非常 > 《tip》
