人工智能機(jī)器人論文(2)
人工智能機(jī)器人論文篇二
機(jī)器學(xué)習(xí)與人工智能學(xué)習(xí)資源導(dǎo)引
我經(jīng)常在 TopLanguage 討論組上推薦一些書籍，也經(jīng)常問里面的牛人們搜羅一些有關(guān)的資料，人工智能、機(jī)器學(xué)習(xí)、自然語言處理、知識(shí)發(fā)現(xiàn)(特別地，數(shù)據(jù)挖掘)、信息檢索 這些無疑是 CS 領(lǐng)域最好玩的分支了(也是互相緊密聯(lián)系的)，這里將最近有關(guān)機(jī)器學(xué)習(xí)和人工智能相關(guān)的一些學(xué)習(xí)資源歸一個(gè)類：
首先是兩個(gè)非常棒的 Wikipedia 條目，我也算是 wikipedia 的重度用戶了，學(xué)習(xí)一門東西的時(shí)候常常發(fā)現(xiàn)是始于 wikipedia 中間經(jīng)過若干次 google ，然后止于某一本或幾本著作。
第一個(gè)是“人工智能的歷史”(History of Artificial Intelligence)，我在討論組上寫道：
而今天看到的這篇文章是我在 wikipedia 瀏覽至今覺得最好的。文章名為《人工智能的歷史》，順著 AI 發(fā)展時(shí)間線娓娓道來，中間穿插無數(shù)牛人故事，且一波三折大氣磅礴，可謂"事實(shí)比想象更令人驚訝"。人工智能始于哲學(xué)思辨，中間經(jīng)歷了一個(gè)沒有心理學(xué)(尤其是認(rèn)知神經(jīng)科學(xué)的)的幫助的階段，僅通過牛人對(duì)人類思維的外在表現(xiàn)的歸納、內(nèi)省，以及數(shù)學(xué)工具進(jìn)行探索，其間最令人激動(dòng)的是 Herbert Simon (決策理論之父，諾獎(jiǎng)，跨領(lǐng)域牛人)寫的一個(gè)自動(dòng)證明機(jī)，證明了羅素的數(shù)學(xué)原理中的二十幾個(gè)定理，其中有一個(gè)定理比原書中的還要優(yōu)雅，Simon 的程序用的是啟發(fā)式搜索，因?yàn)楣硐到y(tǒng)中的證明可以簡(jiǎn)化為從條件到結(jié)論的樹狀搜索(但由于組合爆炸，所以必須使用啟發(fā)式剪枝)。后來 Simon 又寫了 GPS (General Problem Solver)，據(jù)說能解決一些能良好形式化的問題，如漢諾塔。但說到底 Simon 的研究畢竟只觸及了人類思維的一個(gè)很小很小的方面 —— Formal Logic，甚至更狹義一點(diǎn) Deductive Reasoning (即不包含 Inductive Reasoning , Transductive Reasoning (俗稱 analogic thinking)。還有諸多比如 Common Sense、Vision、尤其是最為復(fù)雜的 Language 、Consciousness 都還謎團(tuán)未解。還有一個(gè)比較有趣的就是有人認(rèn)為 AI 問題必須要以一個(gè)物理的 Body 為支撐，一個(gè)能夠感受這個(gè)世界的物理規(guī)則的身體本身就是一個(gè)強(qiáng)大的信息來源，基于這個(gè)信息來源，人類能夠自身與時(shí)俱進(jìn)地總結(jié)所謂的 Common-Sense Knowledge (這個(gè)就是所謂的 Emboddied Mind 理論。 )，否則像一些老兄直接手動(dòng)構(gòu)建 Common-Sense Knowledge Base ，就很傻很天真了，須知人根據(jù)感知系統(tǒng)從自然界獲取知識(shí)是一個(gè)動(dòng)態(tài)的自動(dòng)更新的系統(tǒng)，而手動(dòng)構(gòu)建常識(shí)庫則無異于古老的 Expert System 的做法。當(dāng)然，以上只總結(jié)了很小一部分我個(gè)人覺得比較有趣或新穎的，每個(gè)人看到的有趣的地方不一樣，比如里面相當(dāng)詳細(xì)地介紹了神經(jīng)網(wǎng)絡(luò)理論的興衰。所以我強(qiáng)烈建議你看自己一遍，別忘了里面鏈接到其他地方的鏈接。
順便一說，徐宥同學(xué)打算找時(shí)間把這個(gè)條目翻譯出來，這是一個(gè)相當(dāng)長的條目，看不動(dòng) E 文的等著看翻譯吧:)
第二個(gè)則是“人工智能”(Artificial Intelligence)。當(dāng)然，還有機(jī)器學(xué)習(xí)等等。從這些條目出發(fā)能夠找到許多非常有用和靠譜的深入?yún)⒖假Y料。
然后是一些書籍
書籍：
1. 《Programming Collective Intelligence》，近年出的入門好書，培養(yǎng)興趣是最重要的一環(huán)，一上來看大部頭很容易被嚇走的:P
2. Peter Norvig 的《AI, Modern Approach 2nd》(無爭(zhēng)議的領(lǐng)域經(jīng)典)。
3. 《The Elements of Statistical Learning》，數(shù)學(xué)性比較強(qiáng)，可以做參考了。
4. 《Foundations of Statistical Natural Language Processing》，自然語言處理領(lǐng)域公認(rèn)經(jīng)典。
5. 《Data Mining, Concepts and Techniques》，華裔科學(xué)家寫的書，相當(dāng)深入淺出。
6. 《Managing Gigabytes》，信息檢索好書。
7. 《Information Theory：Inference and Learning Algorithms》，參考書吧，比較深。
相關(guān)數(shù)學(xué)基礎(chǔ)(參考書，不適合拿來通讀)：
1. 線性代數(shù)：這個(gè)參考書就不列了，很多。
2. 矩陣數(shù)學(xué)：《矩陣分析》，Roger Horn。矩陣分析領(lǐng)域無爭(zhēng)議的經(jīng)典。
3. 概率論與統(tǒng)計(jì)：《概率論及其應(yīng)用》，威廉·費(fèi)勒。也是極牛的書，可數(shù)學(xué)味道太重，不適合做機(jī)器學(xué)習(xí)的。于是討論組里的 Du Lei 同學(xué)推薦了《All Of Statistics》并說到
機(jī)器學(xué)習(xí)這個(gè)方向，統(tǒng)計(jì)學(xué)也一樣非常重要。推薦All of statistics，這是CMU的一本很簡(jiǎn)潔的教科書，注重概念，簡(jiǎn)化計(jì)算，簡(jiǎn)化與Machine Learning無關(guān)的概念和統(tǒng)計(jì)內(nèi)容，可以說是很好的快速入門材料。
4. 最優(yōu)化方法：《Nonlinear Programming, 2nd》非線性規(guī)劃的參考書?！禖onvex Optimization》凸優(yōu)化的參考書。此外還有一些書可以參考 wikipedia 上的最優(yōu)化方法條目。要深入理解機(jī)器學(xué)習(xí)方法的技術(shù)細(xì)節(jié)很多時(shí)候(如SVM)需要最優(yōu)化方法作為鋪墊。
王寧同學(xué)推薦了好幾本書：
《Machine Learning, Tom Michell》, 1997.
老書，牛人。現(xiàn)在看來內(nèi)容并不算深，很多章節(jié)有點(diǎn)到為止的感覺，但是很適合新手(當(dāng)然，不能"新"到連算法和概率都不知道)入門。比如決策樹部分就很精彩，并且這幾年沒有特別大的進(jìn)展，所以并不過時(shí)。另外，這本書算是對(duì)97年前數(shù)十年機(jī)器學(xué)習(xí)工作的大綜述，參考文獻(xiàn)列表極有價(jià)值。國內(nèi)有翻譯和影印版，不知道絕版否。
《Modern Information Retrieval, Ricardo Baeza-Yates et al》. 1999
老書，牛人。貌似第一本完整講述IR的書。可惜IR這些年進(jìn)展迅猛，這本書略有些過時(shí)了。翻翻做參考還是不錯(cuò)的。另外，Ricardo同學(xué)現(xiàn)在是Yahoo Research for Europe and Latin Ameria的頭頭。
《Pattern Classification (2ed)》, Richard O. Duda, Peter E. Hart, David G. Stork
大約也是01年左右的大塊頭，有影印版，彩色。沒讀完，但如果想深入學(xué)習(xí)ML和IR，前三章(介紹，貝葉斯學(xué)習(xí)，線性分類器)必修。
還有些經(jīng)典與我只有一面之緣，沒有資格評(píng)價(jià)。另外還有兩本小冊(cè)子，論文集性質(zhì)的，倒是講到了了不少前沿和細(xì)節(jié)，諸如索引如何壓縮之類。可惜忘了名字，又被我壓在箱底，下次搬家前怕是難見天日了。
(呵呵，想起來一本：《Mining the Web - Discovering Knowledge from Hypertext Data》 )
說一本名氣很大的書：《Data Mining: Practical Machine Learning Tools and Techniques》。Weka 的作者寫的?？上?nèi)容一般。理論部分太單薄，而實(shí)踐部分也很脫離實(shí)際。DM的入門書已經(jīng)不少，這一本應(yīng)該可以不看了。如果要學(xué)習(xí)了解 Weka ，看文檔就好。第二版已經(jīng)出了，沒讀過，不清楚。
信息檢索方面，Du Lei 同學(xué)再次推薦：
信息檢索方面的書現(xiàn)在建議看Stanford的那本《Introduction to Information Retrieval》，這書剛剛正式出版，內(nèi)容當(dāng)然up to date。另外信息檢索第一大牛Croft老爺也正在寫教科書，應(yīng)該很快就要面世了。據(jù)說是非常pratical的一本書。
對(duì)信息檢索有興趣的同學(xué)，強(qiáng)烈推薦翟成祥博士在北大的暑期學(xué)校課程，這里有全slides和閱讀材料：http://net.pku.edu.cn/~course/cs410/schedule.html
maximzhao 同學(xué)推薦了一本機(jī)器學(xué)習(xí)：
加一本書：Bishop, 《Pattern Recognition and Machine Learning》. 沒有影印的，但是網(wǎng)上能下到。經(jīng)典中的經(jīng)典。Pattern Classification 和這本書是兩本必讀之書?！禤attern Recognition and Machine Learning》是很新(07年)，深入淺出，手不釋卷。
最后，關(guān)于人工智能方面(特別地，決策與判斷)，再推薦兩本有意思的書，
一本是《Simple Heuristics that Makes Us Smart》
另一本是《Bounded Rationality: The Adaptive Toolbox》
不同于計(jì)算機(jī)學(xué)界所采用的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法，這兩本書更多地著眼于人類實(shí)際上所采用的認(rèn)知方式，以下是我在討論組上寫的簡(jiǎn)介：
這兩本都是德國ABC研究小組(一個(gè)由計(jì)算機(jī)科學(xué)家、認(rèn)知科學(xué)家、神經(jīng)科學(xué)家、經(jīng)濟(jì)學(xué)家、數(shù)學(xué)家、統(tǒng)計(jì)學(xué)家等組成的跨學(xué)科研究團(tuán)體)集體寫的，都是引起領(lǐng)域內(nèi)廣泛關(guān)注的書，尤其是前一本，後一本則是對(duì) Herbert Simon (決策科學(xué)之父，諾獎(jiǎng)獲得者)提出的人類理性模型的擴(kuò)充研究)，可以說是把什么是真正的人類智能這個(gè)問題提上了臺(tái)面。核心思想是，我們的大腦根本不能做大量的統(tǒng)計(jì)計(jì)算，使用fancy的數(shù)學(xué)手法去解釋和預(yù)測(cè)這個(gè)世界，而是通過簡(jiǎn)單而魯棒的啟發(fā)法來面對(duì)不確定的世界(比如第一本書中提到的兩個(gè)后來非常著名的啟發(fā)法：再認(rèn)啟發(fā)法(cognition heuristics)和選擇最佳(Take the Best)。當(dāng)然，這兩本書并沒有排斥統(tǒng)計(jì)方法就是了，數(shù)據(jù)量大的時(shí)候統(tǒng)計(jì)優(yōu)勢(shì)就出來了，而數(shù)據(jù)量小的時(shí)候統(tǒng)計(jì)方法就變得非常糟糕;人類簡(jiǎn)單的啟發(fā)法則充分利用生態(tài)環(huán)境中的規(guī)律性(regularities)，都做到計(jì)算復(fù)雜性小且魯棒。
關(guān)于第二本書的簡(jiǎn)介：
1. 誰是 Herbert Simon
2. 什么是 Bounded Rationality
3. 這本書講啥的：
我一直覺得人類的決策與判斷是一個(gè)非常迷人的問題。這本書簡(jiǎn)單地說可以看作是《決策與判斷》的更全面更理論的版本。系統(tǒng)且理論化地介紹人類決策與判斷過程中的各種啟發(fā)式方法(heuristics)及其利弊 (為什么他們是最優(yōu)化方法在信息不足情況下的快捷且魯棒的逼近，以及為什么在一些情況下會(huì)帶來糟糕的后果等，比如學(xué)過機(jī)器學(xué)習(xí)的都知道樸素貝葉斯方法在許多情況下往往并不比貝葉斯網(wǎng)絡(luò)效果差，而且還速度快;比如多項(xiàng)式插值的維數(shù)越高越容易o(hù)verfit，而基于低階多項(xiàng)式的分段樣條插值卻被證明是一個(gè)非常魯棒的方案)。
在此提一個(gè)書中提到的例子，非常有意思：兩個(gè)團(tuán)隊(duì)被派去設(shè)計(jì)一個(gè)能夠在場(chǎng)上接住拋過來的棒球的機(jī)器人。第一組做了詳細(xì)的數(shù)學(xué)分析，建立了一個(gè)相當(dāng)復(fù)雜的拋物線近似模型(因?yàn)檫€要考慮空氣阻力之類的原因，所以并非嚴(yán)格拋物線)，用于計(jì)算球的落點(diǎn)，以便正確地接到球。顯然這個(gè)方案耗資巨大，而且實(shí)際運(yùn)算也需要時(shí)間，大家都知道生物的神經(jīng)網(wǎng)絡(luò)中生物電流傳輸只有百米每秒之內(nèi)，所以 computational complexity 對(duì)于生物來說是個(gè)寶貴資源，所以這個(gè)方案雖然可行，但不夠好。第二組則采訪了真正的運(yùn)動(dòng)員，聽取他們總結(jié)自己到底是如何接球的感受，然后他們做了這樣一個(gè)機(jī)器人：這個(gè)機(jī)器人在球拋出的一開始一半路程啥也不做，等到比較近了才開始跑動(dòng)，并在跑動(dòng)中一直保持眼睛于球之間的視角不變，后者就保證了機(jī)器人的跑動(dòng)路線一定會(huì)和球的軌跡有交點(diǎn);整個(gè)過程中這個(gè)機(jī)器人只做非常粗糙的軌跡估算。體會(huì)一下你接球的時(shí)候是不是眼睛一直都盯著球，然后根據(jù)視線角度來調(diào)整跑動(dòng)方向?實(shí)際上人類就是這么干的，這就是 heuristics 的力量。
相對(duì)于偏向于心理學(xué)以及科普的《決策與判斷》來說，這本書的理論性更強(qiáng)，引用文獻(xiàn)也很多而經(jīng)典，而且與人工智能和機(jī)器學(xué)習(xí)都有交叉，里面也有不少數(shù)學(xué)內(nèi)容，全書由十幾個(gè)章節(jié)構(gòu)成，每個(gè)章節(jié)都是由不同的作者寫的，類似于 paper 一樣的，很嚴(yán)謹(jǐn)，也沒啥廢話，跟 《Psychology of Problem Solving》類似。比較適合 geeks 閱讀哈。
另外，對(duì)理論的技術(shù)細(xì)節(jié)看不下去的也建議看看《決策與判斷》這類書(以及像《別做正常的傻瓜》這樣的傻瓜科普讀本)，對(duì)自己在生活中做決策有莫大的好處。人類決策與判斷中使用了很多的 heuristics ，很不幸的是，其中許多都是在適應(yīng)幾十萬年前的社會(huì)環(huán)境中建立起來的，并不適合于現(xiàn)代社會(huì)，所以了解這些思維中的缺點(diǎn)、盲點(diǎn)，對(duì)自己成為一個(gè)良好的決策者有很大的好處，而且這本身也是一個(gè)非常有趣的領(lǐng)域。
人工智能機(jī)器人論文相關(guān)文章：
1.人工智能科技論文
3.人工智能小論文
人工智能機(jī)器人論文(2)
