ZDNet至頂網(wǎng)軟件頻道消息:2014年12月12-14日,大數(shù)據(jù)領(lǐng)域最具影響、規(guī)模最大的IT盛會(huì)——中國(guó)大數(shù)據(jù)技術(shù)大會(huì)暨第二屆中國(guó)計(jì)算機(jī)學(xué)會(huì)(CCF)大數(shù)據(jù)學(xué)術(shù)會(huì)議在北京盛大召開(kāi)。大會(huì)分享了海內(nèi)外大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì);從技術(shù)與實(shí)踐角度探討大數(shù)據(jù)新技術(shù)應(yīng)用和行業(yè)實(shí)踐經(jīng)驗(yàn),為產(chǎn)業(yè)界、科技界與政府部門(mén)提供了一個(gè)密切交流合作的平臺(tái),助力我國(guó)大數(shù)據(jù)的產(chǎn)學(xué)研用深度結(jié)合。
本次大會(huì)上,百度表現(xiàn)尤為亮眼,百度大數(shù)據(jù)、人工智能技術(shù)強(qiáng)勢(shì)吸睛,現(xiàn)場(chǎng)反響熱烈。筆者特別盤(pán)點(diǎn)了百度的三位演講嘉賓的主要觀點(diǎn),以饗讀者。
余凱:大數(shù)據(jù)人工智能
百度研究院副院長(zhǎng)、深度學(xué)習(xí)實(shí)驗(yàn)室主任、圖片搜索部高級(jí)總監(jiān)余凱以“大數(shù)據(jù)人工智能”為主題,介紹了百度在人工智能方面的發(fā)展?fàn)顩r和技術(shù)成果。
余凱老師分享“大數(shù)據(jù)人工智能”主題演講
余凱指出,“得人心者得天下”—對(duì)于互聯(lián)網(wǎng)公司來(lái)說(shuō),幾乎所有業(yè)務(wù)的核心就是讀懂人心,理解用戶(hù)。這其中最關(guān)鍵的技術(shù)是基于大數(shù)據(jù)的人工智能。什么是人工智能?感知、思考和控制是人工智能的幾個(gè)重要方面。真正智能的系統(tǒng),必須能夠隨著經(jīng)驗(yàn)的演化,越變?cè)铰斆?!一個(gè)智能的互聯(lián)網(wǎng)服務(wù),用戶(hù)使用得越多,它就獲得越多經(jīng)驗(yàn),也就越懂用戶(hù)。這里經(jīng)驗(yàn)是什么?經(jīng)驗(yàn)就是數(shù)據(jù)。當(dāng)前,從大數(shù)據(jù)實(shí)現(xiàn)人工智能的一項(xiàng)重要技術(shù)是深度學(xué)習(xí)。在百度深度學(xué)習(xí)已經(jīng)被應(yīng)用到連接人和信息,連接人和服務(wù)/廣告的各個(gè)環(huán)節(jié)中。
深度學(xué)習(xí)之所以取得巨大成功,原因有三:第一,模型足夠復(fù)雜,建模能力強(qiáng)大;第二,分層模型實(shí)現(xiàn)end-to-end學(xué)習(xí),不需或減少人工特征抽?。坏谌?,深度學(xué)習(xí)是一套非常靈活的建??蚣埽槍?duì)不同問(wèn)題,基于對(duì)問(wèn)題的深刻理解,可以設(shè)計(jì)最適合的算法。余老師指出,不要把深度學(xué)習(xí)認(rèn)為是一個(gè)黑箱,它其實(shí)是一個(gè)語(yǔ)言,你對(duì)這個(gè)語(yǔ)言越熟練,對(duì)具體問(wèn)題理解越深,就能越能做出好文章。
余凱列舉了百度深度學(xué)習(xí)取得的一些關(guān)鍵性進(jìn)展,比如百度率先把深度學(xué)習(xí)成功應(yīng)用于廣告變現(xiàn),搜索排序,還有業(yè)界高度關(guān)注的BaiduEye,DuBike、百度自動(dòng)駕駛項(xiàng)目等。在使用深度學(xué)習(xí)之后,百度優(yōu)于競(jìng)爭(zhēng)對(duì)手的差距顯著拉大。比如,在物體檢測(cè)模型上百度取得了世界上最好的成績(jī),百度第一,谷歌第二。
展望未來(lái),余凱分享了自己對(duì)于人與機(jī)器的思考。他認(rèn)為偉大的技術(shù)不在于讓機(jī)器更偉大,而在于讓每個(gè)平凡的人變得更偉大。最后他幽默的結(jié)束發(fā)言:世界是我們的,也是機(jī)器人的,但歸根結(jié)地,是屬于會(huì)做機(jī)器人的人的!
柴華:百度分布式計(jì)算“七劍下天山”
在大數(shù)據(jù)基礎(chǔ)設(shè)施專(zhuān)場(chǎng),百度高級(jí)架構(gòu)師柴華主要分享了百度分布式計(jì)算“七劍下天山”,并且基于這些雄厚的基礎(chǔ)技術(shù),開(kāi)發(fā)并實(shí)現(xiàn)了規(guī)模大、效率高、種類(lèi)全、使用易的計(jì)算平臺(tái)整體架構(gòu)。目前,已通過(guò)開(kāi)放API將其強(qiáng)大的計(jì)算能力輸出。
柴華分享百度分布式計(jì)算平臺(tái)
百度分布式計(jì)算“七劍下天山”,到底是什么呢?現(xiàn)場(chǎng)柴華做了詳細(xì)的解析。
l大規(guī)模離線(xiàn)計(jì)算平臺(tái)DCE。百度MR單集群規(guī)模達(dá)1.3萬(wàn)臺(tái),是業(yè)內(nèi)已公布的最大規(guī)模單集群,日均百萬(wàn)作業(yè)吞吐能力。追求卓越的INF團(tuán)隊(duì),將DAG執(zhí)行引擎的性能大幅提升;通過(guò)對(duì)Shuffle模式不斷優(yōu)化,benchmark作業(yè)性能提升30%,完全避免隨機(jī)讀IO。
l高性能分布式計(jì)算平臺(tái)MPI。平臺(tái)支持?jǐn)?shù)十種大規(guī)模并行機(jī)器學(xué)習(xí)算法,經(jīng)過(guò)數(shù)年優(yōu)化和完善,性能業(yè)界領(lǐng)先。其中,邏輯回歸算法和深度神經(jīng)網(wǎng)絡(luò),均支持千億特征,千億樣本的訓(xùn)練。
l大數(shù)據(jù)機(jī)器學(xué)習(xí)框架ELF。為大數(shù)據(jù)應(yīng)用提供學(xué)習(xí)/挖掘算法開(kāi)發(fā)支持,用戶(hù)最便捷高效地實(shí)現(xiàn)大數(shù)據(jù)機(jī)器學(xué)習(xí)算法,輕松玩轉(zhuǎn)超大規(guī)模數(shù)據(jù)下的機(jī)器學(xué)習(xí)并行計(jì)算。
l實(shí)時(shí)計(jì)算系統(tǒng)Dstream。該系統(tǒng)用于滿(mǎn)足實(shí)時(shí)性要求較高的計(jì)算業(yè)務(wù)的需求,目前已實(shí)現(xiàn)毫秒級(jí)的支持。該系統(tǒng)具有全局無(wú)中心節(jié)點(diǎn),低延遲、高可靠性和高可擴(kuò)展性等特點(diǎn),用戶(hù)只需要關(guān)心計(jì)算單元的拓?fù)潢P(guān)系和業(yè)務(wù)處理邏輯,極大的簡(jiǎn)化了業(yè)務(wù)代碼。
l流式計(jì)算系統(tǒng)TaskManager。該系統(tǒng)用于滿(mǎn)足準(zhǔn)實(shí)時(shí)小批量的流式計(jì)算需求,具有高內(nèi)聚松耦合架構(gòu)、高可靠性和高吞吐量的特性,且易被方便地管理和監(jiān)控,硬件故障時(shí)可以做到數(shù)據(jù)不丟不重。
l基于內(nèi)存的開(kāi)源分布式計(jì)算框架Spark。目前Spark規(guī)模的集群能力不斷提升,以滿(mǎn)足規(guī)模式增長(zhǎng)的計(jì)算需求。
l分布式Trace系統(tǒng)Rid。提供實(shí)時(shí)、批量?jī)煞N數(shù)據(jù)接入方式,方便業(yè)務(wù)快速、便捷定位復(fù)雜系統(tǒng)的深層次問(wèn)題,夯實(shí)基礎(chǔ)架構(gòu)支撐,提供通用監(jiān)控、分析和可視化解決方案。
沈志勇:從數(shù)據(jù)到智能
在大數(shù)據(jù)應(yīng)用專(zhuān)場(chǎng),大數(shù)據(jù)實(shí)驗(yàn)室數(shù)據(jù)科學(xué)家沈志勇博士圍繞從數(shù)據(jù)到智能這個(gè)話(huà)題,分享了百度大數(shù)據(jù)智能分析技術(shù)和應(yīng)用實(shí)踐現(xiàn)狀。百度智能分析技術(shù)不僅用于百度公司內(nèi)部眾多產(chǎn)品線(xiàn),并隨著百度大數(shù)據(jù)引擎發(fā)布的發(fā)布,百度將大數(shù)據(jù)、人工智能等技術(shù)能力輸出,應(yīng)用于更多行業(yè),助力產(chǎn)業(yè)升級(jí)。
沈志勇分享從數(shù)據(jù)到智能
沈志勇例舉了一些百度與具體行業(yè)結(jié)合的應(yīng)用案例,除了業(yè)界已熟悉的旅游預(yù)測(cè)、賽事預(yù)測(cè)等,他還介紹了在其他垂直領(lǐng)域應(yīng)用的一些新探索,引發(fā)了現(xiàn)場(chǎng)聽(tīng)眾的巨大興趣。
智能運(yùn)維。通過(guò)監(jiān)控了百度系統(tǒng)和基礎(chǔ)軟件的運(yùn)行指標(biāo),以及產(chǎn)品運(yùn)營(yíng)指標(biāo),利用智能分析技術(shù)實(shí)現(xiàn)了時(shí)序異常檢測(cè)和故障預(yù)測(cè)、預(yù)警。
金融大數(shù)據(jù)調(diào)研。該項(xiàng)目是希望基于大數(shù)據(jù),通過(guò)智能分析技術(shù)來(lái)預(yù)測(cè)金融產(chǎn)品。從現(xiàn)場(chǎng)展示的模擬結(jié)果來(lái)看,該項(xiàng)目已取得初步進(jìn)展。
百度時(shí)空大腦。該項(xiàng)目基于用戶(hù)定位數(shù)據(jù),用戶(hù)軌跡數(shù)據(jù)和浮動(dòng)車(chē)GPS軌跡數(shù)據(jù),挖掘百度時(shí)空大數(shù)據(jù),發(fā)現(xiàn)用戶(hù)時(shí)空行為規(guī)律,預(yù)測(cè)性洞察用戶(hù)需求,更精準(zhǔn)匹配用戶(hù),從而為用戶(hù)提供更個(gè)性化的服務(wù)。
2014年,大數(shù)據(jù)技術(shù)正在互聯(lián)網(wǎng)、運(yùn)營(yíng)商、IT服務(wù)提供商,以及眾多傳統(tǒng)企業(yè)中嘗試落地實(shí)踐,百度用實(shí)力再次向產(chǎn)業(yè)界、科技界與政府部門(mén)充分展示了其在大數(shù)據(jù)、人工智能等領(lǐng)域領(lǐng)先的技術(shù)水平和應(yīng)用實(shí)踐。