“今天找大家過來,是因為所有的課題前準備已經完全完成,譚凌,你先跟大家簡單說一下。”張可也沒多啰嗦,直接開始了正事。
譚凌點頭,起身說道。
“經過近一個月的準備,前期所有的相關知識儲備與小課題實驗研究已經全部完成,包括課題實驗所需的云計算平臺、存儲、實驗參考數據……等均已準備完成……”
“……”
張可接過話頭,“今天,我們便啟動『大數據·算法、主導數據與行為模型』課題。”
張可的話語落下后,蘇小木等人都沒有太意外。
這個大課題拖的時間挺長了。
也是時候開始了。
不過大家都有意無意的看了眼蘇小木,心里都明白張可有很大概率是為了等蘇小木完成ACM總決賽。
沒等大家開口,張可問道,“你們覺得,什么是大數據?”
這個問題問出后,蘇小木、譚凌、林唐等人都陷入了沉思。
張可教授要聽的肯定不是網絡上的那些爛而化之的回答。
而是他們每一個人自己的總結。
從生活中、從學習中、從自身經歷的方方面面進行總結歸納并給出答案……
一般看來,大數據指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。
是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
從技術上看,大數據與云計算的關系就像一枚硬幣的正反面一樣密不可分,必須采用分布式架構,必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。
同時大數據還需要特殊的技術,來有效處理大量的容忍經過時間內的數據。
這些技術包括大規模并行處理數據庫、數據挖掘、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。
IBM也曾提出了大數據的特點:大量、高速、多樣、低價值密度、真實性。
但,大家都不會簡單的從這些概念上的東西來進行回答。
良久。
譚凌開口道,“我認為大數據就是數量龐大的任意數據,甚至這些數據本身并沒有什么卵用,而且還沒什么價值,扔之可惜。”
“當然,大數據其實始終貫穿著人類的歷史,從古至今的各種法例都能看到大數據的蹤跡。”
“比如連環案件分析?”林唐插嘴道。
也不知道林唐是不是最近看柯南看多了,張口就是連環案件。
其他幾人各有回答。
獨剩下蘇小木沉默不語。
“小木同學,你來說說?”張可點了名。
蘇小木簡單的答道,“說不好,我覺得大數據無非就是多維分析,最終針對的還是人。”
“每個人都有每個人對大數據的理解,我們的課題只是從大數據出發,探索主導數據、行為模型的一個片段。”
張可道。
“大家可以通過課題,去找到每個人對大數據的新理解。”
“硬件層面的準備基本完善,但軟件層面的部署還得我們親自來,首先是分布式文件系統,我們討論一下,是否直接使用Hadoop實現的分布式文件系統:HDFS?”
張可的問題引發了課題實驗組每個成員的意見發表。
首先HDFS基本上是個通用的大數據分布式文件系統,最重要的一點是設計就是用來部署在低廉硬件上的。
包括Hadoop,完全就是為了大數據而開發的程序。
Hadoop框架最核心的設計就兩點,HDFS和MapReduce。
HDFS為海量數據提供了存儲方式,MapReduce為海量數據提供了計算。
蘇小木試圖爭取了一下,“教授,如果我們課題的時間足夠長的話,不如我們試試自己實現,不借用Hadoop,重新設計分布式文件系統、并行運算算法、并行處理數據庫這些。”
“這樣一來,專業針對的就是課題本身的算法、主導數據與行為模型。”
蘇小木的話是有道理的,當然也是有私心的……
======
2更。