簡單說有三大核心技術：拿數據，算數據，賣數據。
首先做為大數據，拿不到大量數據都白扯?，F在由于機器學習的興起，以及萬金油算法的崛起，導致算法地位下降，數據地位提高了。舉個通俗的例子，就好比由于教育的發展，導致個人智力重要性降低，教育背景變重要了，因為一般人按標準流程讀個書，就能比牛頓懂得多了。谷歌就說：拿牛逼的數據喂給一個一般的算法，很多情況下好于拿傻傻的數據喂給牛逼的算法。而且知不知道弄個牛逼算法有多困難？一般人連這個困難度都搞不清楚好不好……拿數據很重要，巧婦難為無米之炊呀！所以為什么好多公司要燒錢搶入口，搶用戶，是為了爭奪數據源呀！不過運營，和產品更關注這個，我是程序員，我不管……
其次就是算數據，如果數據拿到直接就有價值地話，那也就不需要公司了，政府直接賺外快就好了。蘋果落地都能看到，人家牛頓能整個萬有引力，我就只能撿來吃掉，差距呀……所以數據在那里擺著，能挖出啥就各憑本事了。算數據就需要計算平臺了，數據怎么存（HDFS, S3, HBase, Cassandra），怎么算（Hadoop, Spark）就靠咱們程序猿了……
再次就是賣得出去才能變現，否則就是搞公益了，比如《疑犯追蹤》里面的李四和大錘他們……見人所未見，預測未來并趨利避害才是智能的終極目標以及存在意義，對吧？這個得靠大家一塊兒琢磨。
其實我覺得最后那個才是“核心技術”，什么Spark，Storm，Deep-Learning，都是第二梯隊的……當然，沒有強大的算力做支撐，智能應該也無從說起吧。
NoSQL，分布式計算，機器學習，還有新興的實時流處理，可能還有別的。
數據采集，數據存儲，數據清洗，數據挖掘，數據可視化。數據采集有硬件采集，如OBD，有軟件采集，如滴滴，淘寶。數據存儲就包括NOSQL，hadoop等等。數據清洗包括語議分析，流媒體格式化等等。數據挖掘包括關聯分析，相似度分析，距離分析，聚類分析等等。數據可視化就是WEB的了。