大數據變革在數據本身(車品覺)
大數據公司最大的痛苦是什麼?不是沒有數據,而是有太多數據。各種各樣包括結構性和非結構性的數據從四面八方而來,但哪些有用?如何挑選?才是最難。
有一次,我在美國碰巧遇到谷歌的前數據部門主管,他跟我說了一件他覺得很痛苦的事:提出數據需求的人,往往70%的情況並沒有使用所獲提供的數據。他為此非常生氣,便質問業務方:「為什麼你們老問我要數據,結果卻不用?」業務方回答:「是的,因為我用了之後才知道這些數據沒有用。」對於一個每天都要準備數據的人來說,這好比你是一家餐廳的老闆,廚師每天為你準備很多菜卻只用一小部分材料。所以,我從事大數據行業一直有個夢想:如果有一天可以把數據的處理自動化,該多好!
創新方法自動清洗準備
說起數據處理的自動化,不得不提一家在數據領域有突破創新的公司Paxata,它是美國少有接地氣的自助型數據開發 (data preparation)平台。這家公司的專注領域令人興奮,因為目前市場上幾乎所有的數據分析,包括BI軟件和創新都聚焦在解決數據分析的算法、視覺化、模型等等的自動化,卻忽略了一個事實:現實工作中,數據科學家和分析師首先需要花費80%、甚至更多的時間在數據清洗和準備。Paxata採用機器學習的創新方法解決data preparation。其功能如下:
一、讀取數據:讀取任何形式的數據,自動解析和識別數據的類型及數據的意義;
二、數據探索:通過人機交互的形式,幫助用戶主動發現數據質量問題。比如提供全文搜尋、數據品質熱力圖、發現規律,來發現數據中的錯誤、重複、稀疏、缺失等問題;
三、數據清洗和修改:Paxata平台的核心是語義融合和機器學習引擎。該引擎基於算法智能識別並進行數據變換以改善數據;
除了上述功能,Paxata還能夠通過人機交互的形式完成數據合併、發布、改進、分享、安全控制等數據準備的所有環節。其中一個有趣的功能是數據富集(data enrichment),能基於第三方數據庫建議用戶增加更多的變量以提升挖掘價值,並自動完成數據的轉化。他山之石可以攻玉,同類公司所關注的變量及挖掘路徑可以互相借鑑。
今天大數據之所以說起來容易、做起來難,主要是因為兩個問題,其一是數據的易用性,其二是數據處理的成本。因此,底層數據處理的自動化將愈加重要。我們需要將使用數據的經驗數據化,並把這些經驗轉化為其他公司對自己數據的理解和使用能力。
或許在不久的將來,我們就會發現只要我們對某一領域使用數據的經驗有足夠的沉澱,哪怕給我一堆毫無關係的數據,我也能根據數據經驗庫,告訴你我從中看到了什麼。世界日新月異,變化之快令人咋舌,我們數據人也只有不斷顛覆自己使用數據的能力,才能找出大數據未來的方向。
更多車品覺文章:
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。
Related Posts
Latest News
-
擁有數據素養:利用數據驅動UNSDG(韋達人博士)
數據素養是解鎖永續發展的關鍵能力。通過理解數據分析的核心邏輯,我們能精準識別社會痛點,例如運用貧困地區的經濟、教育與醫療數據,定位資源缺口,推動針對性扶貧政策;或透過收入與機會的量化分析,揭露結構性不平等,促使制度革新。
- Posted April 3, 2025
- 0
-
港建全球AI樞紐 借鑑杭州(湛家揚博士)
中國科技界近期的創新吸引了全球目光。DeepSeek及宇樹科技等初創公司,憑藉突破性的技術及機械人表演,向世界展示了杭州的科技實力。
- Posted April 3, 2025
- 0
-
本地創科動態|科大交流展介紹創新醫療
在人工智能(AI)浪潮下,醫療行業亦要不斷革新,以趕上急速的發展步伐。香港科技大學昨天舉辦「業界交流日」,以AI、生物科技及醫療科研為主題。
- Posted April 3, 2025
- 0
-
太陽AI模型|阿里太陽AI大模型預報耀斑
阿里(09988)在微信平台提到,中國科學院國家天文台與阿里雲合作,發布全球首個太陽人工智能(AI)模型「金烏」。
- Posted April 3, 2025
- 0
-
腦機介面|腦機介面解碼 助癱者「說話」
美國加州大學柏克萊與三藩市分校的研究團隊,已成功開發和優化一種創新的腦機介面技術,讓一位因腦幹中風導致癱瘓、失去語言能力長達18年的女性,藉腦波即時合成語音與文字重新「說話」。
- Posted April 3, 2025
- 0
-
AI代理|外國逾半大企業已部署AI代理 英澳佔比領先 IT客服財務部最受惠
美國數碼營運管理平台PagerDuty發布一項國際調查,在美國、英國、澳洲及日本等國家,今年2月底訪問大約1000名IT及企業高管,所有公司年收入至少5億美元。
- Posted April 3, 2025
- 0
-
我命由我不由天的創業信念(鄧淑明博士)
眾所周知,創業的成功率非常低,能慶祝開業一周年的不足一成,而可以捱過5年的普遍只得3%,而香港更低於1%。
- Posted April 2, 2025
- 0