大數據變革在數據本身(車品覺)
大數據公司最大的痛苦是什麼?不是沒有數據,而是有太多數據。各種各樣包括結構性和非結構性的數據從四面八方而來,但哪些有用?如何挑選?才是最難。
有一次,我在美國碰巧遇到谷歌的前數據部門主管,他跟我說了一件他覺得很痛苦的事:提出數據需求的人,往往70%的情況並沒有使用所獲提供的數據。他為此非常生氣,便質問業務方:「為什麼你們老問我要數據,結果卻不用?」業務方回答:「是的,因為我用了之後才知道這些數據沒有用。」對於一個每天都要準備數據的人來說,這好比你是一家餐廳的老闆,廚師每天為你準備很多菜卻只用一小部分材料。所以,我從事大數據行業一直有個夢想:如果有一天可以把數據的處理自動化,該多好!
創新方法自動清洗準備
說起數據處理的自動化,不得不提一家在數據領域有突破創新的公司Paxata,它是美國少有接地氣的自助型數據開發 (data preparation)平台。這家公司的專注領域令人興奮,因為目前市場上幾乎所有的數據分析,包括BI軟件和創新都聚焦在解決數據分析的算法、視覺化、模型等等的自動化,卻忽略了一個事實:現實工作中,數據科學家和分析師首先需要花費80%、甚至更多的時間在數據清洗和準備。Paxata採用機器學習的創新方法解決data preparation。其功能如下:
一、讀取數據:讀取任何形式的數據,自動解析和識別數據的類型及數據的意義;
二、數據探索:通過人機交互的形式,幫助用戶主動發現數據質量問題。比如提供全文搜尋、數據品質熱力圖、發現規律,來發現數據中的錯誤、重複、稀疏、缺失等問題;
三、數據清洗和修改:Paxata平台的核心是語義融合和機器學習引擎。該引擎基於算法智能識別並進行數據變換以改善數據;
除了上述功能,Paxata還能夠通過人機交互的形式完成數據合併、發布、改進、分享、安全控制等數據準備的所有環節。其中一個有趣的功能是數據富集(data enrichment),能基於第三方數據庫建議用戶增加更多的變量以提升挖掘價值,並自動完成數據的轉化。他山之石可以攻玉,同類公司所關注的變量及挖掘路徑可以互相借鑑。
今天大數據之所以說起來容易、做起來難,主要是因為兩個問題,其一是數據的易用性,其二是數據處理的成本。因此,底層數據處理的自動化將愈加重要。我們需要將使用數據的經驗數據化,並把這些經驗轉化為其他公司對自己數據的理解和使用能力。
或許在不久的將來,我們就會發現只要我們對某一領域使用數據的經驗有足夠的沉澱,哪怕給我一堆毫無關係的數據,我也能根據數據經驗庫,告訴你我從中看到了什麼。世界日新月異,變化之快令人咋舌,我們數據人也只有不斷顛覆自己使用數據的能力,才能找出大數據未來的方向。
更多車品覺文章:
支持EJ Tech
如欲投稿、報料,發布新聞稿或採訪通知,按這裏聯絡我們。
Related Posts
Latest News
-
Mind Map突顯人工智能UX革命(黃岳永)
最近Google的NotebookLM推出了全新的Mind Map功能。用戶只需點擊Mind Map按鈕,NotebookLM便能自動生成互動式思維導圖,讓你一目了然地掌握知識架構。
- Posted April 29, 2025
- 0
-
Google|英經濟可藉AI多增4萬億
谷歌(Google)日前發表報告指出,如果英國對勞動力作培訓,將可從人工智能(AI)創新中獲得4000億英鎊(約4.14萬億港元)的經濟增長,其中一半取決於勞工是否真正採用該技術。
- Posted April 29, 2025
- 0
-
AI潛在危險|AI教父再警告 小心智能叛變
被譽為「人工智能(AI)教父」的諾貝爾物理學獎得主辛頓近日接受CBS訪問時再發出警告,直言AI發展速度超出預期,人類被AI接管的可能性約10%至20%。
- Posted April 29, 2025
- 0
-
本地創科動態|理大非入侵檢測「糖尿上眼」
香港理工大學致力推動「醫工結合」,以及人工智能(AI)賦能醫學科研創新和成果轉化,最近把生成式人工智能(GenAI)應用於眼科診斷上,完全避免傳統注射顯影劑的風險。
- Posted April 29, 2025
- 0
-
筍工已過時?|AI職稱又多又亂 搵工者「𢱑頭」 熱潮上落快 「提示工程師」不再吃香
人工智能(AI)正在創造就業機會,無論上班族或急需人手的公司,今年似乎要面對新難題,就是科技職位名稱變得五花八門,職責又不清晰,稱謂不同但工作重疊,往往讓求職者摸不着頭腦。
- Posted April 29, 2025
- 0
-
小米手機|內地市佔19%稱冠
市場調研機構Canalys最新數據顯示,小米(01810)手機於今年首季在中國市場市佔率達19%,位居榜首,按年增長5個百分點。
- Posted April 28, 2025
- 0
-
全球AI發展陷十字路口(方保僑)
美國特朗普政府近期的關稅政策反覆無常,近日又全面禁止輝達(Nvidia)向中國出口特供版人工智能(AI)晶片H20,令輝達需要減記55億美元庫存與採購費用,股價單日重挫近7%。
- Posted April 28, 2025
- 0