Big Data

十大常見大數據的誤解(二)

十大常見大數據的誤解(二) 此篇是繼上篇 “十大常見大數據的誤解(一)“,的六到十點!讓我們繼續吧!

此篇是繼上篇 “十大常見大數據的誤解(一)“,的六到十點!讓我們繼續吧!

誤解六:大數據是取代原本的資料庫

大數據的用途並不是要取代原本使用的資料庫系統,每一種技術都有它存在的原因。像是傳統的資料庫像是 MySQL, PostgreSQL 他的重點是數據一致性、可用性是要讓資料得到即時正確的資料。

不同的資料庫都著不同的 Trade-off,也造成他們各自適合解決不同情境的問題,讓我們看看最著名的 CAP 理論

  1. 一致性 (Consistency):從客戶端 (Client-side) 獲取資料時,須保證回傳最新且一致的資料。
  2. 可用性 (Availability):其中一個節點故障後,整體系統的回應不能受到影響。
  3. 分區容忍性 (Partition-Tolerance):分散式系統在面對分區網路故障時,仍然能持續運作。
圖片來源:https://www.researchgate.net/figure/CAP-theorem-with-databases-that-choose-CA-CP-and-AP_fig1_282519669

CAP 理論是指分散式系統只能滿足三項中(Consistency, Availability 和 Partition Tolerance)的其中兩項。

所以當建置您的大數據的技術的時候,並不是要取代原本的資料庫。舉一個例子,NoSQL 資料庫會有 replication 避免數據的遺失,但是他並不會確保數據的強一致性。以電商或銀行來說,你一定不想看到顧客的刷卡資料被重複進行吧?這時候一致性就是非常重要的。

所以大數據技術,並不是要取代你現在的資料庫,而是必須因應不同情境使用不同資料庫。

誤解七:導入大數據後公司就數據升級

大數據的數據升級,是需要整個公司的團隊、包含從上到下的觀念升級才是大數據技術能夠得到最完善的應用。

大數據可以幫助不論在戰略決策、人才協作、企業管理都能達到極大化。但是這需要所有企業從上到下觀念改變導入,才能做到最有效的應用。

如第一篇所看到的大數據的導入,是昂貴的。如果企業真的想要導入,需要先把企業上到下的觀念調整以及改變。

誤解八:大數據是必須且萬能的

大數據並不是必須的,也不是每個企業都要導入,並不能解決你所有的問題。需要到數據量到一定的程度,資料來源多且難以維護,或是資料應用情境複雜時,才會需要使用。

一般大數據的導入,是需要非常多的專業的導入以及維護。來源多且數據量大需要把數據據合併分析時才是較適合導入的時候。

誤解九:只要有資訊部門的人會就好

這張圖是一個基本上,企業內部要導入大數據所需要的流程。可以看到各階段都需要專業的人才維護像是從 Database Admin, ETL developer, Data Engineer, Data Analyst, 以及 Data Scientist。

一般這個流程並不是單一個人就能夠完成的,需要多個不同人才的協作才能完整建置這整套流程。

誤解十:大數據就會有商業成果

參考『誤解七』內容。

很多人誤以為大數據是一個對所有數據的解法,但他並不是。而是一個全新的數據策略的導入,他是一項新的技術導入到企業中。要發揮出他的成效,需要企業所有人的努力。


希望這兩篇的內容可以讓您更認識大數據,也讓您更了解大數據的使用情境!如有任何想法或是疑問歡迎與我們聯絡、或是留言討論喔!


想導入大數據嗎?

Canner, Inc 讓企業導入數據導向決策更簡單。Canner, Inc 所開發的 CannerFlow 是一個 Cloud-Native 的數據管理平台,解決在 Cloud Providers 上面的缺點專業人才、流程複雜、操作不易, CannerFlow 內建的數據整合系統可以節省大部分製作 ETL 流程。幫助企業導入數據分析流程更省錢快速地得到 Data-driven insights!

2 comments

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s

%d bloggers like this: