Big Data là tổ hợp các giải pháp để xử lý dữ liệu lớn và phức tạp bao gồm:
Các giải pháp thu thập, tích hợp dữ liệu từ các nguồn dữ liệu
Các giải pháp tổ chức, sắp xếp và lưu trữ dữ liệu
Các giải pháp làm sạch, chuyển đổi dữ liệu
Các giải pháp khai thác dữ liệu
Xu hướng công nghệ Big Data
CSDLvà phân tích dữ liệu lớn (Big Data) là nền tảng bao trùm cho các công nghệ khác như trí tuệ nhân tạo (AI), điện toán đám mây (Cloud Computing)… kết hợp, xâu chuỗi giá trị.
Theo số liệu thống kê của Fortune 1000 firms report, trong số các doanh nghiệp và công ty được phỏng vấn, có khoảng 63% công ty xác nhận họ sẵn sàng chi chơn 10 triệu USD cho công nghệ Big Data và có khoảng 27% sẽ đầu tư hơn 50 triệu USD cho công nghệ này; 70% công ty xác nhận Big Data đóng vai trò sống còn và thực sự quan trọng đối với quá trình phát triển của doanh nghiệp.
Ứng dụng Big Data trong cuộc sống
Web Search (Google), những từ điển trực tuyến như Wikipedia là một trong những ứng dụng big data phổ biến có thể thấy trong cuộc sống hằng ngày.
Một sản phẩm giá trị thành công khác từ việc phân tích dữ liệu Big Data đó chính là dịch vụ vận tải khách Uber, Grab, Be…. Dữ liệu thu thập được là hành trình di chuyển của phương tiện vận chuyển (xe hơi, taxi) theo thời gian thực và vị trí của các thiết bị di động người dùng (điện thoại smartphone).
Một số ứng dụng trên thiết bị di động mobile device như Tala cho phép kiểm tra trạng thái Credit Status (cho phép vay vốn hoặc không cho phép) ở Kenya cho phép tổ chức tín dụng sở hữu chương trình Tala truy cập dữ liệu của người dùng smartphone. Tổ chức này sau đó có thể thu thập được hơn 10.000 data point khác nhau, sau khi thu thập thông tin và phân tích bằng giải thuật hợp lý, từ đó tổ chức tín dụng này đánh được các nhu cầu của người dùng, đánh giá được nguồn thu nhập ổn định của các đối tượng khách hàng và lọc ra được những đối tượng nào có khả năng thanh toán khoản vay rồi tung ra các gói tín dụng cho vay có giá trị từ 50$ tới 500% với tỷ lệ 95% khoản vay đã được thu hồi thành công; đây là điều mà bất kỳ ngân hàng tín dụng nào đều ao ước tới.
Một số giải pháp về thuật toán phân tích dữ liệu Big Data (Big Data Analytics as a Service solution) có thể kể đến như Wipro chạy trên nền tảng Microsoft Azure Data Discovery Platform có thể được áp dụng đối với các doanh nghiệp và tổ chức như ngân hàng banking, tổ chức tín dụng financial service, cửa hàng retail, năng lượng enery, giáo dục education và sản xuất manufacturing; giải pháp phân tích dữ liệu Data Analytics Meister Service của Hitachi.
Giải pháp chính cho Big Data ở Việt Nam
Data Lake
Data warehouse
VDI đã xây dựng thành công giải pháp làm giàu dữ liệu cho dịch vụ số VietlottSMS và thiết kế giải pháp phân tích dữ liệu lớn, xây dựng cơ sở dữ liệu cho các ngành Du lịch, tài nguyên môi trường, nông nghiệp, hành chính công, hồ sơ điện tử…