Công nghệ Big Data

Mục Lục

Big Data là gì?
Giải pháp cho Big Data
Giải bài toán dữ liệu của VDI
Đăng ký thông tin để trải nghiệm dịch vụ của VDI ngay hôm nay!

Big Data là gì?

Big Data là tổ hợp các giải pháp xử lý dữ liệu lớn và phức tạp bao gồm:
1. Các giải pháp thu thập, tích hợp dữ liệu từ các nguồn dữ liệu.
2. Các giải pháp tổ chức, sắp xếp và lưu trữ dữ liệu.
3. Các giải pháp làm sạch, chuyển đổi dữ liệu.
4. Các giải pháp khai thác dữ liệu.

Giải pháp cho Big Data

1. Giải pháp Hồ dữ liệu - Data Lake

Tổng quan giải pháp VDI Data Lake

Hồ dữ liệu là một kho dữ liệu tập trung được thiết kế để thu thập, lưu trữ, xử lý lượng lớn dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc từ các nguồn dữ liệu khác nhau.

Hồ dữ liệu hỗ trợ chạy các loại phân tích khác nhau từ tổng quan đến trực quan hóa dữ liệu, phân tích thời gian thực, máy học, trí tuệ nhân tạo…

Hồ dữ liệu có thể lưu trữ dữ liệu ở định dạng gốc và xử lý mọi loại dữ liệu khác nhau, bỏ qua các giới hạn về kích thước mà không cần phải cấu trúc dữ liệu trước

Lý do lựa chọn giải pháp VDI Data Lake

Dữ liệu cần tích hợp ở nhiều dạng khác nhau: có cấu trúc, bán cấu trúc, phi cấu trúc.

Dữ liệu cần lưu trữ và xử lý với một lượng rất lớn và phải luôn đảm bảo sẵn sàng cho việc phân tích.

Dữ liệu thô có thể được sử dụng để phân tích, sử dụng luôn mà không cần qua xử lý, làm sạch.

Tích hợp với các giải pháp thông minh như máy học, trí tuệ nhân tạo để đưa ra các quyết định chính xác.

2. Giải pháp Kho dữ liệu - Data Warehouse

Tổng quan giải pháp VDI Data Warehouse

Tại sao phải xây dựng VDI Data Warehouse?

3. So sánh giải pháp Data Warehouse và Data Lake

Tiêu chí	Data Lake	Data Warehouse
Công nghệ sử dụng	Cơ sở dữ liệu đặt trong Hadoop hoặc một kho dữ liệu lớn.	Cơ sở dữ liệu đặt tại máy chủ của doanh nghiệp hoặc Cloud.
Nguồn dữ liệu	Tất cả dữ liệu từ thiết bị IoT, ứng dụng di động, phương tiện truyền thông xã hội, hồ sơ của doanh nghiệp.	Dữ liệu được truy xuất từ ứng dụng xử lý giao dịch trực tuyến.
Người sử dụng	Phù hợp với doanh nghiệp cần kho lưu trữ dữ liệu lớn.	Các doanh nghiệp và người dùng cá nhân.
Chất lượng dữ liệu	Do dữ liệu đến từ bất kỳ nguồn nào nên độ tin cậy kém hơn.	Độ chính xác và tin cậy cao.
Tính bảo mật	Tính bảo mật và kiểm soát người dùng thấp hơn.	Các phương pháp bảo mật hiệu quả và an toàn.
Tốc độ truy xuất dữ liệu	Tốc độ rất nhanh và có thể cấu hình lại (nếu cần).	Tốc độ chậm hơn, không linh hoạt bằng.
Hiệu suất và chi phí	Chi phí xây dựng và thiết kế khá thấp. Hiệu suất làm việc ngày càng được cải thiện và nâng cao.	Khối lượng dữ liệu càng lớn, chi phí thiết kế càng cao.

Giải bài toán dữ liệu của VDI

VDI đã xây dựng thành công giải pháp làm giàu dữ liệu cho dịch vụ số VietlottSMS và thiết kế giải pháp phân tích dữ liệu lớn, xây dựng cơ sở dữ liệu cho các ngành du lịch, tài nguyên môi trường, nông nghiệp, hành chính công,…

Ngoài ra, VDI đã nghiên cứu và cho ra đời giải pháp VED – kho dữ liệu trên nền tảng điện toán đám mây, đây là giải pháp hồ dữ liệu được phát triển theo mô hình cloud-native, hỗ trợ lưu trữ, phân tích và xử lý các loại dữ liệu đa dạng, từ nhiều nguồn khác nhau. Giải pháp giải quyết được nhiều bài toán khó về dữ liệu cho các doanh nghiệp và được vinh danh tại lễ trao giải Sao Khuê 2023 vì những đóng góp cho nền CNNT Việt Nam.