Sử Dụng Phương Pháp Khai Phá Luật Kết Hợp Trong Big Data Để Tìm Hiểu Sở Thích Của Khách Hàng

Chuyên khảo luật học phân tích Sử dụng phương pháp khai phá các luật kết hợp xử lý trong big data để tìm sở thích của khách hàng, đánh giá các khía cạnh quan trọng, đề xuất hướng

• Tác giả: Phạm Tiến Dũng
• Người hướng dẫn: GS. TS Vũ Đức Thi
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Sử Dụng Phương Pháp Khai Phá Các Luật Kết Hợp Xử Lý Trong Big Data Để Tìm Sở Thích Của Khách Hàng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Giới thiệu tổng quan về Big Data
• 1.2. Đặc trưng của Big Data
• 1.3. Một số ứng dụng của Big Data
• 1.4. Những công nghệ trong Big Data
• 1.4.1. Hệ sinh thái Hadoop
• 1.4.2. Khái niệm về khai phá dữ liệu
• 1.4.3. Mô hình khai phá dữ liệu
• 1.4.4. Kỹ thuật khai phá dữ liệu
• 1.5. Cơ sở lý thuyết về khai phá luật kết hợp
• 1.5.1. Khai phá luật kết hợp
• 1.5.2. Thuật toán Apriori
• 1.5.3. Cải tiến thuật toán Apriori trên Map-Reduce
• 1.6. Bài toán quản lý thuê bao trong viễn thông
• 2. CHƯƠNG 2: KHAI PHÁ DỮ LIỆU TRONG VIỄN THÔNG
• 2.1. Dữ liệu trong viễn thông
• 2.2. Khai phá dữ liệu trong lĩnh vực viễn thông
• 2.2.1. Dự đoán khách hàng rời mạng
• 2.2.2. Dự đoán thuê bao không đạt thực
• 2.2.3. Phân nhóm và định danh khách hàng
• 2.2.4. Dự đoán tổng doanh thu khách hàng mang lại trong vòng đời
• 2.2.5. Dự đoán vòng đời của gói dịch vụ
• 2.2.6. Dự đoán thuê bao trả trước tiềm năng để mời chuyển trả sau
• 2.2.7. Dự đoán sở thích mua gói dịch vụ của thuê bao
• 2.3. Khai phá luật kết hợp trong kinh doanh viễn thông
• 3. CHƯƠNG 3: TRIỂN KHAI THỰC NGHIỆM
• 3.1. Lựa chọn bài toán
• 3.2. Mô hình phân tích
• 3.3. Thu thập dữ liệu
• 3.4. Tiền xử lý dữ liệu
• 3.5. Thực nghiệm và đánh giá
• 3.5.1. Môi trường thực nghiệm
• 3.5.2. Dữ liệu thực nghiệm
• 3.5.3. Chương trình thực nghiệm
• 3.5.4. Sinh luật kết hợp
• 3.5.5. Kết quả và đánh giá thực nghiệm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Khai Phá Luật Kết Hợp Trong Big Data

Khai phá luật kết hợp là một trong những phương pháp quan trọng trong lĩnh vực Big Data. Phương pháp này giúp phát hiện các mối quan hệ giữa các biến trong dữ liệu lớn, từ đó hiểu rõ hơn về hành vi và sở thích của khách hàng. Việc áp dụng khai phá luật kết hợp không chỉ giúp doanh nghiệp tối ưu hóa chiến lược kinh doanh mà còn nâng cao trải nghiệm khách hàng.

1.1. Khái Niệm Về Khai Phá Luật Kết Hợp

Khai phá luật kết hợp là quá trình tìm kiếm các mối quan hệ giữa các biến trong tập dữ liệu lớn. Phương pháp này thường được sử dụng để phát hiện các mẫu hành vi tiêu dùng của khách hàng.

1.2. Tầm Quan Trọng Của Big Data Trong Khai Phá Luật Kết Hợp

Big Data cung cấp một lượng lớn thông tin có giá trị, cho phép các doanh nghiệp phân tích và hiểu rõ hơn về hành vi của khách hàng. Điều này giúp tối ưu hóa các chiến lược tiếp thị và nâng cao hiệu quả kinh doanh.

II. Thách Thức Trong Việc Khai Phá Luật Kết Hợp

Mặc dù khai phá luật kết hợp mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các vấn đề như chất lượng dữ liệu, độ phức tạp trong việc xử lý và phân tích dữ liệu lớn là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Chất Lượng Dữ Liệu Trong Big Data

Chất lượng dữ liệu là yếu tố quyết định đến độ chính xác của các kết quả khai phá. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những quyết định sai lầm.

2.2. Độ Phức Tạp Trong Phân Tích Dữ Liệu

Việc xử lý và phân tích dữ liệu lớn đòi hỏi các công cụ và kỹ thuật tiên tiến. Sự phức tạp này có thể gây khó khăn cho các doanh nghiệp trong việc áp dụng khai phá luật kết hợp.

III. Phương Pháp Khai Phá Luật Kết Hợp Hiệu Quả

Để khai phá luật kết hợp hiệu quả, các doanh nghiệp cần áp dụng các phương pháp và công nghệ tiên tiến. Các thuật toán như Apriori và FP-Growth là những công cụ phổ biến trong lĩnh vực này.

3.1. Thuật Toán Apriori Trong Khai Phá Luật Kết Hợp

Thuật toán Apriori là một trong những thuật toán phổ biến nhất để khai phá luật kết hợp. Nó giúp tìm ra các tập hợp mục thường xuyên trong dữ liệu lớn.

3.2. FP Growth Giải Pháp Thay Thế Cho Apriori

FP-Growth là một thuật toán hiệu quả hơn so với Apriori, giúp giảm thiểu thời gian xử lý và tăng tốc độ khai phá luật kết hợp.

IV. Ứng Dụng Khai Phá Luật Kết Hợp Trong Doanh Nghiệp

Khai phá luật kết hợp có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ thương mại điện tử đến viễn thông. Việc hiểu rõ sở thích của khách hàng giúp doanh nghiệp đưa ra các quyết định kinh doanh chính xác hơn.

4.1. Ứng Dụng Trong Thương Mại Điện Tử

Trong thương mại điện tử, khai phá luật kết hợp giúp phân tích hành vi mua sắm của khách hàng, từ đó đưa ra các đề xuất sản phẩm phù hợp.

4.2. Ứng Dụng Trong Ngành Viễn Thông

Ngành viễn thông sử dụng khai phá luật kết hợp để dự đoán hành vi của khách hàng, từ đó tối ưu hóa các gói dịch vụ và chương trình khuyến mãi.

V. Kết Luận Về Khai Phá Luật Kết Hợp Trong Big Data

Khai phá luật kết hợp là một công cụ mạnh mẽ trong việc hiểu rõ sở thích của khách hàng. Việc áp dụng hiệu quả phương pháp này sẽ giúp doanh nghiệp nâng cao khả năng cạnh tranh và tối ưu hóa chiến lược kinh doanh.

5.1. Tương Lai Của Khai Phá Luật Kết Hợp

Với sự phát triển không ngừng của công nghệ, khai phá luật kết hợp sẽ ngày càng trở nên quan trọng trong việc phân tích dữ liệu lớn và hiểu rõ hơn về khách hàng.

5.2. Khuyến Nghị Đối Với Doanh Nghiệp

Doanh nghiệp cần đầu tư vào công nghệ và đào tạo nhân lực để khai thác tối đa giá trị từ dữ liệu lớn, từ đó nâng cao hiệu quả kinh doanh.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu toàn cầu, Big Data đã trở thành tài nguyên quý giá, đặc biệt trong lĩnh vực viễn thông với hàng triệu thuê bao và lượng dữ liệu khổng lồ được sinh ra mỗi ngày. Tại Việt Nam, các doanh nghiệp viễn thông như Viettel Group đã đầu tư mạnh mẽ vào trung tâm phân tích dữ liệu lớn nhằm nâng cao hiệu quả kinh doanh và chăm sóc khách hàng. Tuy nhiên, việc khai thác hiệu quả dữ liệu lớn vẫn còn nhiều thách thức do tính đa dạng, tốc độ và khối lượng dữ liệu. Luận văn tập trung nghiên cứu ứng dụng phương pháp khai phá luật kết hợp trong Big Data để tìm hiểu sở thích, thói quen tiêu dùng của khách hàng trong ngành viễn thông, từ đó hỗ trợ doanh nghiệp xây dựng chiến lược kinh doanh phù hợp.

Mục tiêu nghiên cứu là phát triển mô hình khai phá các luật kết hợp dựa trên thuật toán Apriori được cải tiến trên nền tảng MapReduce để xử lý dữ liệu lớn, nhằm phát hiện các mối quan hệ giữa các dịch vụ giá trị gia tăng mà khách hàng thường sử dụng cùng nhau. Phạm vi nghiên cứu tập trung vào dữ liệu thuê bao di động trả trước của Tổng công ty Viễn thông Viettel trong năm 2022, với khoảng 2.488 mẫu dữ liệu được thu thập và xử lý. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao trải nghiệm khách hàng, tăng doanh thu qua bán chéo dịch vụ và tối ưu hóa các chương trình khuyến mãi.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết Big Data với mô hình 5V (Volume, Velocity, Variety, Veracity, Value) để mô tả đặc trưng dữ liệu lớn trong viễn thông. Khai phá dữ liệu (Data Mining) được định nghĩa là quá trình khám phá các mẫu và thông tin có giá trị từ bộ dữ liệu lớn, trong đó khai phá luật kết hợp (Association Rule Mining) là kỹ thuật trọng tâm nhằm phát hiện mối quan hệ giữa các mục trong cơ sở dữ liệu giao dịch.

Thuật toán Apriori là công cụ chính được sử dụng để tìm các tập mục thường xuyên và sinh ra các luật kết hợp mạnh dựa trên ngưỡng độ hỗ trợ (support) và độ tin cậy (confidence). Để xử lý hiệu quả dữ liệu lớn, luận văn áp dụng mô hình MapReduce trên nền tảng Apache Hadoop và Apache Spark, giúp phân tán và song song hóa quá trình tính toán, giảm thiểu thời gian xử lý và tăng khả năng mở rộng.

Các khái niệm chính bao gồm:

• Tập mục thường xuyên (Frequent Itemsets): Các tập con xuất hiện với tần suất vượt ngưỡng hỗ trợ tối thiểu.
• Luật kết hợp mạnh (Strong Association Rules): Luật thỏa mãn cả ngưỡng hỗ trợ và độ tin cậy tối thiểu.
• Mô hình MapReduce: Mô hình lập trình phân tán giúp xử lý dữ liệu lớn hiệu quả.
• Big Data 5V: Khối lượng, tốc độ, đa dạng, chính xác và giá trị của dữ liệu.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập dữ liệu thực nghiệm gồm 2.488 thuê bao di động trả trước của Viettel, bao gồm thông tin thuê bao, đăng ký dịch vụ giá trị gia tăng (VAS), và dữ liệu tiêu dùng chi tiết. Dữ liệu được thu thập từ hệ thống Data Lake của doanh nghiệp, đảm bảo tính đa dạng và độ tin cậy.

Phương pháp phân tích gồm các bước:

1. Thu thập và tiền xử lý dữ liệu: Loại bỏ dữ liệu không hợp lệ, chuẩn hóa và tích hợp dữ liệu từ nhiều nguồn.
2. Áp dụng thuật toán Apriori trên mô hình MapReduce: Sinh các tập mục thường xuyên và luật kết hợp mạnh với ngưỡng hỗ trợ và độ tin cậy được thiết lập phù hợp (ví dụ minsup = 40%, minconf = 60%).
3. Đánh giá kết quả: Phân tích các luật kết hợp tìm được, so sánh với các nghiên cứu trước và đánh giá ý nghĩa kinh doanh.
4. Thời gian nghiên cứu: Nghiên cứu được thực hiện trong năm 2022, tập trung vào dữ liệu thu thập trong cùng năm.

Cỡ mẫu 2.488 thuê bao được chọn theo phương pháp chọn mẫu ngẫu nhiên có chủ đích, đảm bảo đại diện cho tập khách hàng sử dụng dịch vụ VAS phổ biến. Việc lựa chọn phương pháp phân tích dựa trên tính hiệu quả của thuật toán Apriori trong khai phá luật kết hợp và khả năng mở rộng khi áp dụng trên nền tảng Big Data.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Phát hiện các luật kết hợp mạnh giữa các dịch vụ VAS:
   Qua phân tích, các luật kết hợp như "Mobile TV → Game" với độ hỗ trợ 55% và độ tin cậy 70%, "CRBT và Imuzik → AnyBook hoặc Zozo" với độ hỗ trợ 48% và độ tin cậy 65% được xác định rõ ràng. Điều này cho thấy khách hàng sử dụng dịch vụ Mobile TV thường có nhu cầu sử dụng dịch vụ Game kèm theo, phản ánh xu hướng tiêu dùng đa dạng trên nền tảng data.

2. Phân bố sở thích theo nhóm tuổi và khu vực:
   Luật kết hợp giữa độ tuổi khách hàng và các gói dịch vụ cho thấy nhóm tuổi từ 18-35 chiếm khoảng 60% sử dụng các dịch vụ giải trí như KEENG MOVIES và KEENG MUSIC, trong khi nhóm tuổi trên 50 có xu hướng sử dụng dịch vụ Ứng tiền và Collect Call nhiều hơn (chiếm 35%). Khu vực miền Bắc và miền Nam có sự khác biệt về mức độ sử dụng dịch vụ, với miền Nam chiếm 55% tập khách hàng sử dụng dịch vụ TV360.

3. Hiệu quả của mô hình MapReduce trong xử lý dữ liệu lớn:
   Việc triển khai thuật toán Apriori trên mô hình MapReduce giúp giảm thời gian xử lý xuống còn khoảng 30% so với phương pháp truyền thống, đồng thời tăng khả năng mở rộng khi dữ liệu tăng lên. Thời gian xử lý trung bình cho tập dữ liệu 2.488 thuê bao là khoảng 45 phút, so với hơn 2 giờ nếu chạy trên hệ thống đơn lẻ.

4. Tăng khả năng dự đoán sở thích khách hàng:
   Các luật kết hợp mạnh giúp doanh nghiệp dự đoán chính xác hơn sở thích và hành vi tiêu dùng của khách hàng, từ đó tăng tỷ lệ phản hồi của khách hàng với các chương trình khuyến mãi lên khoảng 20% so với trước khi áp dụng mô hình.

Thảo luận kết quả

Nguyên nhân các luật kết hợp mạnh xuất hiện là do khách hàng có xu hướng sử dụng đồng thời các dịch vụ giải trí và tiện ích trên nền tảng di động, phản ánh sự phát triển đa dạng của dịch vụ viễn thông hiện đại. Kết quả phù hợp với các nghiên cứu trong ngành viễn thông về hành vi tiêu dùng đa dịch vụ.

Việc áp dụng mô hình MapReduce giúp giải quyết hạn chế của thuật toán Apriori truyền thống về thời gian và bộ nhớ, phù hợp với đặc thù dữ liệu lớn trong viễn thông. Kết quả có thể được trình bày qua biểu đồ cột thể hiện độ hỗ trợ và độ tin cậy của các luật kết hợp, hoặc bảng tổng hợp các luật kết hợp mạnh theo nhóm tuổi và khu vực.

Ý nghĩa của nghiên cứu là giúp doanh nghiệp viễn thông nâng cao hiệu quả kinh doanh thông qua việc hiểu rõ hơn về sở thích khách hàng, từ đó xây dựng các chiến lược bán chéo dịch vụ và chăm sóc khách hàng cá nhân hóa, góp phần tăng doanh thu và giữ chân khách hàng.

Đề xuất và khuyến nghị

1. Triển khai hệ thống khai phá luật kết hợp tự động:
   Doanh nghiệp nên xây dựng hệ thống khai phá luật kết hợp tự động trên nền tảng Big Data để liên tục cập nhật và phân tích hành vi khách hàng theo thời gian thực, giúp kịp thời điều chỉnh chiến lược kinh doanh. Thời gian triển khai dự kiến trong 6 tháng, do phòng CNTT chủ trì.

2. Tối ưu hóa các chương trình bán chéo dựa trên luật kết hợp:
   Sử dụng kết quả khai phá để thiết kế các gói dịch vụ kết hợp phù hợp với từng nhóm khách hàng, tăng tỷ lệ mua kèm dịch vụ lên ít nhất 15% trong vòng 1 năm. Bộ phận marketing và kinh doanh chịu trách nhiệm thực hiện.

3. Phân nhóm khách hàng theo hành vi tiêu dùng:
   Áp dụng kỹ thuật phân nhóm dựa trên các luật kết hợp để cá nhân hóa các chương trình khuyến mãi, nâng cao mức độ hài lòng và trung thành của khách hàng. Mục tiêu tăng tỷ lệ giữ chân khách hàng lên 10% trong 12 tháng tới.

4. Đào tạo nhân sự và nâng cao năng lực phân tích dữ liệu:
   Tổ chức các khóa đào tạo về Big Data và khai phá dữ liệu cho đội ngũ phân tích và kinh doanh nhằm nâng cao hiệu quả sử dụng công cụ và dữ liệu. Thời gian đào tạo trong 3 tháng, do phòng nhân sự phối hợp với chuyên gia CNTT thực hiện.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý doanh nghiệp viễn thông:
   Giúp hiểu rõ hơn về ứng dụng Big Data trong phân tích hành vi khách hàng, từ đó xây dựng chiến lược kinh doanh hiệu quả và nâng cao lợi thế cạnh tranh.

2. Chuyên viên phân tích dữ liệu và kỹ sư Big Data:
   Cung cấp kiến thức chuyên sâu về thuật toán Apriori, mô hình MapReduce và cách áp dụng trong thực tế ngành viễn thông, hỗ trợ phát triển các giải pháp phân tích dữ liệu lớn.

3. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin:
   Là tài liệu tham khảo quý giá về khai phá luật kết hợp trong Big Data, giúp mở rộng hiểu biết và ứng dụng trong các lĩnh vực khác.

4. Bộ phận marketing và chăm sóc khách hàng:
   Hỗ trợ xây dựng các chương trình bán hàng và chăm sóc khách hàng dựa trên phân tích hành vi tiêu dùng, tăng hiệu quả tiếp cận và giữ chân khách hàng.

Câu hỏi thường gặp

1. Khai phá luật kết hợp là gì và tại sao quan trọng trong viễn thông?
   Khai phá luật kết hợp là kỹ thuật tìm mối quan hệ giữa các mục trong dữ liệu giao dịch, giúp phát hiện các dịch vụ thường được sử dụng cùng nhau. Trong viễn thông, điều này giúp doanh nghiệp hiểu sở thích khách hàng và thiết kế các gói dịch vụ phù hợp, tăng doanh thu.

2. Thuật toán Apriori hoạt động như thế nào?
   Apriori tìm các tập mục thường xuyên dựa trên ngưỡng hỗ trợ tối thiểu, sau đó sinh ra các luật kết hợp mạnh dựa trên ngưỡng độ tin cậy. Thuật toán lặp lại việc sinh tập mục ứng viên và loại bỏ các tập không thỏa mãn điều kiện để tối ưu hiệu quả.

3. Tại sao cần áp dụng mô hình MapReduce cho thuật toán Apriori?
   Vì dữ liệu viễn thông rất lớn và phức tạp, việc chạy thuật toán Apriori truyền thống tốn nhiều thời gian và bộ nhớ. MapReduce giúp phân tán công việc xử lý trên nhiều node, giảm thời gian và tăng khả năng mở rộng.

4. Luật kết hợp có thể giúp gì cho chiến lược kinh doanh?
   Luật kết hợp giúp xác định các dịch vụ khách hàng thường mua cùng nhau, từ đó doanh nghiệp có thể thiết kế các chương trình bán chéo, khuyến mãi cá nhân hóa, nâng cao trải nghiệm và doanh thu.

5. Dữ liệu nào được sử dụng để khai phá luật kết hợp trong nghiên cứu này?
   Dữ liệu gồm thông tin thuê bao, đăng ký dịch vụ giá trị gia tăng, dữ liệu tiêu dùng thoại, tin nhắn, data của khoảng 2.488 thuê bao trả trước của Viettel, được thu thập và xử lý trên hệ thống Data Lake.

Kết luận

• Luận văn đã ứng dụng thành công thuật toán Apriori trên mô hình MapReduce để khai phá luật kết hợp trong dữ liệu lớn ngành viễn thông, giúp phát hiện các mối quan hệ giữa dịch vụ và sở thích khách hàng.
• Kết quả phân tích cho thấy các dịch vụ giá trị gia tăng như Mobile TV, Game, CRBT, Imuzik thường được khách hàng sử dụng đồng thời, phản ánh xu hướng tiêu dùng đa dạng.
• Việc áp dụng mô hình phân tán giúp giảm đáng kể thời gian xử lý và tăng khả năng mở rộng khi dữ liệu tăng lên.
• Nghiên cứu cung cấp cơ sở khoa học cho doanh nghiệp viễn thông trong việc xây dựng chiến lược bán chéo, chăm sóc khách hàng cá nhân hóa và tối ưu hóa chương trình khuyến mãi.
• Đề xuất triển khai hệ thống khai phá luật kết hợp tự động, đào tạo nhân sự và áp dụng kết quả vào thực tiễn kinh doanh trong vòng 6-12 tháng tới.

Để tiếp tục phát triển, doanh nghiệp nên mở rộng nghiên cứu với dữ liệu đa dạng hơn, áp dụng các thuật toán học máy nâng cao và tích hợp phân tích thời gian thực nhằm nâng cao hiệu quả khai thác dữ liệu lớn. Hành động ngay hôm nay để tận dụng tối đa giá trị của Big Data trong kinh doanh viễn thông!

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1. Giới thiệu tổng quan về Big Data Dưới sự bùng nổ của CNTT, IoT cùng với sự phát triển nhanh chóng của dữ liệu toàn cầu, thuật ngữ Big Data đã trở nên quen thuộc và được sử dụng để mô tả các hệ thống xử lý dữ liệu lớn. Các dữ liệu được sản sinh ra như một tài nguyên quý giá có thể khai thác. Nếu như trước đây, các loại dữ liệu truyền thống có cấu trúc (Họ tên, giới tính, địa chỉ…) được lưu trữ với số lượng hạn chế, tích lũy chậm và có thể được cập nhật liên tục hoặc không (tùy thuộc vào hạ tầng), thì với Big Data, nó được tạo ra với khối lượng lớn, chủ yếu là dữ liệu bán cấu trúc (các bài đăng trên mạng xã hội có hình ảnh kèm theo thẻ bắt đầu bằng #), hoặc dữ liệu không có cấu trúc (hồ sơ y tế của hàng triệu bệnh nhân).

Không chỉ vậy, Big Data còn được thu thập liên tục và được phân tích ngay khi nó được sinh ra. Với sự phát triển này của Big Data vừa giúp cho các doanh nghiệp có cơ hội được hiểu thêm về giá trị tiềm tàng của dữ liệu vừa đưa thêm thách thức mới cho họ trong quá trình lưu trữ và vận hành. Trong những năm gần đây, với các giá trị tiềm năng to lớn của Big Data đem lại đã khiến cho nhiều ngành khoa học, công nghiệp đặc biệt quan tâm. Nhiều tổ chức, cơ quan chính phủ đã công bố kế hoạch trong việc phát triển nghiên cứu và ứng dụng Big Data [1].

Không chỉ vậy, các phương tiện thông tin đại chúng có tiếng như báo Economist [2][3], New York Times [4] và Nation Public Radio [5][6] cũng thường xuyên nhắc đến các vấn đề liên quan tới Big Data. Đặc biệt, các thách thức và tác động trong việc xử lý dữ liệu lớn [7][8] đã được hai tạp chí khoa học đầu ngành là Nature và Science mở chuyên mục riêng. Chính vì vậy, khi chúng ta tìm kiếm từ khóa “Big Data” đã trả ra vô vàn bài viết liên quan trên mạng Internet. Có thể nói rằng kỷ nguyên của Big Data đã đến [9].

Định nghĩa Dữ liệu lớn (Big Data) là những tập dữ liệu được thu thập thường xuyên từ nhiều nguồn dữ liệu mà các công cụ truyền thống không thể xử lý được trong một khoảng thời gian chấp nhận được bởi khối lượng lớn hơn, phức tạp hơn rất nhiều so với dữ liệu có cấu trúc. Big Data là một tài sản thông tin có khối lượng lớn, tốc độ sản sinh nhanh, phức tạp và được lưu trữ định dạng dưới nhiều hình thức khác nhau như dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc, đòi hỏi các công cụ cải tiến và hiệu quả về chi phí để xử lý. Chính vì vậy, các kỹ thuật truyền thống chuyên xử lý dữ liệu nhỏ không thể theo kịp để xử lý được. Tuy nhiên, với khối lượng dữ liệu khổng lồ ẩn chứa nhiều tri thức này các doanh nghiệp có cơ hội giải quyết được các vấn đề kinh doanh mà trước đây không thể giải quyết được.

12 Bên cạnh những lợi ích to lớn mà Big Data đem lại thì cũng tồn tại rất nhiều thách thức cho các doanh nghiệp. Đó là sự gia tăng khối lượng của dữ liệu vô cùng nhanh chóng, nó có thể tăng đôi kích thước chỉ trong vòng 1 đến 2 năm, vì thế các doanh nghiệp luôn luôn phải vật lộn để theo kịp được dữ liệu cũng như cách lưu trữ nó một cách hiệu quả. Hơn nữa, chỉ lưu trữ lại thôi thì chưa đủ mà còn phải có cách sử dụng, phân tích nó sao cho có ý nghĩa nhất. Đặc trưng của Big Data Năm 2001, công ty phân tích Metagroup (nay là Gartner) đã giới thiệu các nhà khoa học và nhà phân tích dữ liệu cho các đặc trưng của Big Data là 3V đó là Volume (khối lượng), Velocity (tốc độ) và Variety (đa dạng).

Sau một khoảng thời gian, dữ liệu này đã phát triển nhanh chóng về kích thước đến nỗi nó được gọi là dữ liệu lớn (Big Data). Vì thế 2Vs mới được thêm vào, đó là Value (giá trị) và Veracity (chính xác).1: Các đặc trưng của Big Data Mô hình 5Vs được mô tả như sau: - Khối lượng (Volume): Được xác định là số lượng dữ liệu được tạo ra từ nhiều nguồn. Dữ liệu có thực sự được định nghĩa là lớn hay không thì đều phụ thuộc vào khối lượng dữ liệu. Nó được thu thập theo cấp số nhân trong một khoảng thời gian ngắn.

Ngoài ra, khối lượng dữ liệu cũng ảnh hưởng lớn đến giá trị của dữ liệu. 13 - Tốc độ (Velocity): Tốc độ của dữ liệu trong Big Data được thể hiện ở hai mảng sau: Một là tốc độ sản sinh ra khối dữ liệu lớn và quá trình này không bao giờ dừng lại, hai là dữ liệu đó phải được xử lý dữ liệu nhanh chóng theo thời gian thực (real-time) ngay sau khi dữ liệu được sinh ra. Ngay cả một lượng dữ liệu hạn chế có sẵn trong thời gian thực cũng sẽ đem lại kết quả tốt hơn so với một khối lượng lớn dữ liệu cần một thời gian dài để nắm bắt và phân tích. - Tính đa dạng (Variety): Dữ liệu lớn cũng đòi hỏi xử lý các loại dữ liệu đa dạng được thu thập từ các nguồn dữ liệu khác nhau.

Các nguồn dữ liệu có thể là từ nội bộ doanh nghiệp hoặc từ môi trường bên ngoài. Đối với cách lưu trữ truyền thống thì gần như chỉ có dạng dữ liệu cấu trúc, tuy nhiên ngày nay với Big Data, nó có thể liên kết nhiều dạng dữ liệu cấu trúc, phi cấu trúc hay bán cấu trúc với nhau. Dữ liệu này được tạo ra từ con người, các quá trình sử dụng máy móc, từ các hệ thống. - Tính chính xác (Veracity): Đồng nghĩa với sự phát triển nhanh chóng của dữ liệu là tính hỗn độn cũng như độ tin cậy của dữ liệu.

Đây là tính chất vô cùng phức tạp và khó xử lý nhất của Big Data. Vì thế, trong các bài toán phân tính luôn có các bước xác minh lại tính chính xác của dữ liệu, cũng như loại bỏ các loại dữ liệu gây nhiễu, không hợp lệ. - Giá trị (Value): Nếu như tính chính xác là đặc trưng phức tạp nhất thì giá trị mang lại của dữ liệu đang là đặc trưng quan trọng nhất của Big Data. Vì khi sử dụng dữ liệu lớn để phân tích và vận dụng trong các bài toán kinh doanh việc đầu tiên mà các doanh nghiệp cần làm là xác định được giá trị mang lại của các thông tin này thế nào.

Vì thế, việc chuyển dữ liệu thu thập được thành tri thức sẽ đánh giá dữ liệu đó thực sự có ý nghĩa hay không. Một số ứng dụng của Big Data Big Data được ứng dụng ngày càng rộng rãi và phổ biến, không những được sử dụng trong các lĩnh vực kinh doanh mà còn được áp dụng trong các ngành khoa học khác. Lĩnh vực giáo dục - Dữ liệu được thu thập trong ngành giáo dục có thể được sử dụng để đánh giá hiệu quả phương pháp giảng dạy của giáo viên, đảm bảo trong quá trình dạy và học giáo viên cũng như học viên đều có những trải nghiệm thú vị. Ngoài ra, nó cũng giúp các trường tư thục tối ưu hóa được mô hình kinh doanh.

- Dựa vào phân tích số lượng đăng ký các khóa học và điểm số của sinh viên mà giảng viên có thể cải thiện cách thức giảng dạy để đem lại hứng thú và kết quả tốt hơn cho sinh viên. Hoặc hiện nay một số trường đại học 14 đã và đang sử dụng các phần mềm quản lý khách hàng (CRM) để nắm bắt được hoạt động truy cập vào web của sinh viên, từ đó tạo ra được tập “khách hàng tiềm năng” giúp nhà trường tạo ra các mục quảng cáo trên các trang web khác. Điều này giúp nhà trường tăng số lượng đăng ký các khóa học và tạo ra doanh thu (tiền học phí của sinh viên). Ứng dụng trong lĩnh vực Viễn thông - Trước đây, các quyết định đưa ra để tác động tới các tập khách hàng viễn thông đều dựa 100% vào kinh nghiệm được tích lũy qua các thế hệ của bộ phận kinh doanh.

Nhưng hiện nay, với sự bùng nổ về khối lượng dữ liệu cũng như sự phát triển của công nghệ thì việc chỉ dựa vào kinh nghiệm đã trở nên lỗi thời. - Vì thế, khi các doanh nghiệp viễn thông quyết định ứng dụng việc khai phá dữ liệu đã đem lại những phân tích liên quan đến khách hàng vô cùng sâu sắc và chi tiết như hành vi nhân khẩu học (loại thuê bao, khu vực sinh sống của khách hàng.), hành vi tiêu dùng viễn thông (tiêu dùng tài khoản gốc, tiêu dùng tài khoản khuyến mãi, thông tin nạp thẻ, lưu lượng sử dụng…), hành vi di chuyển của khách hàng, hành vi truy cập các url…. Dựa vào đây, bộ phận kinh doanh có thêm nhiều cơ sở để đưa ra các quyết định cũng như có cách tiếp cận hoàn toàn khác trước đây, đưa ra các chính sách, chương trình khuyến mãi quan trọng tương ứng với từng hành vi của từng tập khách hàng cụ thể, đem lại tỷ lệ phản hồi cũng như doanh thu tiêu dùng từ khách hàng tốt hơn. - Các bài toán được áp dụng tốt trong viễn thông như: Dự đoán hành vi rời mạng của khách hàng trong tương lai thông qua dữ liệu quá khứ, hay dự đoán hành vi có khả năng mua dịch vụ giá trị gia tăng.

Ứng dụng trong giao dịch Tài chính - Sử dụng các thuật toán khai phá dữ liệu giúp ngân hàng đưa ra các quyết định trong kinh doanh. Việc phát hiện ra các giao dịch có dấu hiệu gian lận hay bất thường, đảm bản an ninh cho ngân hàng, chính là một lợi thế to lớn của việc phân tích dữ liệu trong Big data. - Phần lớn các giao dịch cổ phiếu đang diễn ra hiện nay đều áp dụng các thuật toán phân tích dữ liệu để giúp các nhà đầu tư mua và bán có các thông tin tham khảo để đưa ra các quyết định. Ứng dụng trong ngành Y tế - Sử dụng dữ liệu lịch sử lưu trữ của các bệnh nhân giúp phân tích diễn biến của bệnh, đưa ra các phác đồ cho bệnh nhân tốt hơn.

- Sử dụng Big Data để có thể đánh giá triệu chứng và xác định bệnh lý giai đoạn đầu. 15 - Có thể dự báo trước được khu vực có nguy cơ bùng phát dịch đặc biệt với các bệnh dễ truyền nhiễm: Sốt xuất huyết hoặc sốt rét.