Luận văn Thạc sĩ: Phân tích dữ liệu trên bảng quyết định trong hệ thống Big Data

Khám phá phân tích dữ liệu Big Data trên bảng quyết định. Luận văn trình bày phương pháp cải thiện quy trình ra quyết định chính xác, hiệu quả.

• Tác giả: Trần Anh Việt
• Người hướng dẫn: GS.TS Vũ Đức Thi
• Trường học: Học Viện Công Nghệ Bưu Chính Viễn Thông
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Nghiên cứu một số phương pháp phân tích dữ liệu trên bảng quyết định trong hệ thống dữ liệu lớn
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Tóm tắt

I. Toàn cảnh phân tích dữ liệu trên bảng quyết định Big Data

Sự bùng nổ của dữ liệu lớn (Big Data) đã mở ra một kỷ nguyên mới cho khoa học dữ liệu, đặt ra yêu cầu cấp thiết về các phương pháp phân tích hiệu quả. Trong bối cảnh đó, bảng quyết định (decision table) nổi lên như một công cụ biểu diễn tri thức mạnh mẽ, đặc biệt trong các hệ hỗ trợ quyết định. Luận văn này tập trung nghiên cứu các phương pháp phân tích dữ liệu trên bảng quyết định, một hướng đi chiến lược để khai thác giá trị tiềm ẩn từ các tập dữ liệu khổng lồ. Việc làm chủ các kỹ thuật này không chỉ là một thách thức kỹ thuật mà còn là chìa khóa để tạo ra lợi thế cạnh tranh trong nhiều lĩnh vực. Nội dung bài viết sẽ đi sâu vào các khái niệm nền tảng, từ lý thuyết tập thô đến các thuật toán rút gọn thuộc tính tiên tiến, cung cấp một cái nhìn tổng quan và sâu sắc về lĩnh vực này. Đây là tài liệu tham khảo giá trị cho các nhà nghiên cứu, kỹ sư dữ liệu và học viên cao học chuyên ngành Công nghệ thông tin, dựa trên một báo cáo khoa học uy tín.

1.1. Vai trò của bảng quyết định trong khoa học dữ liệu hiện đại

Bảng quyết định là một dạng biểu diễn đặc biệt của hệ thông tin, được định nghĩa là một hệ thống DS=(U,C∪D,V,f). Trong đó, tập thuộc tính được chia thành hai tập con rời nhau: tập thuộc tính điều kiện (C) và tập thuộc tính quyết định (D). Mô hình này rất phổ biến trong thực tế, nơi các giá trị của thuộc tính điều kiện cung cấp thông tin để suy ra giá trị của thuộc tính quyết định. Trong lĩnh vực học máy (machine learning) và khai phá dữ liệu (data mining), bảng quyết định là nền tảng để xây dựng các mô hình phân lớp, chẳng hạn như cây quyết định. Khả năng biểu diễn các quy tắc logic một cách rõ ràng giúp con người dễ dàng diễn giải và kiểm chứng, làm cho nó trở thành một công cụ không thể thiếu trong các hệ chuyên gia và hệ hỗ trợ quyết định (decision support system). Một bảng quyết định được xem là nhất quán nếu tồn tại một phụ thuộc hàm từ tập thuộc tính điều kiện đến tập thuộc tính quyết định (C → D).

1.2. Lý do xử lý dữ liệu lớn Big Data trở thành xu hướng

Thuật ngữ Big Data mô tả các tập dữ liệu có quy mô vượt xa khả năng xử lý của các công cụ phần mềm truyền thống. Theo Gartner, Big Data được định nghĩa qua ba đặc trưng cốt lõi (3Vs): Volume (Khối lượng lớn), Velocity (Tốc độ cao), và Variety (Tính đa dạng). Các hệ thống hiện đại thu thập dữ liệu từ vô số nguồn như mạng xã hội, thiết bị IoT, và giao dịch thương mại, tạo ra một lượng thông tin khổng lồ và phức tạp. Việc xử lý dữ liệu lớn không chỉ là một thách thức về lưu trữ mà còn là cơ hội để khám phá tri thức ẩn, tối ưu hóa hoạt động và đưa ra quyết định kinh doanh thông minh. Các công nghệ như Hadoop và Spark đã ra đời để giải quyết bài toán xử lý dữ liệu phân tán, cho phép phân tích hiệu quả các tập dữ liệu có kích thước lên tới Petabyte. Đây là nền tảng công nghệ quan trọng được đề cập trong các luận án thạc sĩ CNTT hiện nay.

II. Thách thức trong xử lý dữ liệu lớn trên bảng quyết định

Việc áp dụng phân tích dữ liệu trên bảng quyết định vào môi trường Big Data phải đối mặt với nhiều thách thức đáng kể. Vấn đề cốt lõi không chỉ nằm ở dung lượng lưu trữ mà còn ở độ phức tạp tính toán khi số lượng thuộc tính và đối tượng tăng lên theo cấp số nhân. Các thuộc tính dư thừa không chỉ làm tăng chi phí tính toán mà còn có thể gây nhiễu, làm giảm độ chính xác của các mô hình học máy. Các phương pháp phân tích truyền thống, vốn được thiết kế cho các bộ dữ liệu nhỏ, thường tỏ ra kém hiệu quả và không thể mở rộng. Do đó, việc nghiên cứu các kỹ thuật tiền xử lý dữ liệu, đặc biệt là rút gọn thuộc tính, trở nên cực kỳ quan trọng. Mục tiêu là tìm ra một tập con tối thiểu các thuộc tính mà vẫn bảo toàn được khả năng phân lớp của bảng quyết định ban đầu, từ đó giảm thiểu tài nguyên tính toán và nâng cao hiệu suất cho các hệ thống khai phá dữ liệu.

2.1. Vấn đề dư thừa thuộc tính và độ phức tạp tính toán

Trong thực tế, các bảng quyết định thường chứa nhiều thuộc tính dư thừa hoặc không liên quan. Các thuộc tính này không đóng góp thêm thông tin cho việc phân lớp nhưng lại làm tăng đáng kể kích thước không gian tìm kiếm và độ phức tạp của thuật toán. Ví dụ, việc tìm tất cả các tập rút gọn của một bảng quyết định là một bài toán có độ phức tạp thời gian là hàm mũ đối với số thuộc tính điều kiện. Đối với các hệ thống Big Data với hàng trăm hoặc hàng ngàn thuộc tính, cách tiếp cận này trở nên không khả thi. Sự có mặt của các thuộc tính dư thừa thực sự (thuộc tính không xuất hiện trong bất kỳ tập rút gọn nào) là một rào cản lớn. Việc loại bỏ chúng trước khi thực hiện các nhiệm vụ khai phá dữ liệu là một bước đi chiến lược, giúp giảm thời gian xử lý và cải thiện chất lượng của tri thức được khám phá.

2.2. Hạn chế của các phương pháp truyền thống khi gặp Big Data

Các hệ thống quản lý cơ sở dữ liệu quan hệ (RDBMS) truyền thống được thiết kế cho dữ liệu có cấu trúc và gặp nhiều khó khăn khi xử lý tính đa dạng của Big Data (dữ liệu bán cấu trúc, phi cấu trúc). Tương tự, nhiều thuật toán data mining cổ điển không được xây dựng với khả năng mở rộng và xử lý song song. Khi áp dụng trên các tập dữ liệu lớn, chúng thường gặp phải các vấn đề về hiệu suất, bộ nhớ và thời gian thực thi. Chẳng hạn, một số thuật toán yêu cầu tải toàn bộ dữ liệu vào bộ nhớ, điều này là bất khả thi với các tập dữ liệu hàng Terabyte. Do đó, cần có một sự thay đổi cơ bản về kiến trúc tính toán và cơ chế xử lý, chuyển sang các mô hình xử lý dữ liệu phân tán như MapReduce để có thể phân tích dữ liệu trên bảng quyết định một cách hiệu quả trong môi trường Big Data.

III. Phương pháp Lý thuyết tập thô để rút gọn thuộc tính hiệu quả

Lý thuyết tập thô (Rough Set Theory), do Z. Pawlak đề xuất, là một công cụ toán học mạnh mẽ để xử lý các dữ liệu không chắc chắn và không đầy đủ. Đây là phương pháp tiếp cận cốt lõi được nghiên cứu trong luận văn thạc sĩ kỹ thuật này để giải quyết bài toán rút gọn thuộc tính trong các bảng quyết định. Thay vì yêu cầu dữ liệu chính xác tuyệt đối, lý thuyết này sử dụng các khái niệm xấp xỉ dưới và xấp xỉ trên để biểu diễn một tập hợp đối tượng dựa trên tri thức sẵn có. Cách tiếp cận này cho phép loại bỏ các thuộc tính dư thừa mà không làm mất thông tin quan trọng cần cho việc phân lớp. Việc áp dụng lý thuyết tập thô giúp tìm ra các thuộc tính cốt yếu (tập lõi) và các tập thuộc tính tối thiểu (tập rút gọn), từ đó đơn giản hóa mô hình dữ liệu, tăng tốc độ tính toán và cải thiện hiệu quả của quá trình khai phá dữ liệu.

3.1. Các khái niệm cơ bản của Lý thuyết tập thô Rough Set Theory

Nền tảng của Lý thuyết tập thô dựa trên khái niệm hệ thông tin IS=(U, A), trong đó U là tập các đối tượng và A là tập các thuộc tính. Mỗi tập con thuộc tính P ⊆ A xác định một quan hệ không phân biệt được IND(P), phân hoạch U thành các lớp tương đương. Với một tập đối tượng X ⊆ U, ta có thể xấp xỉ nó bằng hai tập: xấp xỉ dưới (BX) và xấp xỉ trên (BX). Xấp xỉ dưới bao gồm các đối tượng chắc chắn thuộc X, trong khi xấp xỉ trên chứa các đối tượng có khả năng thuộc X. Miền biên BNB(X) = BX - BX chứa các đối tượng không thể phân loại chắc chắn. Nếu miền biên rỗng, tập X được gọi là tập rõ (crisp); ngược lại, nó là tập thô (rough). Các khái niệm này là cơ sở để định nghĩa miền dương POSB(D), một yếu tố quan trọng để đánh giá chất lượng phân lớp và thực hiện rút gọn thuộc tính.

3.2. Định nghĩa tập rút gọn và tập lõi trong bảng quyết định

Trong một bảng quyết định, rút gọn thuộc tính là quá trình tìm một tập con nhỏ nhất của tập thuộc tính điều kiện C mà vẫn bảo toàn thông tin phân lớp của bảng. Một tập R ⊆ C được gọi là một tập rút gọn (reduct) nếu nó thỏa mãn hai điều kiện: (1) POSR(D) = POSC(D), tức là khả năng phân lớp không thay đổi; và (2) R là tối thiểu, tức là không thể loại bỏ bất kỳ thuộc tính nào khỏi R mà vẫn giữ được điều kiện (1). Tập lõi (core) là tập hợp tất cả các thuộc tính cần thiết, tức là giao của tất cả các tập rút gọn. Thuộc tính lõi là thuộc tính không thể bị loại bỏ. Các thuộc tính không thuộc lõi nhưng có mặt trong ít nhất một tập rút gọn được gọi là thuộc tính rút gọn. Các thuộc tính còn lại được xem là dư thừa và có thể loại bỏ hoàn toàn.

IV. Top 3 thuật toán phân tích bảng quyết định được nghiên cứu

Dựa trên nền tảng Lý thuyết tập thô, luận văn thạc sĩ kỹ thuật này đã đi sâu vào việc thiết kế và phân tích các thuật toán cụ thể để giải quyết các bài toán liên quan đến tập rút gọn. Việc lựa chọn thuật toán phù hợp phụ thuộc vào mục tiêu của bài toán: liệu có cần tìm tất cả các thuộc tính quan trọng, chỉ cần một giải pháp tối ưu, hay phải khám phá toàn bộ không gian các giải pháp. Các thuật toán này có độ phức tạp khác nhau, từ đa thức đến hàm mũ, và được thiết kế để áp dụng cho các bảng quyết định nhất quán. Sự hiểu biết về cách hoạt động và hiệu quả của từng thuật toán là rất quan trọng để xây dựng các hệ hỗ trợ quyết định thông minh và hiệu quả, đặc biệt trong môi trường xử lý dữ liệu lớn. Phần này sẽ trình bày chi tiết ba thuật toán tiêu biểu, bao gồm thuật toán tìm tất cả các thuộc tính rút gọn, thuật toán tìm một tập rút gọn, và thuật toán tìm họ tất cả các tập rút gọn.

4.1. Thuật toán tìm tất cả các thuộc tính rút gọn đa thức

Bài toán tìm tất cả các thuộc tính rút gọn là xác định tập hợp các thuộc tính xuất hiện trong ít nhất một tập rút gọn. Thay vì phải sinh ra tất cả các tập rút gọn (một công việc có độ phức tạp hàm mũ), nghiên cứu này đề xuất một thuật toán hiệu quả hơn. Thuật toán này dựa trên một kết quả quan trọng trong cơ sở dữ liệu quan hệ của Demetrovics J.D. Bằng cách chuyển đổi bảng quyết định thành một quan hệ và tính toán các "hệ bằng nhau" (equality sets), thuật toán có thể xác định tập tất cả thuộc tính rút gọn với độ phức tạp thời gian đa thức theo số đối tượng (m) và số thuộc tính (n), cụ thể là O(m⁴n). Đây là một bước tiến quan trọng, giúp việc tiền xử lý dữ liệu và loại bỏ thuộc tính dư thừa thực sự trở nên khả thi trên các bộ dữ liệu lớn, làm nền tảng cho các thuật toán học máy như thuật toán C4.5 hay thuật toán ID3.

4.2. Hướng dẫn tìm một tập rút gọn tối ưu cho hệ hỗ trợ quyết định

Trong nhiều ứng dụng thực tế, việc tìm chỉ một tập rút gọn tốt là đủ, thay vì tìm tất cả. Thuật toán được trình bày trong luận văn là một thuật toán heuristic, có độ phức tạp tính toán đa thức. Thuật toán hoạt động bằng cách khởi tạo một tập rỗng, sau đó lần lượt xem xét từng thuộc tính điều kiện. Một thuộc tính sẽ được thêm vào tập kết quả nếu nó giúp tăng khả năng phân biệt các đối tượng mà các thuộc tính đã chọn trước đó chưa làm được. Quá trình này tiếp tục cho đến khi tập thuộc tính hiện tại có khả năng phân lớp tương đương với toàn bộ tập thuộc tính ban đầu. Thuật toán này hiệu quả và nhanh chóng, rất phù hợp để tích hợp vào các hệ hỗ trợ quyết định (decision support system) thời gian thực, nơi cần đưa ra quyết định nhanh chóng dựa trên một tập hợp các đặc trưng quan trọng nhất.

4.3. Kỹ thuật tìm họ tất cả các tập rút gọn hàm mũ

Mặc dù có độ phức tạp cao, việc tìm họ tất cả các tập rút gọn (PRED(C)) cung cấp một cái nhìn toàn diện nhất về cấu trúc phụ thuộc của dữ liệu. Thuật toán để giải quyết bài toán này cũng được xây dựng dựa trên mối liên hệ giữa tập rút gọn và khái niệm tập tối thiểu trong cơ sở dữ liệu quan hệ. Về cơ bản, thuật toán sẽ xây dựng một tập hợp các "phản khóa" (anti-keys) từ hệ bằng nhau của quan hệ, sau đó sử dụng một thuật toán chuyển đổi để tìm ra tập các "khóa tối thiểu", tương ứng với các tập rút gọn. Do bản chất của bài toán, độ phức tạp của thuật toán này là hàm mũ đối với số lượng thuộc tính. Vì vậy, nó chỉ phù hợp với các bảng quyết định có số lượng thuộc tính tương đối nhỏ nhưng đòi hỏi sự phân tích sâu sắc về vai trò và sự tương tác giữa các thuộc tính.

V. Ứng dụng Phân tích dữ liệu y tế trên bảng quyết định

Để kiểm chứng tính hiệu quả và ý nghĩa thực tiễn của các phương pháp được nghiên cứu, một chương trình thử nghiệm đã được xây dựng và áp dụng trên các bộ dữ liệu cụ thể. Một trong những ví dụ điển hình là phân tích bộ dữ liệu về chẩn đoán bệnh cúm. Trong y tế, việc xác định các triệu chứng cốt lõi để chẩn đoán chính xác một căn bệnh là cực kỳ quan trọng. Bằng cách biểu diễn dữ liệu bệnh nhân dưới dạng một bảng quyết định, với các triệu chứng là thuộc tính điều kiện và kết quả chẩn đoán là thuộc tính quyết định, các thuật toán rút gọn thuộc tính có thể phát hiện ra những triệu chứng quan trọng nhất. Kết quả này không chỉ giúp xây dựng các hệ chuyên gia hỗ trợ bác sĩ ra quyết định nhanh hơn mà còn giảm thiểu số lượng xét nghiệm không cần thiết, tiết kiệm chi phí và thời gian cho cả bệnh nhân và hệ thống y tế. Đây là minh chứng rõ ràng cho giá trị của việc phân tích dữ liệu trên bảng quyết định.

5.1. Xây dựng chương trình và thử nghiệm với bộ dữ liệu Flu

Chương trình thử nghiệm được phát triển để cài đặt các thuật toán đã đề xuất. Giao diện chương trình cho phép người dùng tải lên một tệp dữ liệu đầu vào, hiển thị nội dung bảng quyết định, và thực thi các chức năng như tìm tất cả thuộc tính rút gọn hoặc tìm một tập rút gọn. Bộ dữ liệu "Flu" (Bệnh cúm) được sử dụng làm ví dụ minh họa. Bảng dữ liệu này bao gồm các thuộc tính điều kiện như 'Mệt mỏi', 'Đau đầu', 'Đau cơ', 'Thân nhiệt' và thuộc tính quyết định 'Cảm cúm'. Quá trình thử nghiệm cho thấy chương trình có thể xử lý dữ liệu và cho ra kết quả một cách chính xác, đúng với lý thuyết đã trình bày. Ví dụ, với bảng dữ liệu bệnh cúm, chương trình đã xác định được hai tập rút gọn là R1={Đau cơ, Thân nhiệt} và R2={Đau đầu, Thân nhiệt}.

5.2. Kết quả rút gọn thuộc tính và ý nghĩa trong chẩn đoán y khoa

Từ kết quả thử nghiệm trên bộ dữ liệu "Flu", ta có thể rút ra những kết luận quan trọng. Tập lõi của bảng quyết định này là {Thân nhiệt}, cho thấy đây là triệu chứng không thể thiếu để chẩn đoán bệnh cúm trong bộ dữ liệu này. Thuộc tính 'Mệt mỏi' được xác định là dư thừa, nghĩa là việc loại bỏ nó không ảnh hưởng đến kết quả chẩn đoán. Hai thuộc tính 'Đau đầu' và 'Đau cơ' là các thuộc tính rút gọn, có vai trò thay thế cho nhau. Điều này có nghĩa là bác sĩ chỉ cần kiểm tra 'Thân nhiệt' và một trong hai triệu chứng 'Đau đầu' hoặc 'Đau cơ' là đủ để đưa ra kết luận. Kết quả này giúp tối ưu hóa quy trình chẩn đoán, là một ví dụ điển hình của việc ứng dụng khai phá dữ liệu (data mining) để xây dựng tri thức hữu ích từ dữ liệu y tế, một nội dung quan trọng trong các báo cáo khoa học về y-tin.

VI. Tương lai của phân tích dữ liệu và vai trò của Bảng quyết định

Nghiên cứu về phân tích dữ liệu trên bảng quyết định trong môi trường Big Data là một lĩnh vực đầy tiềm năng và vẫn đang tiếp tục phát triển. Các kết quả đạt được trong luận văn thạc sĩ kỹ thuật này đã giải quyết được một số bài toán cơ bản liên quan đến tập rút gọn trên bảng quyết định nhất quán. Tuy nhiên, vẫn còn nhiều hướng nghiên cứu mở rộng cần được quan tâm. Tương lai của lĩnh vực này sẽ tập trung vào việc phát triển các thuật toán có khả năng mở rộng tốt hơn, xử lý được các bảng quyết định không nhất quán và không đầy đủ, vốn rất phổ biến trong thực tế. Hơn nữa, việc tích hợp các phương pháp này vào các nền tảng xử lý dữ liệu phân tán như Apache Spark sẽ là một bước đi tất yếu. Vai trò của bảng quyết định và các kỹ thuật rút gọn thuộc tính sẽ ngày càng trở nên quan trọng, là cầu nối giữa dữ liệu thô và các quyết định kinh doanh thông minh.

6.1. Hướng phát triển cho các thuật toán xử lý dữ liệu phân tán

Thách thức lớn nhất hiện nay là làm thế nào để các thuật toán rút gọn thuộc tính có thể hoạt động hiệu quả trên các nền tảng xử lý dữ liệu phân tán. Các thuật toán hiện tại, dù có độ phức tạp đa thức, vẫn có thể gặp khó khăn khi dữ liệu được phân tán trên một cụm hàng trăm máy tính. Hướng nghiên cứu trong tương lai cần tập trung vào việc thiết kế lại các thuật toán này theo mô hình lập trình MapReduce hoặc các mô hình tương tự. Mục tiêu là chia nhỏ bài toán tính toán các tập rút gọn thành các tác vụ con độc lập có thể thực thi song song, sau đó tổng hợp kết quả. Việc này đòi hỏi sự kết hợp sâu sắc giữa kiến thức về lý thuyết tập thô và kỹ thuật hệ thống Big Data, hứa hẹn sẽ tạo ra một thế hệ công cụ khai phá dữ liệu mới, mạnh mẽ và có khả năng mở rộng cao.

6.2. Tổng kết giá trị khoa học từ luận văn thạc sĩ kỹ thuật này

Công trình luận văn thạc sĩ CNTT này đã đóng góp một cách hệ thống vào việc nghiên cứu phân tích dữ liệu trên bảng quyết định. Luận văn đã tổng quan các nền tảng của hệ thống dữ liệu lớn, trình bày chi tiết cơ sở lý thuyết của lý thuyết tập thô, và quan trọng nhất là xây dựng được các thuật toán cụ thể để giải quyết các bài toán liên quan đến tập rút gọn. Đặc biệt, việc đề xuất thuật toán tìm tất cả thuộc tính rút gọn với độ phức tạp đa thức là một đóng góp có giá trị, mang lại tính khả thi cho việc tiền xử lý các bộ dữ liệu lớn. Các kết quả nghiên cứu và chương trình thử nghiệm đã chứng minh tính đúng đắn và tiềm năng ứng dụng của các phương pháp đề xuất, tạo tiền đề cho các nghiên cứu sâu hơn và các ứng dụng thực tiễn trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Kỷ nguyên số chứng kiến sự bùng nổ chưa từng có của dữ liệu với tốc độ tăng trưởng kép hằng năm đạt khoảng 27%, đưa quy mô thị trường dữ liệu lớn toàn cầu vượt mức 32,4 tỷ USD. Các nền tảng số hiện đại như Facebook phải tiếp nhận và xử lý hơn 100 Petabyte dữ liệu, gia tăng thêm khoảng 0,5 Petabyte mỗi ngày. Sự gia tăng vượt bậc về khối lượng (Volume), tốc độ (Velocity), tính đa dạng (Variety), độ tin cậy (Veracity) và giá trị (Value) đặt ra bài toán cấp thiết: làm thế nào để tự động chuyển hóa lượng dữ liệu khổng lồ thành tri thức hữu ích phục vụ quá trình ra quyết định.

Trong các cấu trúc phân tích dữ liệu kinh điển, bảng quyết định là công cụ trực quan giúp mô hình hóa mối quan hệ giữa các thuộc tính điều kiện và thuộc tính quyết định. Tuy nhiên, thách thức lớn nhất nằm ở việc số lượng tập rút gọn tăng theo hàm mũ bậc $O(2^n)$ theo số lượng $n$ thuộc tính, tạo nên điểm nghẽn nghiêm trọng về tính toán đối với các hệ quản trị cơ sở dữ liệu truyền thống.

Mục tiêu trọng tâm của nghiên cứu là khảo sát toàn diện các nền tảng dữ liệu lớn, phát triển các giải pháp khai phá dữ liệu dựa trên lý thuyết tập thô và chuyển giao bài toán rút gọn thuộc tính trên bảng quyết định nhất quán về bài toán tập tối thiểu trong cơ sở dữ liệu quan hệ. Nghiên cứu được thực hiện tại Học viện Công nghệ Bưu chính Viễn thông trong giai đoạn 2018 - 2020.

Ý nghĩa học thuật và thực tiễn của công trình thể hiện ở việc đưa ra thuật toán xác định tất cả các thuộc tính rút gọn với độ phức tạp thời gian đa thức $O(m^4 \cdot n)$, giúp giảm thiểu tới 50% chiều dữ liệu dư thừa trong khi vẫn bảo toàn 100% độ chính xác phân lớp thông tin.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp chặt chẽ giữa Lý thuyết tập thô do Z. Pawlak khởi xướng từ năm 1982 và Lý thuyết cơ sở dữ liệu quan hệ kết hợp hệ Sperner của J. Demetrovics. Mô hình nghiên cứu vận hành trên cấu trúc Bảng quyết định đầy đủ $DS = (U, C \cup D, V, f)$, trong đó $U$ là tập hữu hạn các đối tượng, $C$ là tập thuộc tính điều kiện, $D$ là tập thuộc tính quyết định, $V$ là tập giá trị và $f$ là hàm thông tin.

Các khái niệm lý thuyết cốt lõi bao gồm:

• Quan hệ không phân biệt (Indiscernibility Relation - IND): Quan hệ tương đương chia tập vũ trụ $U$ thành các lớp phân hoạch tương đương, đóng vai trò nền tảng để xác định tính tương đồng giữa các đối tượng.
• Xấp xỉ trên và xấp xỉ dưới: Công cụ toán học cho phép xấp xỉ một tập đối tượng thô thông qua việc mô tả vùng chắc chắn thuộc tập hợp (xấp xỉ dưới) và vùng có khả năng thuộc tập hợp (xấp xỉ trên).
• Miền dương (Positive Region): Vùng thông tin chứa các đối tượng được phân lớp chính xác vào các lớp quyết định bởi tập thuộc tính điều kiện, thỏa mãn tính nhất quán khi $POS_C(D) = U$.
• Tập rút gọn (Reduct) và Tập lõi (Core): Tập rút gọn là tập con tối thiểu các thuộc tính điều kiện giữ nguyên chất lượng phân lớp của bảng; tập lõi là giao của tất cả các tập rút gọn, chứa các thuộc tính không thể loại bỏ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm chuẩn hóa, tiêu biểu là bộ dữ liệu triệu chứng bệnh cúm (Flu Dataset) gồm 8 đối tượng bệnh nhân với 4 thuộc tính điều kiện (Mệt mỏi, Đau đầu, Đau cơ, Thân nhiệt) và 1 thuộc tính quyết định (Cảm cúm), cùng các bộ dữ liệu đối sánh Example1 (5 đối tượng, 3 thuộc tính) và Example (5 đối tượng, 6 thuộc tính).

Phương pháp chọn mẫu là chọn mẫu có chủ đích theo tiêu chuẩn dữ liệu phân lớp rời rạc, nhằm kiểm thử độ chính xác tuyệt đối của các thuật toán logic trên các cấu trúc dữ liệu đa dạng.

Lý do lựa chọn phương pháp phân tích chuyển đổi quan hệ: Thay vì tiếp cận theo hướng truyền thống với độ phức tạp hàm mũ, nghiên cứu xây dựng hệ bằng nhau $E_r$ và tập cực đại $M_d$ từ quan hệ quan sát. Phương pháp này cho phép ánh xạ trực tiếp khái niệm tập rút gọn Pawlak sang tập tối thiểu của một thuộc tính trong quan hệ cơ sở dữ liệu, đảm bảo tính toán hoàn tất trong thời gian đa thức. Tiến trình nghiên cứu và thử nghiệm diễn ra xuyên suốt giai đoạn 2018 - 2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu mang lại những đóng góp nổi bật về mặt thuật toán và thực nghiệm:

• Thuật toán xác định tất cả thuộc tính rút gọn với độ phức tạp đa thức: Chứng minh thành công thuật toán tìm tập tất cả các thuộc tính rút gọn đạt mức độ phức tạp $O(m^4 \cdot n)$, giải quyết triệt để rào cản tính toán bùng nổ hàm mũ $O(2^n)$ của các phương pháp vét cạn cổ điển trên không gian $m$ đối tượng và $n$ thuộc tính.
• Tối ưu hóa tính bao đóng và tìm một tập rút gọn: Xây dựng thuật toán xác định bao đóng của tập thuộc tính trên quan hệ và thuật toán trích xuất một tập rút gọn đơn lẻ với thời gian xử lý đa thức, cho phép hoán vị thuộc tính để tìm ra các tập rút gọn khác nhau theo tiêu chí heuristic.
• Kết quả thực nghiệm trên bộ dữ liệu y tế (Flu Dataset): Phân tích trên 8 bản ghi bệnh nhân chỉ ra rằng thuộc tính "Mệt mỏi" là thuộc tính dư thừa 100% (không xuất hiện trong bất kỳ rút gọn nào). Thuộc tính "Thân nhiệt" là thuộc tính lõi duy nhất. Hệ thống trích xuất được 2 tập rút gọn tối ưu là {Đau cơ, Thân nhiệt} và {Đau đầu, Thân nhiệt}, giúp giảm 50% số lượng thuộc tính thu thập (từ 4 xuống 2 thuộc tính) mà vẫn đảm bảo phân lớp chẩn đoán chính xác tuyệt đối.
• Kết quả trên tập thử nghiệm đa chiều (Example Dataset): Trên bảng dữ liệu 5 đối tượng và 6 thuộc tính, thuật toán loại bỏ thành công từ 33% đến 50% số thuộc tính dư thừa, thu được 2 tập rút gọn tinh gọn gồm {a, b, c} và {b, c, e, f}.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp thuật toán đạt hiệu năng vượt trội là việc khai thác triệt để tính chất của hệ Sperner và cấu trúc ma trận so sánh từng cặp đối tượng. Thay vì phải sinh tất cả các tập con thuộc tính có thể có, thuật toán chỉ tập trung xử lý hệ bằng nhau $E_r$ có tối đa $m^2$ phần tử.

So với phương pháp rút gọn dựa trên Entropy Shannon hoặc Entropy Liang vốn đòi hỏi tính toán lại độ đo thông tin trên toàn bộ không gian tổ hợp, giải pháp tiếp cận từ cơ sở dữ liệu quan hệ giúp cố định hóa không gian trạng thái, đặc biệt phù hợp khi tích hợp vào các nền tảng xử lý dữ liệu lớn như Hadoop MapReduce.

Trong thực tế triển khai, dữ liệu phân tích có thể được mô hình hóa trực quan thông qua bảng ma trận quan hệ bằng nhau và biểu đồ phân nhánh phân hoạch tương đương. Việc thể hiện độ quan trọng của thuộc tính qua biểu đồ cột giúp người quản trị hệ thống dễ dàng quan sát mức độ đóng góp của từng chiều dữ liệu trước khi tiến hành cắt tỉa.

Đề xuất và khuyến nghị

Nhằm phát huy tối đa giá trị thực tiễn của công trình nghiên cứu, 4 khuyến nghị hành động chiến lược được đề xuất:

• Tích hợp trực tiếp thuật toán xác định thuộc tính rút gọn thời gian đa thức vào các pipeline tiền xử lý dữ liệu của hệ sinh thái Apache Spark và Hadoop YARN, hướng tới mục tiêu cắt giảm từ 30% đến 50% dung lượng lưu trữ trung gian và tài nguyên mạng trước quý 4 năm 2026, do đội ngũ kỹ sư dữ liệu lớn (Big Data Engineers) tại các doanh nghiệp công nghệ chủ trì thực hiện.
• Triển khai mô hình bảng quyết định tinh gọn vào các hệ thống quản lý bệnh án điện tử và hỗ trợ chẩn đoán y khoa tự động, đặt chỉ tiêu rút ngắn 40% thời gian hội chẩn và giảm thiểu 25% các xét nghiệm trùng lặp không cần thiết trong giai đoạn 2026 - 2027, dưới sự chỉ đạo của các cơ quan quản lý y tế phối hợp cùng các viện nghiên cứu CNTT.
• Mở rộng phạm vi nghiên cứu thuật toán sang các hệ thông tin không đầy đủ (chứa dữ liệu khuyết thiếu) và bảng quyết định bất nhất, hướng đến mục tiêu đạt độ chính xác phân loại trên 92% trong môi trường dữ liệu nhiễu vào năm 2028, do các nhóm nghiên cứu học thuật tại các trường đại học đảm trách.
• Tối ưu hóa thuật toán song song hóa ma trận bằng nhau nhằm xử lý các tập dữ liệu vượt ngưỡng 100 Terabyte, hướng tới giảm 35% chi phí điện năng tiêu thụ cho các trung tâm dữ liệu trong vòng 24 tháng tới, do các kỹ sư kiến trúc hạ tầng đám mây thực hiện.

Đối tượng nên tham khảo luận văn

Luận văn là nguồn tài liệu chuyên sâu và thực tiễn dành cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin, Khoa học dữ liệu: Tiếp cận nền tảng toán học vững chắc kết hợp giữa lý thuyết tập thô và cơ sở dữ liệu quan hệ, làm tiền đề mở rộng các công trình nghiên cứu về tối ưu hóa thuật toán phân lớp.
• Kỹ sư dữ liệu và kiến trúc sư hệ thống Big Data: Ứng dụng trực tiếp giải thuật rút gọn đa thức vào tầng tiền xử lý dữ liệu lớn (ETL), giúp giảm chiều dữ liệu hiệu quả trước khi đưa vào huấn luyện các mô hình học máy phức tạp.
• Chuyên gia phân tích dữ liệu ngành Y tế, Tài chính và Thương mại điện tử: Khai thác mô hình bảng quyết định để xây dựng các tập luật suy diễn nghiệp vụ minh bạch, phục vụ việc phân loại khách hàng, chấm điểm tín dụng hoặc phân tích giỏ hàng mua sắm.
• Giảng viên và cơ sở đào tạo khối ngành Công nghệ thông tin: Sử dụng luận văn làm học liệu tham khảo mẫu mực trong các học phần Khai phá dữ liệu (Data Mining), Xử lý dữ liệu lớn và Lý thuyết tập thô.

Câu hỏi thường gặp

Lý thuyết tập thô giải quyết thách thức cốt lõi nào trong phân tích dữ liệu lớn?
Lý thuyết tập thô giúp xử lý hiệu quả tính không chắc chắn, mơ hồ và nhiễu của dữ liệu mà không cần thêm các giả thiết phân phối xác suất tiên nghiệm. Trong môi trường dữ liệu lớn, lý thuyết này đóng vai trò then chốt ở khâu tiền xử lý, giúp loại bỏ thuộc tính dư thừa và giữ lại thông tin cốt lõi nhất.

Sự khác biệt căn bản giữa thuộc tính lõi và thuộc tính rút gọn là gì?
Thuộc tính lõi là thuộc tính bắt buộc phải có mặt trong tất cả các tập rút gọn; nếu loại bỏ thuộc tính lõi, tính nhất quán và khả năng phân lớp chính xác của hệ thống sẽ bị phá vỡ. Ngược lại, thuộc tính rút gọn chỉ cần xuất hiện trong ít nhất một tập rút gọn và có thể thay thế cho nhau tùy theo tiêu chuẩn tối ưu cụ thể.

Tại sao độ phức tạp $O(m^4 \cdot n)$ được coi là một bước tiến quan trọng so với các phương pháp cũ?
Các phương pháp truyền thống tìm tập rút gọn dựa trên vét cạn tổ hợp có độ phức tạp tăng theo hàm mũ $O(2^n)$, hoàn toàn bất khả thi khi số lượng thuộc tính $n$ lớn. Thuật toán đề xuất đạt độ phức tạp đa thức $O(m^4 \cdot n)$, đảm bảo chương trình chạy ổn định và xử lý được các bảng dữ liệu quy mô hàng ngàn đối tượng.

Thuật toán trong luận văn có thể áp dụng trực tiếp cho bảng quyết định không nhất quán không?
Thuật toán hiện tại được tối ưu hóa cho bảng quyết định nhất quán nơi $POS_C(D) = U$. Đối với bảng quyết định không nhất quán, thuật toán cần được mở rộng thông qua việc sử dụng khái niệm miền dương cực đại hoặc kết hợp độ đo Entropy để đánh giá mức độ mâu thuẫn trước khi tiến hành rút gọn.

Doanh nghiệp thương mại điện tử có thể ứng dụng bảng quyết định như thế nào để tối ưu doanh thu?
Doanh nghiệp có thể mô hình hóa dữ liệu giao dịch thành các thuộc tính điều kiện như thời tiết, lịch sử mua hàng, thời gian duyệt web và thuộc tính quyết định là mua hoặc bỏ giỏ hàng. Bằng cách rút gọn thuộc tính, doanh nghiệp xác định chính xác các yếu tố kích thích hành vi mua, tương tự cách Amazon điều chỉnh giá linh hoạt sau mỗi 10 phút hoặc Walmart tăng 26% doanh thu.

Kết luận

• Hệ thống hóa toàn diện các nền tảng công nghệ dữ liệu lớn từ mô hình 3Vs, 5Vs, kiến trúc Hadoop, điện toán đám mây cho đến mạng lưới vạn vật kết nối (IoT).
• Thiết lập cầu nối lý thuyết chặt chẽ giữa tập rút gọn Pawlak trong lý thuyết tập thô và tập thuộc tính tối thiểu trong cơ sở dữ liệu quan hệ.
• Đề xuất và chứng minh tính đúng đắn của thuật toán tìm tập rút gọn và thuộc tính rút gọn với độ phức tạp thời gian đa thức $O(m^4 \cdot n)$.
• Thử nghiệm thành công trên các bộ dữ liệu mẫu như Flu, Example1 và Example, loại bỏ hiệu quả từ 25% đến 50% số lượng thuộc tính dư thừa mà không làm mất thông tin phân lớp.
• Đóng góp chương trình phần mềm thử nghiệm hoàn chỉnh, tạo tiền đề vững chắc cho việc ứng dụng khai phá tri thức trên các hệ thống dữ liệu lớn.

Kế hoạch tiếp theo tập trung vào việc mở rộng thuật toán trên các hệ thông tin không đầy đủ và triển khai phân tán trên môi trường điện toán đám mây trong giai đoạn 2026 - 2027. Độc giả quan tâm hãy tiếp tục nghiên cứu toàn văn luận văn để làm chủ các giải thuật phân tích dữ liệu tiên tiến trên bảng quyết định.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Lý do chọn đề tài Các hệ thống dữ liệu lớn cũng nhƣ các phƣơng pháp phân tích dữ liệu lớn đã đƣợc nhiều nhà khoa học quan tâm nghiên cứu. Hƣớng phân tích dữ liệu trên các bảng quyết định mà cụ thể là nghiên cứu các bài toán liên quan đến tập rút gọn trên bảng quyết định phát triển rất sôi động có nhiều ứng dụng trong thực tiễn. Trong những năm gần đây, sự phát triển mạnh mẽ của công nghệ thông tin đã làm cho khả năng thu thập và lƣu trữ thông tin của hệ thống thông tin tăng nhanh một cách nhanh chóng.

Sự bùng nổ này đã dẫn tới một yêu cầu cấp thiết là cần có những kỹ thuật và công cụ mới để tự động chuyển đổi lƣợng dữ liệu khổng lồ kia thành các tri thức có ích. Từ đó, các kỹ thuật khai phá dữ liệu đã trở thành một lĩnh vực thời sự của nền công nghệ thông tin thế giới hiện nay nói chung và Việt Nam nói riêng. Khai phá dữ liệu đang đƣợc áp dụng một cách rộng rãi trong nhiều lĩnh vực kinh doanh và đời sống khác nhau: Market tinh, tài chính ngân hàng và bảo hiểm, khoa học kinh tế…Rất nhiều tổ chức và công ty lớn trên thế giới đã áp dụng kỹ thuật khai phá dữ liệu vào các hoạt động sản xuất kinh doanh của mình và thu đƣợc nhiều lợi ích to lớn. Trong lý thuyết tập thô, dữ liệu đƣợc biểu diễn thông qua một hệ thông tin IS=(U,A) với U là tập các đối tƣợng và A là tập thuộc tính.

Phƣơng pháp tiếp cận chính của lý thuyết tập thô là dựa trên quan hệ không phân biệt đƣợc để đƣa ra các tập xấp xỉ dƣới và xấp xỉ trên của nó. Xấp xỉ dƣới bao gồm các đối tƣợng chắc chắn thuộc tập đó, còn xấp xỉ trên chứa tất cả các đối tƣợng có khả năng thuộc về tập đó. Nếu tập xấp xỉ dƣới bằng tập xấp xỉ trên thì tập đối tƣợng cần quan sát là tập rõ. Ngƣợc lại là tập thô.

Các tập xấp xỉ là cơ sở để đƣa ra các kết luận từ tập dữ liệu. Bảng quyết định là hệ thông tin IS với tập thuộc tính A đƣợc chia thành hai tập con khác rỗng rời nhau C và D, lần lƣợt đƣợc gọi là tập thuộc tính điều kiện và tập thuộc tính quyết định. Nói cách khác, DS=(U,C  D) với C  D . Bảng 1 quyết định là mô hình thƣờng gặp trong thực tế, Khi mà giá trị dữ liệu tại các thuộc tính điều kiện có thể cung cấp cho ta thông tin về giá trị của thuộc tính quyết định.

Bảng quyết định là nhất quán khi phụ thuộc hàm C→D là đúng, trái lại là không nhất quán. Rút gọn thuộc tính là ứng dụng quan trọng nhất trong lý thuyết tập thô. Mục tiêu của rút gọn thuộc tính là loại bỏ các thuộc tính dƣ thừa để tìm ra các thuộc tính cốt yếu và cần thiết trong cơ sở dữ liệu. Với bảng quyết định, rút gọn thuộc tính là tập con nhỏ nhất của tập thuộc tính điều kiện bảo toàn thông tin phân lớp của bảng quyết định.

Đối với một bảng quyết định có nhiều tập rút gọn khác nhau tuy nhiên trong thực hành thƣờng không đòi hỏi tìm tất cả các tập rút gọn mà chỉ cần tìm đƣợc một tập rút gọn tốt nhất theo một tiêu chuẩn đánh giá nào đó là đủ. Vì vậy, mỗi phƣơng pháp rút gọn thuộc tính đều trình bày một thuật toán Heuristic tìm tập rút gọn. Các thuộc tính này giảm thiểu đáng kể khối lƣợng tính toán, nhờ đó có thể áp dụng đối với các bài toán có khối lƣợng dữ liệu lớn. Cho bảng quyết định nhất quán DS=(U,C  {d}), tập thuộc tính R  C đƣợc gọi là tập rút gọn của thuộc tính điều kiện C nếu R là tập tối thiểu thỏa mãn phụ thuộc hàm R→{d}.

Xét quan hệ r trên tập thuộc tính R  C{d} đƣợc gọi là một tập tối thiểu của thuộc tính {d} nếu R là tập thuộc tính tối thiểu thỏa mãn phụ thuộc hàm R→{d}. Do đó, khái niệm tập rút gọn của bảng quyết định tƣơng đƣơng với tập tối thiểu của thuộc tính {d} trên quan hệ, và một vài bài toán trên bảng quyết định liên quan đến tập rút gọn có thể đƣợc giải quyết bằng một số kết quả liên quan đến tập tối thiểu của một thuộc tính trong cơ sở dữ liệu quan hệ; bao gồm bài toán tìm tập tất cả các thuộc tính rút gọn, bài toán tìm họ tất cả các tập rút gọn, bài toán trích lọc tri thức dƣới dạng các phụ thuộc hàm từ bảng quyết định, bài toán xây dựng bảng quyết định từ tập phụ thuộc hàm cho trƣớc. Cho đến nay, hƣớng tiếp cận này chƣa đƣợc nhiều tác giả quan tâm nghiên cứu. Trên bảng quyết định nhất quán, vấn đề nhiên cứu đặt ra là xây dựng các thuật toán có ý nghĩa liên quan đến tập rút gọn sử dụng một số kết quả liên quan đến tập tối thiểu của một thuộc tính trong một cơ sở dữ liệu quan hệ.

Tổng quan về vấn đề nghiên cứu Nhiều chính phủ quốc gia nhƣ Hoa Kỳ cũng đã rất quan tâm đến dữ liệu lớn. Trong tháng 3 năm 2012, chính quyền Obama đã công bố một khoản đầu tƣ 200 triệu USD để khởi động "Kế hoạch Nghiên cứu và Phát triển Big Data", mà đã là một sáng kiến phát triển khoa học và công nghệ chủ yếu thứ hai sau khi "xa lộ thông tin" bắt đầu vào năm 1993. Trong tháng 7 năm 2012 , dự án "Đẩy mạnh công nghệ thông tin Nhật Bản" đƣợc ban hành bởi Bộ Nội vụ và Truyền thông Nhật Bản chỉ ra rằng sự phát triển Big Data, nên có một chiến lƣợc quốc gia và các công nghệ ứng dụng nên là trọng tâm. Trong tháng 7 năm 2012, Liên Hiệp Quốc đã đƣa ra báo cáo Big Data cho phát triển, trong đó tóm tắt cách các chính phủ sử dụng Big Data để phục vụ tốt hơn và bảo vệ ngƣời dân của họ nhƣ thế nào.

Hiện nay, mặc dù tầm quan trọng của Big Data đã đƣợc thừa nhận rộng rãi. Xong vấn đề then chốt trong việc xử lí các hệ thống Big Data là nghiên cứu phát triển các phƣơng pháp phân tích dữ liệu mà thực chất là khai phá các hệ thống dữ liệu lớn để phát hiện tri thức. Luận văn này nghiên cứu tìm hiểu một số phƣơng pháp phân tích dữ liệu liên quan đến các tập rút gọn trên cấu trúc bảng quyết định sử dụng lí thuyết tập thô. Mục đích nghiên cứu Nghiên cứu và tìm hiểu một số nền tảng của hệ thống dữ liệu lớn.

Tìm hiểu một số lĩnh vực phân tích tìm các giá trị của hệ thống dữ liệu lớn (thực chất là khai phá dữ liệu tìm các tri thức). Nghiên cứu và tìm hiểu một số thuật toán liên quan đến tập rút gọn (tập thuộc tính rút gọn bảo toàn thông tin phân lớp của bảng quyết định). Trên cơ sở này tiến hành xây dựng phần mềm thử nghiệm. Đối tƣợng và phạm vi nghiên cứu Nghiên cứu và tìm hiểu các tài liệu liên quan đến hệ thống dữ liệu lớn.

Phạm vi nghiên cứu tập trung vào các nền tảng của hệ thống dữ liệu lớn bao gồm những định nghĩa, các đặc trƣng, sự phát triển của Big Data và những thách thức mà Big Data mang lại. Các phƣơng pháp phân tích dữ liệu nói chung và phân tích dữ liệu 3 trên các bảng quyết định liên quan đến các tập rút gọn dùng để phân lớp dữ liệu. Các thuật toán cơ bản nhất liên quan đến tập rút gọn trên bảng quyết định nhất quán. Phƣơng pháp nghiên cứu Ban đầu thu thập tài liệu Thu thập, tổng hợp các tƣ liệu, bài báo khoa học đã công bố, tham khảo, so sánh và phân tích để tìm ra vấn đề phù hợp phục vụ cho đề tài nghiên cứu; nghiên cứu tìm hiểu các nền tảng của hệ thống dữ liệu lớn, đặc biệt các phƣơng pháp phân tích dữ liệu trên các bảng quyết định.

Cuối cùng xây dựng một phần mềm thực nghiệm. 4 CHƢƠNG 1: NGHIÊN CỨU CÁC NỀN TẢNG CỦA HỆ THỐNG DỮ LIỆU LỚN 1. Nghiên cứu một số nền tảng của hệ thống dữ liệu lớn (BigData) 1.1 Định nghĩa mô tả và các đặc trưng của Dữ liệu lớn(BigData) Dữ liệu lớn(Big Data) là một khái niệm trừu tƣợng, là một thuật ngữ cho việc xử lý một tập hợp dữ liệu rất lớn và phức tạp mà các ứng dụng xử lý dữ liệu truyền thống không xử lý đƣợc. Dữ liệu lớn thƣờng bao gồm tập hợp dữ liệu với kích thƣớc vƣợt xa khả năng của các công cụ phần mềm thông thƣờng để thu thập, hiển thị, quản lý và xử lý dữ liệu trong một thời gian có thể chấp nhận đƣợc.

Kích thƣớc dữ liệu lớn là một mục tiêu liên tục thay đổi. Ngày nay, đã có rất nhiều định nghĩa về Big Data. Ngay nhƣ tên gọi là dữ liệu lớn hay dữ liệu khổng lồ thì nó còn có một số đặc trƣng khác trong đó xác định sự khác biệt giữa nó và “dữ liệu lớn” hay “dữ liệu rất lớn”. Hiện nay, mặc dù tầm quan trọng của Big Data đã đƣợc thừa nhận rộng rãi, nhƣng vẫn có nhiều những ý kiến về định nghĩa của nó.

Một cách tổng quát có thể định nghĩa rằng Big Data có nghĩa là các bộ dữ liệu không thể đƣợc nhận diện, thu hồi, quản lý và xử lý bằng CNTT truyền thống và các công cụ phần mềm/ phần cứng trong một khoảng thời gian có thể chấp nhận đƣợc. Phát sinh từ nhiều sự quan tâm, các doanh nghiệp khoa học và công nghệ, các nhà nghiên cứu, các nhà phân tích dữ liệu và các kỹ thuật viên có những định nghĩa khác nhau về Big Data. Sau đây là một số định nghĩa về Big Data mang tới một sự hiểu biết tốt hơn về những ý nghĩa xã hội, kinh tế và công nghệ rộng lớn của Big Data. Nhƣ năm 2012 thì phạm vi một vài tá terabytes tới nhiều petabytes dữ liệu.

Dữ liệu lớn yêu cầu một tập các kỹ thuật và công nghệ đƣợc tích hợp theo hình thức mới để khai phá từ tập dữ liệu đa dạng, phức tạp, và có quy mô lớn. Trong báo cáo nghiên cứu năm 2001 và những diễn giả liên quan, META Group (bây giờ là Gartner) nhà phân tích Doug Laney định nghĩa những thách thức và cơ hội tăng dữ liệu nhƣ là 3 chiều, tăng giá trị dữ liệu, tốc độ vào ra của dữ liệu (velocity), và khổ giới hạn của kiểu dữ liệu (variety). Gartner, và nhiều ngành công nghiệp tiếp tục sử dụng mô hình '3Vs' để mô tả dữ 5 liệu lớn.