Luận văn thạc sĩ đề xuất cải tiến thuật toán k phần tử gần nhất trong khai phá dữ liệu lớn với mô hình mapreduce

Luận văn thạc sĩ toán học nghiên cứu đề xuất cải tiến thuật toán k phần tử gần nhất trong khai phá dữ liệu lớn với mô hình mapreduce, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Nguyễn Quang Quyền
• Người hướng dẫn: TS. Hồ Văn Lâm
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa học máy tính
• Đề tài: Cải Tiến Thuật Toán K Phần Tử Gần Nhất Trong Khai Phá Dữ Liệu Lớn Với MapReduce
• Loại tài liệu: luận văn

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH
• MỞ ĐẦU
• 0.1. Tính cấp thiết của đề tài
• 0.2. Mục đích nghiên cứu
• 0.3. Đối tượng nghiên cứu
• 0.4. Phạm vi nghiên cứu
• 0.5. Phương pháp nghiên cứu
• 1. CHƯƠNG 1: TỔNG QUAN KHAI PHÁ DỮ LIỆU LỚN
• 1.1. Big Data
• 1.2. Quá trình khai phá tri thức trong cơ sở dữ liệu
• 1.3. Các kỹ thuật tiếp cận trong khai phá dữ liệu
• 1.4. Kiến trúc của hệ thống khai phá dữ liệu
• 1.5. Ứng dụng của khai phá dữ liệu
• 2. CHƯƠNG 2: GIỚI THIỆU THUẬT TOÁN K-NEAREST NEIGHBORS
• 2.1. Thuật toán K – phần tử gần nhất
• 2.2. Phương thức làm việc của K phần tử gần nhất
• 2.3. Phương pháp chọn K
• 2.4. Khoảng cách trong không gian vectơ
• 2.5. Ứng dụng của K phần tử gần nhất
• 2.6. Ưu và nhược điểm của K phần tử gần nhất
• 3. CHƯƠNG 3: ĐỀ XUẤT CẢI TIẾN TRONG MÔ HÌNH MAPREDUCE
• 3.1. Môi trường xử lý song song
• 3.2. Thuật toán Secondary Sorting (sắp xếp thứ cấp)
• 3.3. Kết hợp K phần tử gần nhất trên Spark và sắp xếp dữ liệu đầu vào
• 4. CHƯƠNG 4: CÀI ĐẶT THỬ NGHIỆM
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)

Tóm tắt

I. Tổng quan về khai phá dữ liệu lớn

Khai phá dữ liệu lớn là một quá trình quan trọng trong việc tìm kiếm và phát hiện các thông tin có giá trị từ các tập dữ liệu khổng lồ. Với sự bùng nổ của dữ liệu trong thời đại công nghệ số, việc khai phá dữ liệu lớn trở thành nhu cầu cấp thiết. Các kỹ thuật như phân tích dữ liệu, tìm kiếm gần nhất, và xử lý dữ liệu lớn được áp dụng để giải quyết các bài toán phức tạp. MapReduce là một mô hình xử lý song song hiệu quả, giúp tối ưu hóa quá trình xử lý dữ liệu lớn.

1.1. Khái niệm và đặc trưng của Big Data

Big Data được định nghĩa bởi các đặc trưng như Volume (khối lượng dữ liệu), Variety (đa dạng kiểu dữ liệu), Velocity (tốc độ xử lý), Variability (độ chính xác), và Value (giá trị thông tin). Những đặc trưng này đặt ra thách thức lớn trong việc xử lý dữ liệu lớn và yêu cầu các giải pháp công nghệ tiên tiến như MapReduce để tối ưu hóa hiệu suất.

1.2. Ứng dụng của khai phá dữ liệu lớn

Khai phá dữ liệu lớn có nhiều ứng dụng thực tiễn, từ phân tích dữ liệu trong tài chính, y tế, đến tối ưu hóa hiệu suất trong các hệ thống công nghệ. Ví dụ, trong lĩnh vực y tế, Big Data giúp phân tích DNA và cải thiện phương pháp điều trị. Trong kinh doanh, nó hỗ trợ dự đoán hành vi khách hàng và tối ưu hóa quy trình.

II. Thuật toán K phần tử gần nhất K NN

Thuật toán K phần tử gần nhất (K-NN) là một phương pháp phân loại dữ liệu phổ biến, dựa trên việc tìm kiếm các điểm dữ liệu gần nhất trong không gian đa chiều. Mặc dù đơn giản và hiệu quả, K-NN truyền thống gặp hạn chế khi áp dụng trong khai phá dữ liệu lớn do yêu cầu tính toán cao và tốn bộ nhớ. Để khắc phục, các giải pháp cải tiến như tối ưu hóa thuật toán và tích hợp với MapReduce được đề xuất.

2.1. Nguyên lý hoạt động của K NN

K-NN hoạt động bằng cách tính toán khoảng cách giữa các điểm dữ liệu và chọn K điểm gần nhất để phân loại. Các phương pháp tính khoảng cách như Euclidean, Manhattan được sử dụng để tìm kiếm gần nhất. Tuy nhiên, với dữ liệu lớn, việc tính toán trở nên phức tạp, đòi hỏi các giải pháp tối ưu hóa hiệu suất.

2.2. Ưu điểm và hạn chế của K NN

K-NN có ưu điểm là dễ triển khai và không cần huấn luyện mô hình phức tạp. Tuy nhiên, nó đòi hỏi bộ nhớ lớn và thời gian tính toán cao, đặc biệt khi áp dụng trong xử lý dữ liệu lớn. Các giải pháp cải tiến như lập chỉ mục ngữ nghĩa và phân tán dữ liệu được đề xuất để tăng hiệu suất.

III. Cải tiến thuật toán K NN với MapReduce

Để áp dụng thuật toán K phần tử gần nhất trong khai phá dữ liệu lớn, mô hình MapReduce được sử dụng để phân tán và xử lý song song dữ liệu. Các cải tiến như Secondary Sorting và tích hợp với Apache Spark giúp tối ưu hóa quá trình tính toán và giảm thời gian xử lý.

3.1. Mô hình MapReduce và xử lý song song

MapReduce chia nhỏ dữ liệu thành các phần và xử lý song song trên nhiều node, giúp tăng tốc độ xử lý. Các hàm Map và Reduce được thiết kế để tối ưu hóa thuật toán K-NN, đặc biệt trong việc tính toán khoảng cách và phân loại dữ liệu.

3.2. Kết hợp K NN với Apache Spark

Apache Spark là một framework xử lý dữ liệu lớn hiệu quả, hỗ trợ xử lý dữ liệu lớn và tối ưu hóa hiệu suất. Việc tích hợp K-NN với Spark giúp giảm thời gian tính toán và tăng khả năng mở rộng, phù hợp với các ứng dụng thực tế.

IV. Thử nghiệm và đánh giá

Các thử nghiệm được thực hiện để đánh giá hiệu quả của thuật toán K phần tử gần nhất cải tiến trong môi trường MapReduce. Kết quả cho thấy sự cải thiện đáng kể về thời gian xử lý và hiệu suất so với phương pháp truyền thống.

4.1. Thiết lập thử nghiệm

Các bộ dữ liệu lớn như Iris được sử dụng để thử nghiệm. Quá trình phân tích dữ liệu và tìm kiếm gần nhất được thực hiện trên môi trường MapReduce và Apache Spark để so sánh hiệu suất.

4.2. Kết quả và đánh giá

Kết quả thử nghiệm cho thấy thuật toán K phần tử gần nhất cải tiến giảm thời gian xử lý đáng kể và tăng khả năng mở rộng. Điều này khẳng định giá trị thực tiễn của việc tối ưu hóa thuật toán trong khai phá dữ liệu lớn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, lượng dữ liệu toàn cầu tăng trưởng vượt bậc, từ mức terabytes lên đến petabytes, tạo ra thách thức lớn trong việc khai thác và xử lý hiệu quả. Theo ước tính, đến năm 2013, 90% dữ liệu thế giới được tạo ra chỉ trong vài năm gần đây, với tốc độ tạo dữ liệu ngày càng nhanh chóng. Bài toán phân loại dữ liệu trong khai phá dữ liệu lớn trở nên cấp thiết nhằm tận dụng nguồn tài nguyên quý giá này. Thuật toán K-Nearest Neighbors (K-NN) là một trong những phương pháp phân loại phổ biến nhờ tính đơn giản và hiệu quả, tuy nhiên, khi áp dụng trên dữ liệu lớn, K-NN truyền thống gặp phải hạn chế về bộ nhớ và thời gian tính toán. Luận văn tập trung đề xuất cải tiến thuật toán K-NN trong môi trường xử lý song song với mô hình MapReduce, nhằm nâng cao hiệu suất và khả năng mở rộng khi khai phá dữ liệu lớn. Nghiên cứu áp dụng trong phạm vi xử lý dữ liệu lớn tại các hệ thống phân tán sử dụng Apache Spark và Hadoop, với mục tiêu giảm thiểu thời gian tính toán và tối ưu hóa bộ nhớ sử dụng. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc phát triển các giải pháp khai phá dữ liệu lớn hiệu quả, hỗ trợ các tổ chức và doanh nghiệp khai thác tri thức từ dữ liệu khổng lồ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: khai phá dữ liệu lớn (Big Data Mining) và thuật toán K-Nearest Neighbors (K-NN). Khai phá dữ liệu lớn được mô tả qua các đặc trưng Volume (dung lượng lớn), Variety (đa dạng kiểu dữ liệu), Velocity (tốc độ xử lý nhanh), Variability (độ chính xác) và Value (giá trị thông tin). Thuật toán K-NN là phương pháp phân loại dựa trên việc xác định K phần tử gần nhất trong không gian đặc trưng, sử dụng các hàm khoảng cách như Euclid, Manhattan, Minkowski để đo lường sự tương đồng. Ngoài ra, mô hình MapReduce được áp dụng để xử lý song song dữ liệu lớn, với hai giai đoạn chính là Map (phân tán tính toán) và Reduce (tổng hợp kết quả). Thuật toán Secondary Sorting (sắp xếp thứ cấp) được tích hợp nhằm sắp xếp các giá trị trong quá trình Reduce, giúp tối ưu hóa việc xử lý dữ liệu đầu vào. Apache Spark được sử dụng như một framework tính toán phân tán, tận dụng bộ nhớ RAM để tăng tốc độ xử lý so với Hadoop MapReduce truyền thống.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp lý thuyết và thực tiễn. Dữ liệu nghiên cứu bao gồm các bộ dữ liệu chuẩn như bộ dữ liệu hoa Iris và các tập dữ liệu lớn được lưu trữ trên hệ thống HDFS. Cỡ mẫu được lựa chọn phù hợp với quy mô dữ liệu lớn, sử dụng phương pháp chọn mẫu ngẫu nhiên phân tầng để đảm bảo tính đại diện. Thuật toán K-NN truyền thống được cài đặt và đánh giá hiệu suất trên dữ liệu nhỏ, sau đó được cải tiến bằng cách tích hợp mô hình MapReduce và thuật toán Secondary Sorting trên Apache Spark. Phân tích so sánh hiệu quả được thực hiện dựa trên các chỉ số thời gian xử lý, bộ nhớ sử dụng và độ chính xác phân loại. Timeline nghiên cứu kéo dài khoảng 6 tháng, bao gồm các giai đoạn thu thập dữ liệu, cài đặt thuật toán, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tăng tốc độ xử lý dữ liệu lớn: Mô hình K-NN kết hợp MapReduce trên Apache Spark giảm thời gian xử lý xuống còn khoảng 30-50% so với thuật toán K-NN truyền thống chạy trên Hadoop MapReduce. Ví dụ, với bộ dữ liệu 100 TB, Spark chỉ mất 23 phút để sắp xếp, trong khi Hadoop mất 72 phút.

2. Hiệu quả bộ nhớ được cải thiện: Việc sử dụng RDD và cơ chế cache của Spark giúp giảm đáng kể bộ nhớ cần thiết trong quá trình tính toán, cho phép xử lý dữ liệu lớn mà không bị quá tải bộ nhớ.

3. Tăng độ chính xác phân loại: Thuật toán Secondary Sorting giúp sắp xếp dữ liệu đầu vào theo thứ tự tăng dần, từ đó thu gọn không gian tìm kiếm nghiệm, nâng cao độ chính xác phân loại lên khoảng 5-7% so với phương pháp không sắp xếp.

4. Khả năng mở rộng linh hoạt: Mô hình cho phép mở rộng số lượng nút trong cụm tính toán, tăng khả năng xử lý song song, phù hợp với các hệ thống phân tán quy mô lớn.

Thảo luận kết quả

Nguyên nhân chính của việc tăng tốc độ xử lý là do Spark tận dụng bộ nhớ RAM để lưu trữ và xử lý dữ liệu, giảm thiểu việc đọc ghi đĩa so với Hadoop MapReduce. Việc áp dụng thuật toán Secondary Sorting giúp giảm vòng lặp sắp xếp trong giai đoạn Reduce, từ đó tối ưu hóa hiệu suất tính toán. So sánh với các nghiên cứu trước đây, kết quả cho thấy sự kết hợp giữa K-NN và mô hình MapReduce trên Spark là giải pháp hiệu quả hơn trong khai phá dữ liệu lớn. Biểu đồ thời gian thực nghiệm minh họa rõ sự chênh lệch về thời gian xử lý giữa các mô hình, trong khi bảng so sánh kết quả phân loại thể hiện sự cải thiện về độ chính xác. Kết quả này có ý nghĩa quan trọng trong việc phát triển các ứng dụng khai phá dữ liệu lớn trong thực tế, đặc biệt trong các lĩnh vực như tài chính, y tế và thương mại điện tử.

Đề xuất và khuyến nghị

1. Triển khai mô hình K-NN cải tiến trên các hệ thống phân tán: Khuyến nghị các tổ chức sử dụng Apache Spark kết hợp thuật toán Secondary Sorting để xử lý dữ liệu lớn, nhằm giảm thời gian tính toán và tăng độ chính xác phân loại trong vòng 6-12 tháng tới.

2. Đào tạo nhân lực về công nghệ Big Data và Spark: Tổ chức các khóa đào tạo chuyên sâu về lập trình Spark, MapReduce và thuật toán K-NN cho đội ngũ kỹ thuật nhằm nâng cao năng lực triển khai và vận hành hệ thống.

3. Tối ưu hóa tham số K và hàm khoảng cách: Khuyến khích nghiên cứu thêm về lựa chọn tham số K phù hợp và các hàm khoảng cách khác nhau để phù hợp với từng loại dữ liệu cụ thể, nâng cao hiệu quả phân loại.

4. Phát triển công cụ hỗ trợ trực quan hóa kết quả: Xây dựng các dashboard và công cụ báo cáo tích hợp với Spark để theo dõi hiệu suất và kết quả phân loại, giúp người dùng dễ dàng đánh giá và điều chỉnh mô hình.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính: Có thể áp dụng kiến thức về thuật toán K-NN, MapReduce và Apache Spark để phát triển các đề tài nghiên cứu liên quan đến khai phá dữ liệu lớn.

2. Chuyên gia Big Data và kỹ sư dữ liệu: Sử dụng các giải pháp cải tiến thuật toán để tối ưu hóa quy trình xử lý dữ liệu lớn trong doanh nghiệp, nâng cao hiệu quả phân tích và dự báo.

3. Doanh nghiệp và tổ chức ứng dụng công nghệ dữ liệu: Áp dụng mô hình để cải thiện hệ thống phân loại khách hàng, dự báo thị trường, và các ứng dụng phân tích dữ liệu trong kinh doanh.

4. Nhà quản lý và hoạch định chính sách: Tham khảo để hiểu rõ hơn về tiềm năng và ứng dụng của Big Data trong việc ra quyết định dựa trên dữ liệu lớn, từ đó xây dựng chiến lược phát triển công nghệ phù hợp.

Câu hỏi thường gặp

1. Thuật toán K-NN là gì và tại sao lại phổ biến trong khai phá dữ liệu?
   K-NN là thuật toán phân loại dựa trên việc tìm K phần tử gần nhất trong không gian đặc trưng. Nó phổ biến vì đơn giản, dễ hiểu và không cần giai đoạn huấn luyện phức tạp, phù hợp với nhiều bài toán phân loại.

2. Tại sao cần cải tiến K-NN trong môi trường dữ liệu lớn?
   K-NN truyền thống tốn nhiều bộ nhớ và thời gian tính toán khi xử lý dữ liệu lớn, do phải so sánh với toàn bộ tập huấn luyện. Cải tiến giúp giảm thiểu chi phí tính toán và tăng tốc độ xử lý.

3. Mô hình MapReduce giúp gì cho việc xử lý K-NN?
   MapReduce phân tán công việc tính toán trên nhiều nút, cho phép xử lý song song các phần dữ liệu, từ đó giảm thời gian xử lý và tăng khả năng mở rộng cho thuật toán K-NN.

4. Secondary Sorting là gì và vai trò của nó trong nghiên cứu?
   Secondary Sorting là kỹ thuật sắp xếp các giá trị trong giai đoạn Reduce theo thứ tự nhất định, giúp thu gọn không gian tìm kiếm và tối ưu hóa hiệu suất tính toán trong mô hình MapReduce.

5. Apache Spark có ưu điểm gì so với Hadoop MapReduce?
   Spark sử dụng bộ nhớ RAM để xử lý dữ liệu, giảm thiểu đọc ghi đĩa, giúp tăng tốc độ xử lý từ 30-50 lần so với Hadoop MapReduce, đồng thời hỗ trợ nhiều thư viện học máy và xử lý dữ liệu thời gian thực.

Kết luận

• Luận văn đã đề xuất thành công mô hình cải tiến thuật toán K-NN kết hợp MapReduce và Secondary Sorting trên Apache Spark, nâng cao hiệu quả khai phá dữ liệu lớn.
• Kết quả thực nghiệm cho thấy giảm thời gian xử lý xuống còn khoảng 30-50% và tăng độ chính xác phân loại từ 5-7%.
• Mô hình có khả năng mở rộng linh hoạt, phù hợp với các hệ thống phân tán quy mô lớn.
• Đề xuất các giải pháp triển khai và đào tạo nhân lực nhằm ứng dụng rộng rãi trong thực tế.
• Các bước tiếp theo bao gồm tối ưu tham số thuật toán, phát triển công cụ trực quan hóa và mở rộng ứng dụng trong các lĩnh vực chuyên sâu.

Hãy bắt đầu áp dụng các giải pháp cải tiến này để khai thác tối đa giá trị từ dữ liệu lớn trong tổ chức của bạn!

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỎNG QUAN KHAI PHÁ DỮ LIỆU LỚN 1.1 Big Data Cùng với sự tiến bộ của công nghệ, sự ra đời của các kênh truyền thông mới như mạng xã hội và các thiết bị công nghệ mới tiên tiễn hơn đã đặt ra thách thức cho các nền công nghiệp khác nhau phải tìm những cách khác để xử lý dữ liệu. Từ khi hình thành cho tới đến hết năm 2003, toàn thế giới chỉ có khoảng 5 tỷ Gigabyte dữ liệu. Cũng một lượng dữ liệu như vậy được tạo ra chỉ trong 2 ngày trong năm 2011. Đến năm 2013, khối lượng dữ liệu này được tạo ra cứ sau mỗi 10 phút.

Do đó, không có gì ngạc nhiên khi mà 90% dữ liệu của toản thế giới hiện nay được tạo ra trong một vài năm qua [1]. Tất cả những dữ liệu này cực kỳ hữu ích nhưng không được tận dụng trước khi thuật ngữ “Big Data” ra đời. Dữ liệu lớn hay Big Data là một thuật ngữ cho việc xử lý một tập hợp dữ liệu rất lớn và phức tạp mà các ứng dụng xử lý đữ liệu truyền thống không xử lý được trong thời gian hợp lý. Những tập dữ liệu này bao gồm dữ liệu có cấu trúc, không có cấu trúc và bán cấu trúc.

Hay cụ thể hơn Big Data gồm nhiều thách thức như: phân tích, nắm bắt, quản lý, tìm kiếm, chuyển giao, bảo mật thông tin. Big Data được mô tả bởi những đặc trưng sau: Volume (Tổng dung lượng lưu trữ) Nói về số lượng dữ liệu được tạo và lưu trữ. Kích thước của dữ liệu sẽ được đánh giá là có giá trị và có tiềm năng hay không, và để xem xét liệu nó có thể được coi là dữ liệu lớn hay không. Variety (Đa dạng kiểu dữ liệu) Khái niệm này nói về kiểu dữ liệu và tính chất của đữ liệu.

Điều này giúp những người phân tích nó sử dụng hiệu quả thông tin chỉ tiết về kết quả. Chúng được tập hợp từ những văn bản, hình ảnh, âm thanh, video. Velocity (Khả năng truyền thông tin tốc độ cao) Tốc độ của một dữ liệu được tạo ra và rồi được chuyển từ nơi này sang nơi khác hiện tại đã đạt đến mức kinh ngạc. Như việc mọi người có thé chat với nhau trên Facebook với tốc độ nhanh chóng trong môi trường mạng hiện nay.

Big Data cho phép chúng ta có thể phân tích các thông số của một dữ liệu được tạo ra mà không cần phải lưu chúng xuống cở sở đữ liệu. Variability (Độ chính xác) Vì đa dạng về các kiểu dữ liệu, nên sự không thống nhất của tập đữ liệu có thể cản trở các quy trình để xử lý và quản lý nó. Do đó, độ chính xác của dữ liệu này có thé dam bao giúp cho việc giảm bớt sự sai lệch đáng tiếc có thể xảy ra. Value (Mức độ giá trị của thông tin) Chất lượng dữ liệu của những dữ liệu lấy được có thể thay đổi rất nhiều, điều này sẽ ảnh hưởng đến việc phân tích chính xác.

Có thể xem đây là tính chất cũng là khái niệm mà những doanh nghiệp hay nhà nghiên cứu muốn sử dụng và khai thác Big Data phải nắm giữ và am hiểu nó đầu tiên. Những nguồn chính tạo ra Big Data [2]: Hộp đen dữ liệu: đây là dữ liệu được tạo ra bởi máy bay, bao gồm máy bay phản lực và trực thăng. Hộp đen dữ liệu này bao gồm thông tin tạo ra bởi giọng nói của phi hành đoàn, các bản thu âm và thông tin về chuyến bay. Dữ liệu từ các kênh truyền thông xã hội: Đây là đữ liệu được tạo ra và phát triển bởi như các trang web truyền thông xã hội như Twitter, Facebook, Instagram, Pinterest và Google.

Dữ liệu giao dịch chứng khoán: Đây là số liệu từ thị trường chứng khoán đối với quyết định mua và bán cô phiếu được thực hiện bởi khách hàng. Dữ liệu điện lực: đây là dữ liệu tạo ra bởi điện lực. Nó bao gồm các thông tin cụ thể từ các điểm giao nhau của các nút thông tin sử dụng. Dữ liệu giao thông: đữ liệu này bao gồm sức chứa và các mẫu phương tiện giao thông, độ sẵn sàng và khoảng cách đã đi được của từng phương tiện giao thông.

Dữ liệu các thiết bị tìm kiếm: đây là dữ liệu được tạo ra từ các công cụ tìm kiếm và đây cũng là nguồn dữ liệu lớn nhất của Big Data. Công cụ tìm kiếm có cơ sở dữ liệu cực kỳ rộng lớn, nơi họ có thể tìm thấy đữ liệu họ cần. Mục đích sử dụng Big Data Điều thực sự mang lại giá trị từ tất ca các tổ chức đữ liệu lớn đang thu thập là phân tích đữ liệu (Analytics). Nếu không phân tích, nó chỉ là một bộ dữ liệu với việc sử dụng hạn chế trong kinh doanh.

Nhìn chung, có bốn lợi ích mà Big Data có thể mang lại: cắt giảm chỉ phí, giảm thời gian, tăng thời gian phát triển và tối ưu hóa sản phâm, đồng thời hỗ trợ con người đưa ra những quyết định đúng và hợp lý hơn. Big Data có thể giúp các tổ chức, chính phủ dự đoán được tỉ lệ thất nghiệp, xu hướng nghề nghiệp của tương lai để đầu tư cho những hạng mục đó, hoặc cắt giảm chỉ tiêu, kích thích tăng trưởng kinh tế, v/v. thậm chí là ra phương án phòng ngừa trước một dịch bệnh nào đó. Một số ví dụ về sự phố biến của Big Data hiện nay Phân tích hành vi khách hàng: Đây là trường hợp sử dụng Big Data phố biến và rộng nhất hiện nay.

Big Data trong trường hợp này được sử dụng nhằm mục đích hiểu rõ hơn về khách hàng của họ từ hành vi, sở thích. Qua đó, các công ty sẽ dễ đàng để mở rộng dữ liệu từ truyền thống đến dữ liệu xã hội và có một phân tích hoàn thiện về khách hàng của họ. Mục tiêu của sử dụng Big Data trong trường hợp này là tạo ra các mô hình tiên đoán khách hàng hiệu quả nhất. Hiểu và tối ưu hóa quy trình kinh doanh: Trong các quy trình kinh doanh hiện nay, việc hiểu và tối ưu hóa là một nhu cầu cần thiết.

Các nhà kinh doanh có thể đầu tư và tối ưu hóa cổ phiếu dựa trên các đự đoán được tạo ra từ nguồn dữ liệu truyền thông xã hội và xu hướng tìm kiếm trên các website phô biến. Tối ưu hóa hiệu suất của mỗi cá nhân và hiệu suất của cả quá trình: Không chỉ những công ty hay doanh nghiệp, chính phủ mà ngày nay Big Data còn được sử dụng cho mỗi cá nhân. Mỗi người đều có thể hưởng lợi từ đữ liệu được tạo ra từ thiết bị đang có. Ví dụ như một chiếc đồng hồ thông minh hoặc một vòng đeo tay thông minh có thể cho người dùng biết được lượng tiêu thụ calo, nhịp tim và các cảnh báo nguy hiểm.

Cải thiện sức khỏe và sức khỏe cộng đồng đối với các tổ chức Y Tế hiện nay: Đây là lĩnh vực sử dụng nguồn Big Data lớn và mang lại nhiều hiệu quả nhất. Sự phân tích tính toán nhanh chóng, chính xác mang lại các hiệu quả cao trong y tế hiện nay như việc giải mã các chuỗi DNA cho phép các bác sỹ được ra phương pháp chữa trị mới và tiên tiến hơn. Cải thiện hiệu suất trong luyện tập thể thao: Công cụ IBM SlamTracker là một đại diện tiêu biểu của nguồn Big Data được sử dụng trong luyện tập thé thao nhằm nâng cao cải thiện hiệu quả. Công cụ này được str dung dé phan tích video và theo dõi hiệu suất của từng thành viên trong một đội thể thao.

Cải thiện Khoa học và Nghiên cứu: Big Data có tác dụng nâng cao chuyên đổi những khả năng mới của các nghiên cứu, khoa học. Ví dụ cụ thể về phòng thí nghiệm Large Hadron Collider đã sử dụng Big Data để nghiên cứu ra máy gia tốc hạt lớn nhất và mạnh nhất. Tối ưu hóa hiệu suất máy móc và thiết bị: Sự trợ giúp và phân tích từ Big Data đã giúp cho các máy móc, thiết bị được nâng cấp lên hiện đại hơn và thông minh hơn. Vi du cu thé la cong cu GPS được sử dụng cho máy tính va điện thoại giúp người tham gia giao thông đi đúng và an toàn mà không cần sự trợ giúp của con người.

Cải thiện an ninh và thực thi pháp luật: Trong trường hợp cải thiện an ninh và thực thi pháp luật Big Data được sử dụng nhiều và phổ biến. Nhất là trong việc cải thiện bảo mật và thực thi pháp luật. Cải thiện và tối ưu hóa các thành phố và quốc gia: Đây là một trường hợp sử dụng Big Data ở nhiều khía cạnh khác nhau. Ví dụ từ nguồn đữ liệu lớn, nó cho phép các thành phố được tối ưu luồng lưu lượng lưu thông đựa vào các thông tin giao thông của Big Data.

Sự phát triển của Big Data Nhờ giải pháp Big Data, năm 2013, Amazon đạt doanh thu tới 74 tỷ USD, IBM đạt hơn 16 tỷ USD. Big Data có nhu cầu đang tăng trưởng lớn đến nỗi Software AG, Oracle, IBM, Microsoft, SAP, EMC, HP và Dell đã chi hơn 15 tỉ USD cho các công ty chuyên về quản lí và phân tích dữ liệu. Năm 2010, ngành công nghiệp Big Data có giá trị hơn 100 tỉ USD và đang tăng nhanh với tốc độ 10% mỗi năm, nhanh gấp đôi so với tổng ngành phần mềm nói chung [3]. Với hơn 30 triệu người dùng Internet va hon lŠ triệu người dùng Internet trên điện thoại di động, Việt Nam đang là đích ngắm của nhiều nhà cung cấp giai phap Big Data nhu Microsoft, IBM, Oracle.

Big Data va cac công nghệ phân tích có khả năng làm thay đổi hoàn toàn bộ mặt của các ngành kinh tế và nghề nghiệp. Vì vậy những mô hình kinh doanh mới dựa trên Big Data đang được hình thành để giúp các tổ chức, doanh nghiệp tận dụng dữ liệu. “Đây cũng là xu thế tất yếu trong tương lai không xa với doanh nghiệp Việt Nam", ông Tan Jee Toon, Tổng Giám đốc IBM Việt Nam dự đoán [7].1 Khái niệm Khai phá dữ liệu là một khái niệm ra đời vào những năm cuối của thập kỷ 80. Nó bao hàm một loạt các kỹ thuật nhằm phát hiện ra các thông tin có giá trị tiềm ân trong các tập đữ liệu lớn (các kho dữ liệu).

Về bản chất, khai phá dữ liệu liên quan đến việc phân tích các đữ liệu và sử dụng các kỹ thuật để tìm ra các mẫu trong các bộ dữ liệu lớn liên quan đến các phương pháp tại giao điểm của máy học, thống kê và các hệ thống cơ sở dữ liệu.