Luận văn ứng dụng mô hình học máy naivebayes trong môi trường spark cho bài toán dự báo khả năng hỏng của đĩa cứng máy tính

Chuyên khảo môi trường phân tích Luận văn ứng dụng mô hình học máy naivebayes trong môi trường spark cho bài toán dự báo khả năng, đánh giá các khía cạnh quan trọng, đề xuất hướng

• Tác giả: Võ Chí Cường
• Người hướng dẫn: TS. Hồ Văn Lâm
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Ứng Dụng Mô Hình Naïve Bayes Trên Spark Để Dự Đoán Khả Năng Hỏng Của Đĩa Cứng Máy Tính
• Loại tài liệu: Luận Văn

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• MỞ ĐẦU
• 0.1. Lý do chọn đề tài
• 0.2. Tổng quan tình hình nghiên cứu đề tài
• 0.3. Mục tiêu và nhiệm vụ nghiên cứu
• 0.4. Nhiệm vụ nghiên cứu
• 0.5. Đối tượng và phạm vi nghiên cứu
• 1. CHƯƠNG 1: KIẾN THỨC TỔNG QUAN
• 1.1. Giới thiệu về học máy
• 1.1.1. Các thành phần của học máy
• 1.1.2. Phương thức hoạt động của học máy
• 1.1.3. Ứng dụng của học máy
• 1.2. Mô hình lập trình MapReduce
• 1.2.1. Tổng quan về mô hình MapReduce
• 1.2.2. Nguyên tắc hoạt động của mô hình MapReduce
• 1.2.3. Một số bài toán ứng dụng mô hình MapReduce
• 1.3. Giới thiệu về Spark
• 1.3.1. Thành phần của Apache Spark
• 1.3.2. Quản lý bộ nhớ của Apache Spark
• 1.3.3. Kết luận chương 1
• 2. CHƯƠNG 2: THUẬT TOÁN NAÏVE BAYES VÀ BÀI TOÁN DỰ BÁO KHẢ NĂNG HỎNG CỦA ĐĨA CỨNG MÁY TÍNH
• 2.1. Thuật toán Naïve Bayes
• 2.1.1. Mô hình phân lớp Naïve Bayes
• 2.1.2. Một số kiểu mô hình Naïve Bayes
• 2.1.3. Ứng dụng của thuật toán
• 2.2. Bài toán dự báo đĩa cứng hỏng
• 2.2.1. Giới thiệu về S
• 2.2.2. Naïve Bayes cho bài toán dự báo khả năng hỏng của đĩa cứng
• 2.2.3. Naïve Bayes theo mô hình lập trình MapReduce cho bài toán dự báo
• 2.2.4. Thuật toán Naïve Bayes thực hiện trên môi trường Spark
• 2.2.5. Học máy trên môi trường Spark
• 2.2.6. Kết luận chương 2
• 3. CHƯƠNG 3: THỰC NGHIỆM
• 3.1. Cấu trúc dữ liệu thử nghiệm
• 3.2. Triển khai thực nghiệm
• 3.3. Đánh giá thuật toán
• 3.4. Kết quả đạt được của luận văn
• 3.5. Kiến nghị và hướng nghiên cứu tiếp theo
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Ứng Dụng Naïve Bayes Dự Đoán Đĩa Cứng

Trong kỷ nguyên số, cơ sở hạ tầng vật lý đóng vai trò then chốt. Dự đoán hỏng hóc thiết bị, đặc biệt là đĩa cứng máy tính, trở thành ưu tiên hàng đầu. Các công nghệ cảm biến, truyền thông và phân tích dữ liệu tiên tiến đang mở ra hướng đi mới trong việc dự báo độ tin cậy đĩa cứng. Không phải mọi dữ liệu đều có giá trị như nhau, việc xác định dữ liệu quan trọng để quản lý hỏng hóc là rất cần thiết. Dữ liệu như dòng thời gian sản xuất, điều kiện thiết bị và dữ liệu sự kiện được sử dụng bởi các công cụ phân tích dữ liệu tiên tiến. Đầu tư vào khoa học dữ liệu và kỹ năng phân tích tiên tiến, tập trung vào quản lý thiết bị, sẽ hỗ trợ các nỗ lực cải tiến liên tục cho các tổ chức CNTT. Theo tài liệu gốc, “Với những tiến bộ trong các công cụ phân tích để dự báo thiết bị hỏng, đó là sự không thể tránh khỏi rằng các tổ chức với thiết bị quan trọng nhiệm vụ sẽ đầu tư và phân tích nâng cao để giúp đảm bảo hoạt động an toàn và đáng tin cậy.” Luận văn này tập trung vào thuật toán Naïve Bayes trên môi trường Spark để dự đoán khả năng hỏng đĩa cứng. Mục tiêu là cài đặt và ứng dụng mô hình học máy Naïve Bayes để dự báo thời điểm đĩa cứng hỏng, giúp tránh bị động trong quản lý. Điều này giúp nhà quản lý chủ động hơn trong việc bảo trì dự đoán và thay thế đĩa cứng.

1.1. Tầm Quan Trọng Của Dự Đoán Hỏng Hóc Đĩa Cứng

Việc dự đoán hỏng hóc của đĩa cứng máy tính có vai trò quan trọng trong việc duy trì tính ổn định và hiệu suất của hệ thống. Khi có thể dự đoán trước các sự cố, doanh nghiệp có thể chủ động lên kế hoạch bảo trì dự đoán, thay thế các linh kiện sắp hỏng, từ đó giảm thiểu thời gian chết và chi phí sửa chữa. Dữ liệu SMART data từ đĩa cứng cung cấp các thông tin giá trị về tình trạng hoạt động của nó, và việc áp dụng các mô hình dự đoán như Naïve Bayes có thể giúp phát hiện các dấu hiệu hỏng hóc sớm. Theo tài liệu, việc ứng dụng Naive Bayes giúp "tránh khỏi việc bị động trong 2 việc quản lý đĩa cứng máy tính bị hư hỏng ngoài dự đoán của nhà quản lý".

1.2. Giới Thiệu Thuật Toán Naïve Bayes Trong Dự Đoán

Thuật toán Naïve Bayes là một phương pháp phân loại dựa trên định lý Bayes với giả định về tính độc lập giữa các thuộc tính. Mặc dù đơn giản, Naïve Bayes lại tỏ ra hiệu quả trong nhiều bài toán, đặc biệt là trong việc phân loại dữ liệu văn bản và dự đoán các sự kiện. Trong bối cảnh dự đoán hỏng hóc đĩa cứng, Naïve Bayes có thể được sử dụng để phân loại các đĩa cứng vào nhóm "sắp hỏng" hoặc "hoạt động tốt" dựa trên các thông số SMART data. Tính đơn giản và tốc độ tính toán của Naïve Bayes làm cho nó trở thành một lựa chọn phù hợp cho việc xử lý lượng lớn dữ liệu trong môi trường Big Data.

II. Thách Thức Khi Dự Đoán Hỏng Đĩa Cứng Với Dữ Liệu Lớn

Khi xử lý dữ liệu lớn, các phương pháp truyền thống gặp nhiều khó khăn về tốc độ và khả năng mở rộng. Phân tích dữ liệu thủ công trở nên bất khả thi. Các hệ thống Big Data như Spark ra đời để giải quyết vấn đề này. Spark cung cấp khả năng xử lý song song và phân tán, cho phép phân tích dữ liệu nhanh chóng và hiệu quả. Tuy nhiên, việc triển khai các mô hình học máy như Naïve Bayes trên Spark cũng đòi hỏi kiến thức chuyên sâu về cả thuật toán và nền tảng. Theo tài liệu gốc, Spark cho phép xử lý dữ liệu theo thời gian thực, vừa nhận dữ liệu từ các nguồn khác nhau đồng thời thực hiện ngay việc xử lý trên dữ liệu vừa nhận được (Spark Streaming). Do đó việc ứng dụng thuật toán Naïve Bayes cần kết hợp với một nền tảng phù hợp để có thể xử lý và phân tích một cách hiệu quả.

2.1. Khó Khăn Trong Xử Lý Dữ Liệu SMART Lớn

Dữ liệu SMART data từ các đĩa cứng máy tính thường có kích thước lớn và liên tục được cập nhật. Việc xử lý lượng dữ liệu này bằng các phương pháp truyền thống gặp nhiều khó khăn về tốc độ và hiệu quả. Các thuật toán phân tích dữ liệu cần phải được tối ưu hóa để có thể xử lý Big Data một cách nhanh chóng và chính xác. Ngoài ra, việc lưu trữ và quản lý dữ liệu cũng là một thách thức lớn, đòi hỏi các hệ thống Big Data có khả năng mở rộng và chịu tải cao.

2.2. Yêu Cầu Về Hiệu Năng Tính Toán Trong Dự Đoán

Việc dự đoán hỏng hóc đĩa cứng đòi hỏi khả năng tính toán nhanh chóng và chính xác. Các mô hình dự đoán cần phải được huấn luyện và kiểm tra trên một lượng lớn dữ liệu, và quá trình này có thể tốn nhiều thời gian nếu không có các công cụ và nền tảng phù hợp. Đặc biệt, khi áp dụng các thuật toán học máy phức tạp như Naïve Bayes, yêu cầu về hiệu năng đĩa cứng tính toán càng trở nên quan trọng. Do đó, việc sử dụng các nền tảng Big Data như Spark là cần thiết để đáp ứng yêu cầu về hiệu suất và khả năng mở rộng.

III. Phương Pháp Áp Dụng Naïve Bayes Trên Spark Để Dự Đoán

Để giải quyết thách thức về Big Data, luận văn này đề xuất ứng dụng thuật toán Naïve Bayes trên nền tảng Spark. Spark cung cấp các API mạnh mẽ để học máy trên Spark, bao gồm cả thuật toán Naïve Bayes. Quá trình bao gồm các bước: thu thập dữ liệu SMART data, tiền xử lý dữ liệu, huấn luyện mô hình Naïve Bayes và đánh giá mô hình. Theo tài liệu gốc, “Ứng dụng thuật toán Naïve Bayes cho bài toán dự báo đĩa cứng hỏng trên môi trƣờng Spark để có thể tăng tốc độ xử lý và cho ra kết quả có độ chính xác cao từ lƣợng lớn dữ liệu đƣợc thu thập của các ổ đĩa máy tính và đƣa ra dự báo khi nào thì ổ đĩa hỏng.” Kết quả dự đoán có thể được sử dụng để phân tích rủi ro và lên kế hoạch bảo trì dự đoán. Tối ưu hóa hiệu suất đĩa cứng mô hình là rất quan trọng.

3.1. Quy Trình Xây Dựng Mô Hình Naïve Bayes Trên Spark

Quy trình xây dựng mô hình Naïve Bayes trên Spark bao gồm nhiều bước, từ thu thập dữ liệu đến đánh giá mô hình. Đầu tiên, dữ liệu SMART data từ các đĩa cứng máy tính được thu thập và lưu trữ trên hệ thống Big Data. Tiếp theo, dữ liệu được tiền xử lý để loại bỏ các giá trị thiếu và nhiễu, đồng thời chuyển đổi sang định dạng phù hợp cho Spark. Sau đó, thuật toán Naïve Bayes được áp dụng để huấn luyện mô hình dự đoán trên dữ liệu đã được tiền xử lý. Cuối cùng, mô hình được đánh giá bằng cách sử dụng một tập dữ liệu kiểm tra độc lập để đảm bảo tính chính xác và độ tin cậy.

3.2. Tối Ưu Hóa Hiệu Suất Thực Thi Trên Spark

Để đạt được hiệu suất tối ưu khi thực thi thuật toán Naïve Bayes trên Spark, cần chú ý đến nhiều yếu tố. Thứ nhất, cấu hình phần cứng của hệ thống Big Data cần phải phù hợp với khối lượng dữ liệu và độ phức tạp của mô hình. Thứ hai, các tham số của Spark cần được điều chỉnh để tận dụng tối đa khả năng xử lý song song và phân tán. Thứ ba, thuật toán Naïve Bayes cần được tối ưu hóa để giảm thiểu thời gian tính toán và sử dụng bộ nhớ. Cuối cùng, việc giám sát và đánh giá hiệu suất thường xuyên là cần thiết để phát hiện và khắc phục các vấn đề tiềm ẩn.

IV. Thực Nghiệm Và Đánh Giá Mô Hình Dự Đoán Trên Spark

Luận văn tiến hành thực nghiệm trên bộ dữ liệu thực tế để đánh giá mô hình Naïve Bayes trên Spark. Các chỉ số như độ chính xác, độ phủ và F1-score được sử dụng để đo lường hiệu suất đĩa cứng của mô hình. Kết quả cho thấy mô hình dự đoán đạt độ chính xác cao trong việc dự đoán hỏng hóc đĩa cứng. Theo tài liệu gốc, "Thực nghiệm và so sánh về tốc độ so với thuật toán khi không chạy trên nền tảng Spark." Điều này chứng minh tính hiệu quả của việc ứng dụng Naïve Bayes trên Big Data Spark cho bài toán này. Độ tin cậy đĩa cứng cũng được xem xét trong quá trình đánh giá mỗ hình.

4.1. Bộ Dữ Liệu Và Môi Trường Thử Nghiệm

Bộ dữ liệu sử dụng trong thực nghiệm bao gồm thông tin SMART data từ một số lượng lớn đĩa cứng máy tính trong một khoảng thời gian nhất định. Dữ liệu được thu thập từ các nguồn khác nhau và được tiền xử lý để đảm bảo tính chính xác và đầy đủ. Môi trường thử nghiệm được xây dựng trên nền tảng Spark, với cấu hình phần cứng và phần mềm phù hợp. Các tham số của Spark được điều chỉnh để tối ưu hóa hiệu suất thực thi của thuật toán Naïve Bayes.

4.2. Các Chỉ Số Đánh Giá Hiệu Suất Mô Hình

Để đánh giá hiệu suất của mô hình dự đoán, các chỉ số sau được sử dụng: Độ chính xác (Accuracy): Tỷ lệ số lượng dự đoán đúng trên tổng số dự đoán. Độ phủ (Recall): Tỷ lệ số lượng đĩa cứng hỏng được dự đoán đúng trên tổng số đĩa cứng hỏng thực tế. Độ chính xác (Precision): Tỷ lệ số lượng đĩa cứng được dự đoán là hỏng thực sự hỏng trên tổng số đĩa cứng được dự đoán là hỏng. F1-score: Trung bình điều hòa của độ phủ và độ chính xác.

V. Kết Luận Và Hướng Phát Triển Mô Hình Dự Đoán Này

Luận văn đã trình bày phương pháp ứng dụng thuật toán Naïve Bayes trên Spark để dự đoán khả năng hỏng đĩa cứng một cách hiệu quả. Kết quả thực nghiệm cho thấy mô hình dự đoán có độ chính xác cao và có thể giúp doanh nghiệp chủ động trong việc bảo trì dự đoán. Trong tương lai, có thể nghiên cứu các mô hình học máy phức tạp hơn và kết hợp với các nguồn dữ liệu khác để cải thiện độ tin cậy đĩa cứng dự đoán.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Nghiên cứu đã thành công trong việc áp dụng thuật toán Naïve Bayes trên nền tảng Spark để xây dựng mô hình dự đoán khả năng hỏng đĩa cứng. Mô hình đã được đánh giá trên bộ dữ liệu thực tế và cho thấy hiệu suất cao về độ chính xác và độ phủ. Kết quả này chứng minh tính khả thi và hiệu quả của việc sử dụng Big Data và học máy để giải quyết bài toán bảo trì dự đoán trong lĩnh vực CNTT.

5.2. Các Hướng Nghiên Cứu Tiếp Theo

Trong tương lai, có thể mở rộng nghiên cứu theo các hướng sau: Sử dụng các thuật toán học máy khác như Support Vector Machine (SVM) hoặc Random Forest để so sánh hiệu suất với Naïve Bayes. Kết hợp dữ liệu SMART data với các nguồn dữ liệu khác như thông tin về môi trường hoạt động của đĩa cứng hoặc lịch sử bảo trì để cải thiện độ chính xác của mô hình dự đoán. Phát triển một hệ thống dự đoán tự động có khả năng cảnh báo sớm các sự cố tiềm ẩn và đề xuất các biện pháp phòng ngừa.

Trích đoạn nội dung tài liệu

MỞ ĐẦU .1 Lý do chọn đề tài.2 Tổng quan tình hình nghiên cứu đề tài .3 Mục tiêu và nhiệm vụ nghiên cứu .4 Nhiệm vụ nghiên cứu .5 Đối tƣợng và phạm vi nghiên cứu. 4 CHƢƠNG 1: KIẾN THỨC TỔNG QUAN .1 Giới thiệu về học máy. Các thành phần của học máy. Phương thức hoạt động của học máy.

Ứng dụng của học máy .2 Mô hình lập trình MapReduce .1 Tổng quan về mô hình MapReduce.2 Nguyên tắc hoạt động của mô hình MapReduce .3 Một số bài toán ứng dụng mô hình MapReduce [6] .3 Giới thiệu về Spark .2 Thành phần của Apache Spark .3 Quản lý bộ nhớ của Apache Spark .4 Kết luận chƣơng 1. 24 CHƢƠNG 2: THUẬT TOÁN NAÏVE BAYES VÀ BÀI TOÁN DỰ BÁO KHẢ NĂNG HỎNG CỦA ĐĨA CỨNG MÁY TÍNH .1 Thuật toán Naïve Bayes. Mô hình phân lớp Naïve Bayes. Một số kiểu mô hình Naïve Bayes.

Ứng dụng của thuật toán .2 Bài toán dự báo đĩa cứng hỏng .2 Giới thiệu về S.4 Naïve Bayes cho bài toán dự báo khả năng hỏng của đĩa cứng.3 Naïve Bayes theo mô hình lập trình MapReduce cho bài toán dự báo.4 Thuật toán Naïve Bayes thực hiện trên môi trƣờng Spark .5 Học máy trên môi trƣờng Spark.6 Kết luận chƣơng 2. 57 CHƢƠNG 3: THỰC NGHIỆM .1 Cấu trúc dữ liệu thử nghiệm .2 Triển khai thực nghiệm .3 Đánh giá thuật toán. Kết quả đạt đƣợc của luận văn. Kiến nghị và hƣớng nghiên cứu tiếp theo.

76 DANH MỤC TÀI LIỆU THAM KHẢO. 78 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Tên viết Thuật ngữ Ý nghĩa tắt CSDL Cơ sở dữ liệu Cơ sở dữ liệu CNTT Công nghệ thông tin Công nghệ thông tin AI Artificial Intelligence Trí tuệ nhân tạo Tập hợp các item đƣợc phân RDD Resilient Distributed DataSet tán trên các node. Đồ thị không chu trình có DAG Directed Acyclic Graph hƣớng Hệ thống lƣu trữ tập tin của HDFS Hadoop Distributed File System Hadoop DANH MỤC CÁC BẢNG Bảng 3.1 Mô tả các thông số SMART từ thu thập dữ liệu .2 Ví dụ tỉ lệ phần trăm của hai đĩa cứng thông qua số liệu thống kê SMART .3: So sánh kết quả thu đƣợc qua mô hình thực nghiệm 1 và mô hình thực nghiệm 2. 75 DANH MỤC CÁC HÌNH VẼ Hình 1.1 Mô hình làm việc của một công việc MapReduce.

Quy trình xử lý của MapReduce [6] .3 Tỉ lệ sử dụng ngôn ngữ lập trình trong 2 năm 2014 và 2015 .4 Các thành phần của Apache Spark [11] .1 Giai đoạn Training [3].2 Giai đoạn phân loại [3].3 Mô tả tập dữ liệu theo định dạng file CSV. Đọc dữ liệu. Tính độ lệch chuẩn cho từng giá trị SMART. Xử lý dữ liệu.

Tính xác suất của từng biến theo phân phối Gausian. Dự đoán dựa vào xác suất .9 Giai đoạn phân loại [5].1 Dữ liệu mẫu .2: Input thƣ viện và cho máy học dữ liệu training và dữ liệu test trên môi trƣờng Pandas.3: Input thƣ viện và cho máy học dữ liệu training và dữ liệu test trên môi trƣờng Spark.4: Tập dữ liệu kiểm tra .5 Inport thƣ viện, môi trƣờng và thuật toán Naïve Bayes.6: Đọc và kiểm tra data training và data testing.7: Đếm tổng số data và số lƣợng data dự đoán lỗi ổ cứng bị thiếu.8: Sắp xếp các giá trị SMART > 0.9: Sắp xếp theo tổng các giá trị SMART trừ SMART 12.10: Sắp theo chu kỳ điện SMART 12.11: Kết quả thu đƣợc từ đếm tổng số dữ liệu đầu vào và đếm số lƣợng dự đoán lỗi ổ cứng bị thiếu dữ liệu.12: Kết quả thu đƣợc từ việc sắp xếp các giá trị SMART.13: Triển khai môi trƣờng Spark bằng googlecolab .14: Import thƣ viện và môi trƣờng spark .15: Cho máy học training data và testing data .16: Triển khai áp dụng thuật toán Naïve Bayes .17: Kết quả thu đƣợc từ đếm tổng số dữ liệu đầu vào và đếm số lƣợng dự đoán lỗi ổ cứng bị thiếu dữ liệu trên Spark.18: Kết quả thu đƣợc từ việc sắp xếp các giá trị SMART trên môi trƣờng Spark.1 Lý do chọn đề tài Trong thế giới kỹ thuật số, cơ sở hạ tầng vật lý và thiết bị vẫn là xƣơng sống của nhiều cơ quan, doanh nghiệp. Dự báo thiết bị hỏng từ lâu đã là mục tiêu cho những ngƣời chịu trách nhiệm quản lý hiệu suất tài sản, những tiến bộ trong công nghệ cảm biến, công nghệ truyền thông, quản lý thông tin và phân tích hiện đang là một trong những hƣớng đi tích cực cho việc dự báo độ hƣ hỏng của thiết bị. Không phải tất cả các dữ liệu đều có giá trị nhƣ nhau khi nói đến việc dự đoán thiết bị hỏng, vì vậy điều quan trọng là phải xác định dữ liệu cần thiết để quản lý thiết bị hỏng.

Dữ liệu đƣợc sử dụng bởi các công cụ phân tích tiên tiến để dự đoán hƣ hỏng đó là, dòng thời gian sản xuất, điều kiện thiết bị và dữ liệu sự kiện đƣợc sử dụng để kiểm soát và theo dõi các quy trình vật lý. Đầu tƣ vào khoa học dữ liệu và các kỹ năng phân tích tiên tiến với sự tập trung vào quản lý thiết bị, dự đoán sẽ giúp hỗ trợ các nỗ lực cải tiến liên tục cho các tổ chức công nghệ thông tin, bất kể tình trạng đầu tƣ hiện tại của doanh nghiệp, sau đó nó có thể giúp đảm bảo mỗi dự án thành công và quan trọng hơn là xây dựng khả năng đáp ứng các yêu cầu cần thiết trong cơ quan, doanh nghiệp. Với những tiến bộ trong các công cụ phân tích để dự báo thiết bị hỏng, đó là sự không thể tránh khỏi rằng các tổ chức với thiết bị quan trọng nhiệm vụ sẽ đầu tƣ và phân tích nâng cao để giúp đảm bảo hoạt động an toàn và đáng tin cậy. Một trong những công cụ mà luận văn hƣớng đến nghiên cứu là thuật toán Naïve Bayes trên môi trƣờng Spark.

Đề tài nghiên cứu “Ứng dụng mô hình học máy Naïve Bayes trên môi trƣờng Spark cho bài toán dự báo khả năng hỏng của đĩa cứng máy tính” nhằm cài đặt và ứng dụng mô hình học máy Naïve Bayes để dự báo việc đĩa cứng máy tính sẽ bị hỏng khi nào nhằm tránh khỏi việc bị động trong 2 việc quản lý đĩa cứng máy tính bị hƣ hỏng ngoài dự đoán của nhà quản lý. Đó là mục tiêu then chốt để hƣớng đến nghiên cứu đề tài.2 Tổng quan tình hình nghiên cứu đề tài Naïve Bayes là một thuật toán dựa trên định luật Bayes về lý thuyết xác suất để đƣa ra các phán đoán cũng nhƣ phân loại dữ liệu dựa trên các dữ liệu đƣợc quan sát và thống kê. Thuật toán Naïve Bayes đƣợc ứng dụng rất nhiều trong lĩnh vực học máy dùng để đƣa các dự đoán chính xác nhất dựa trên một tập dữ liệu đã đƣợc thu thập, vì nó dễ hiểu và có độ chính xác cao [8]. Định luật Bayes đƣợc phát biểu nhƣ sau: P(B|A) P (A) P(A|B)= P(B) Trong đó: - P(A|B) là xác suất xảy ra của một sự kiện ngẫu nhiên A khi biết sự kiện liên quan B đã xảy ra.

- P(B|A) là xác suất xảy ra B khi biết A xảy ra - P(A) là xác suất xảy ra của riêng A mà không quan tâm đến B. - P(B) là xác suất xảy ra của riêng B mà không quan tâm đến A. Một số mô hình áp dụng thuật toán Naïve Bayes [5] - Multinomial model (Mô hình đa thức). - Binary independence model (Mô hình độc lập nhị phân).

- Poisson Naïve Bayes Model - Connection between Poisson and Multinomial Model - Multinomial word model - Negative binomial Naïve Bayes Model Để xây dựng các mô hình này cho bài toán dự báo việc hƣ hỏng của đĩa cứng máy tính thì Spark là một dự án phần mềm mã nguồn mở đƣợc phát triển bởi Apache, nhằm thu các giá trị có ích từ khối lƣợng, tốc độ và tính đa 3 dạng của dữ liệu (cấu trúc/phi cấu trúc). Ban đầu Spark đƣợc phát triển bởi phòng thí nghiệm AMP Lab thuộc trƣờng Đại học California, Berkeley từ năm 2009 với mục đích nhằm nâng cao tốc độ xử lý của các hệ thống Hadoop. Sau đó nó trở thành một công cụ mã nguồn mở miễn phí từ năm 2010 và đƣợc chuyển giao cho Apache Software Foundation vào năm 2013. Spark dần trở thành một trong những dự án trọng tâm của Apache Software Foundation.

Phiên bản đầu tiên đƣợc công bố vào tháng 5/2014 và phiên bản 2.0 đƣợc công bố tháng 7/2016. Phiên bản mới nhất hiện giờ (tính đến tháng 09/2020) là phiên bản 3. Tốc độ xử lý của Spark có đƣợc do việc tính toán đƣợc thực hiện cùng lúc trên nhiều máy khác nhau. Đồng thời việc tính toán đƣợc thực hiện ở bộ nhớ trong (in-memories) hay thực hiện hoàn toàn trên RAM.

Spark cho phép xử lý dữ liệu theo thời gian thực, vừa nhận dữ liệu từ các nguồn khác nhau đồng thời thực hiện ngay việc xử lý trên dữ liệu vừa nhận đƣợc (Spark Streaming). Ứng dụng thuật toán Naïve Bayes cho bài toán dự báo đĩa cứng hỏng trên môi trƣờng Spark để có thể tăng tốc độ xử lý và cho ra kết quả có độ chính xác cao từ lƣợng lớn dữ liệu đƣợc thu thập của các ổ đĩa máy tính và đƣa ra dự báo khi nào thì ổ đĩa hỏng. Đó là hƣớng nghiên cứu cũng nhƣ mục tiêu mà đề tài muốn hƣớng đến.3 Mục tiêu và nhiệm vụ nghiên cứu Tìm hiểu và ứng dụng thuật toán Naïve Bayes trong việc dự báo khả nẳng hỏng của đĩa cứng máy tính, triển khai trên nền tảng Spark. Thực nghiệm và so sánh về tốc độ so với thuật toán khi không chạy trên nền tảng Spark.4 Nhiệm vụ nghiên cứu - Tìm hiểu thuật toán Naïve Bayes 4 - Tìm hiểu về bài toán dự báo đĩa cứng hỏng - Tìm hiểu về lập trình trên môi trƣờng Spark.

- Cài đặt thuật toán Naïve Bayes trên môi trƣờng Spark cho bài toán dự báo đĩa cứng hỏng. - Thực nghiệm và đánh giá 1.5 Đối tƣợng và phạm vi nghiên cứu Đối tƣợng nghiên cứu: - Thuật toán Naïve Bayes. - Bài toán dự báo đĩa cứng hỏng - Môi trƣờng Spark. - Phƣơng pháp lập trình thuật toán Naïve Bayes trên môi trƣờng Spark.

Phạm vi nghiên cứu: - Thuật toán Naïve Bayes theo mô hình lập trình MapReduce và cài đặt thuật toán trên môi trƣờng Spark cho bài toán dự báo đĩa cứng hỏng. 5 CHƢƠNG 1: KIẾN THỨC TỔNG QUAN 1.1 Giới thiệu về học máy 1. Học máy là gì? Học máy (Machine Learning) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải quyết những vấn đề cụ thể.