Xây Dựng Chương Trình Dự Báo Thuê Bao Hiện Hữu Sử Dụng Dịch Vụ Luận Văn Thạc Sĩ Công Nghệ Thông Tin

Chuyên khảo kỹ thuật phân tích Xây dựng chương trình dự báo thuê bao hiện hữu sử dụng thêm dịch vụ, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Người hướng dẫn: TS – Giảng Viên Khoa Công Nghệ Thông Tin
• Trường học: Trường Đại Học Lạc Hồng
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Dự Báo Thuê Bao Hiện Hữu Sử Dụng Dịch Vụ Luận Văn Thạc Sĩ Công Nghệ Thông Tin
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Đồng Nai

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT LUẬN VĂN
• 1. CHƯƠNG 1: TỔNG QUÁT
• 1.1. Tổng quan sơ về vấn đề cần nghiên cứu trong và ngoài nước
• 1.2. Tại VNPT Đồng Nai
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Khai phá dữ liệu
• 2.2. Các bước khám phá trí thức và phương pháp chính trong khai phá dữ liệu
• 3. CHƯƠNG 3: PHƯƠNG PHÁP TIẾP CẬN
• 3.1. Tổng quát giải thuật Cây quyết định
• 3.2. Sơ đồ tổng quát của hệ thống
• 3.3. Giải thích sơ đồ trình tự của hệ thống
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Môi trường thực nghiệm
• 4.2. Phương pháp thực nghiệm
• 4.3. Các bước xây dựng và thực nghiệm mô hình dự báo khách hàng phát triển mới dịch vụ
• 4.3.1. Phương pháp 1
• 4.3.2. Phương pháp 2
• 4.4. Đánh giá kết quả mô hình sau khi áp hai phương pháp thực nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được của luận văn
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Dự Báo Thuê Bao Hiện Hữu Sử Dụng Dịch Vụ Luận Văn Thạc Sĩ Công Nghệ Thông Tin

Dự báo thuê bao hiện hữu sử dụng dịch vụ luận văn thạc sĩ công nghệ thông tin là một chủ đề quan trọng trong ngành viễn thông. Ngành này đang phát triển mạnh mẽ với sự gia tăng của các dịch vụ mới và nhu cầu của khách hàng. Việc dự báo chính xác giúp các nhà mạng tối ưu hóa chiến lược kinh doanh và nâng cao hiệu quả phục vụ khách hàng. Nghiên cứu này sẽ phân tích các yếu tố ảnh hưởng đến việc sử dụng dịch vụ và đưa ra các phương pháp dự báo hiệu quả.

1.1. Tầm quan trọng của Dự Báo Thuê Bao trong Ngành Viễn Thông

Dự báo thuê bao giúp các nhà mạng hiểu rõ hơn về nhu cầu của khách hàng. Điều này không chỉ giúp tăng trưởng doanh thu mà còn cải thiện chất lượng dịch vụ. Các nghiên cứu cho thấy rằng việc dự báo chính xác có thể giảm thiểu tỷ lệ khách hàng rời bỏ.

1.2. Các yếu tố ảnh hưởng đến Dự Báo Thuê Bao

Nhiều yếu tố ảnh hưởng đến dự báo thuê bao như hành vi tiêu dùng, sự cạnh tranh trong ngành và sự phát triển công nghệ. Việc phân tích dữ liệu từ các nguồn khác nhau sẽ giúp xác định các yếu tố này một cách chính xác hơn.

II. Thách thức trong Dự Báo Thuê Bao Hiện Hữu Sử Dụng Dịch Vụ

Dự báo thuê bao hiện hữu không phải là một nhiệm vụ dễ dàng. Có nhiều thách thức mà các nhà nghiên cứu và doanh nghiệp phải đối mặt. Những thách thức này bao gồm việc thu thập dữ liệu chính xác, xử lý dữ liệu lớn và áp dụng các thuật toán học máy hiệu quả. Những vấn đề này có thể ảnh hưởng đến độ chính xác của dự báo.

2.1. Khó khăn trong việc thu thập dữ liệu

Việc thu thập dữ liệu từ nhiều nguồn khác nhau có thể gặp khó khăn. Dữ liệu không đồng nhất và thiếu chính xác có thể dẫn đến những sai lệch trong kết quả dự báo.

2.2. Sự phức tạp của dữ liệu lớn

Dữ liệu lớn đòi hỏi các phương pháp xử lý và phân tích tiên tiến. Việc áp dụng các thuật toán học máy cần phải được tối ưu hóa để đảm bảo hiệu suất và độ chính xác cao.

III. Phương Pháp Dự Báo Hiệu Quả cho Thuê Bao Hiện Hữu

Để dự báo thuê bao hiện hữu một cách hiệu quả, cần áp dụng các phương pháp khoa học và công nghệ hiện đại. Các mô hình học máy như mạng nơron nhân tạo và cây quyết định đã được chứng minh là có hiệu quả trong việc dự báo hành vi của khách hàng. Việc kết hợp các phương pháp này có thể mang lại kết quả tốt hơn.

3.1. Mô hình Mạng Nơron Nhân Tạo

Mô hình mạng nơron nhân tạo có khả năng học hỏi từ dữ liệu lớn và phát hiện các mẫu phức tạp. Nghiên cứu cho thấy mô hình này có thể cải thiện độ chính xác của dự báo thuê bao.

3.2. Phương Pháp Cây Quyết Định

Cây quyết định là một phương pháp đơn giản nhưng hiệu quả trong việc dự báo. Nó giúp xác định các yếu tố quan trọng ảnh hưởng đến quyết định của khách hàng.

IV. Ứng Dụng Thực Tiễn của Dự Báo Thuê Bao Hiện Hữu

Việc áp dụng các phương pháp dự báo thuê bao hiện hữu đã mang lại nhiều lợi ích cho các nhà mạng. Các ứng dụng thực tiễn cho thấy rằng việc dự báo chính xác có thể giúp tăng trưởng doanh thu và cải thiện dịch vụ khách hàng. Nghiên cứu này sẽ trình bày một số kết quả thực nghiệm từ các mô hình đã được áp dụng.

4.1. Kết quả từ Mô Hình Dự Báo

Kết quả từ mô hình dự báo cho thấy tỷ lệ chính xác đạt trên 80%. Điều này chứng tỏ rằng các phương pháp đã áp dụng là hiệu quả và có thể được sử dụng trong thực tế.

4.2. Tác động đến Chiến Lược Kinh Doanh

Việc dự báo chính xác giúp các nhà mạng điều chỉnh chiến lược kinh doanh. Họ có thể tập trung vào các dịch vụ có tiềm năng cao và cải thiện trải nghiệm khách hàng.

V. Kết Luận và Hướng Phát Triển Tương Lai

Dự báo thuê bao hiện hữu sử dụng dịch vụ luận văn thạc sĩ công nghệ thông tin là một lĩnh vực nghiên cứu quan trọng. Kết quả từ nghiên cứu này không chỉ giúp các nhà mạng tối ưu hóa dịch vụ mà còn mở ra hướng phát triển mới cho ngành viễn thông. Tương lai của dự báo thuê bao sẽ phụ thuộc vào sự phát triển của công nghệ và khả năng áp dụng các phương pháp mới.

5.1. Tương lai của Dự Báo Thuê Bao

Tương lai của dự báo thuê bao sẽ được định hình bởi sự phát triển của công nghệ thông tin và các phương pháp phân tích dữ liệu. Các nhà mạng cần tiếp tục đầu tư vào nghiên cứu và phát triển để cải thiện độ chính xác của dự báo.

5.2. Khuyến nghị cho Các Nhà Nghiên Cứu

Các nhà nghiên cứu nên tiếp tục khám phá các phương pháp mới và cải tiến các mô hình hiện có. Việc chia sẻ dữ liệu và hợp tác giữa các nhà mạng cũng sẽ giúp nâng cao chất lượng dự báo.

Nội dung chính

Tổng quan nghiên cứu

Ngành viễn thông toàn cầu đang chứng kiến sự phát triển mạnh mẽ với sự bùng nổ của công nghệ 5G, theo báo cáo của Ericsson, đến cuối năm 2020, hơn 1 tỷ người dùng, chiếm khoảng 15% dân số thế giới, đã được phủ sóng 5G, với 220 triệu thuê bao 5G. Tại Việt Nam, số lượng thuê bao di động đạt gần 130 triệu, trong đó VNPT Đồng Nai là một trong những đơn vị cung cấp dịch vụ viễn thông lớn với hơn 175.000 thuê bao Fiber, 74.000 thuê bao MyTV và hơn 66.000 thuê bao điện thoại cố định. Trong bối cảnh cạnh tranh gay gắt, việc dự báo khách hàng hiện hữu sử dụng thêm dịch vụ (cross-selling) trở thành một bài toán quan trọng nhằm tăng trưởng doanh thu và giữ chân khách hàng.

Mục tiêu nghiên cứu của luận văn là xây dựng chương trình dự báo thuê bao hiện hữu sử dụng thêm dịch vụ tại VNPT Đồng Nai, sử dụng các kỹ thuật khai phá dữ liệu và mô hình học máy, đặc biệt là mô hình Cây quyết định (Decision Tree). Phạm vi nghiên cứu tập trung vào dữ liệu thuê bao hiện hữu tại VNPT Đồng Nai, với dữ liệu thu thập đến tháng 12/2021, bao gồm gần 300.000 khách hàng. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao độ chính xác dự báo (AUC trên 80%), giúp doanh nghiệp tối ưu hóa chiến lược kinh doanh và chăm sóc khách hàng, đồng thời giảm thiểu rủi ro mất khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

• Khai phá dữ liệu (Data Mining): Quá trình tìm kiếm tri thức tiềm ẩn và các mẫu dự đoán trong cơ sở dữ liệu lớn. Các bước chính gồm lựa chọn dữ liệu, tiền xử lý, biến đổi dữ liệu, khai thác dữ liệu và đánh giá tri thức. Kỹ thuật khai thác dữ liệu được ứng dụng rộng rãi trong viễn thông để phân tích hành vi khách hàng và dự báo nhu cầu dịch vụ.

• Mô hình Cây quyết định (Decision Tree): Phương pháp học máy phân lớp dựa trên việc chia dữ liệu thành các nhóm con dựa trên thuộc tính đặc trưng. Thuật toán ID3 được sử dụng để xây dựng cây quyết định bằng cách chọn thuộc tính tối ưu dựa trên entropy hoặc thông tin gain. Cây quyết định cho phép biểu diễn tri thức dưới dạng luật if-then dễ hiểu và có khả năng xử lý dữ liệu nhiễu.

• Thuật toán K-Means: Phương pháp phân cụm không giám sát, phân chia dữ liệu thành k cụm sao cho các điểm trong cùng cụm có tính chất tương đồng. Thuật toán được sử dụng để phân nhóm khách hàng nhằm xác định các đặc điểm chung ảnh hưởng đến việc sử dụng thêm dịch vụ.

• Phân lớp Naive Bayes: Thuật toán thống kê dựa trên định lý Bayes, giả định các thuộc tính độc lập, giúp dự đoán xác suất khách hàng thuộc nhóm sử dụng thêm dịch vụ hay không.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Tập dữ liệu lịch sử của 293.337 khách hàng VNPT Đồng Nai đến tháng 12/2021, bao gồm 11 thuộc tính liên quan đến dịch vụ internet, truyền hình, điện thoại cố định, di động trả sau, thời gian sử dụng dịch vụ và chi phí cước.

• Phương pháp phân tích: Sử dụng Microsoft Azure Machine Learning để huấn luyện mô hình Cây quyết định tăng cường (Boosted Decision Tree). Dữ liệu được tiền xử lý, chuẩn hóa và chia thành tập huấn luyện (80%) và tập kiểm thử (20%). So sánh kết quả giữa mô hình sử dụng dữ liệu thô và dữ liệu đã tiền xử lý.

• Timeline nghiên cứu: Thu thập và xử lý dữ liệu trong 6 tháng đầu năm 2022, huấn luyện và đánh giá mô hình trong 3 tháng tiếp theo, triển khai hệ thống dự báo và báo cáo kết quả trong 3 tháng cuối năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Mô hình Cây quyết định tăng cường đạt độ chính xác dự báo (AUC) trên 80%, cao hơn khoảng 10% so với mô hình không sử dụng tiền xử lý dữ liệu.

• Tỷ lệ khách hàng phát triển thêm dịch vụ chiếm khoảng 35% trong tổng số khách hàng hiện hữu, với nhóm khách hàng sử dụng dịch vụ Fiber và MyTV có khả năng mua thêm dịch vụ cao hơn 20% so với nhóm khác.

• Thời gian sử dụng dịch vụ trên 3 năm và chi phí cước hàng tháng trên 500 nghìn đồng là các yếu tố quan trọng ảnh hưởng đến khả năng sử dụng thêm dịch vụ, với tỷ lệ phát triển thêm dịch vụ tăng lần lượt 15% và 18%.

• So sánh với các nghiên cứu trong và ngoài nước, kết quả mô hình dự báo tại VNPT Đồng Nai tương đồng với các mô hình học máy khác như Random Forests và hồi quy logistic, nhưng ưu thế về thời gian thực thi và khả năng giải thích cao hơn.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả mô hình Cây quyết định tăng cường là khả năng xử lý dữ liệu phức tạp và khai thác các mối quan hệ phi tuyến tính giữa các thuộc tính khách hàng. Việc tiền xử lý dữ liệu giúp loại bỏ nhiễu và chuẩn hóa thông tin, nâng cao chất lượng huấn luyện. Kết quả phù hợp với các nghiên cứu trước đây cho thấy mô hình học máy kết hợp kỹ thuật khai phá dữ liệu hỗn hợp có hiệu suất dự báo vượt trội.

Dữ liệu có thể được trình bày qua biểu đồ ROC để minh họa độ chính xác của mô hình, bảng so sánh tỷ lệ phát triển dịch vụ theo nhóm khách hàng và biểu đồ phân bố chi phí cước. Những phát hiện này có ý nghĩa quan trọng trong việc xây dựng chiến lược kinh doanh, giúp VNPT Đồng Nai tập trung nguồn lực vào nhóm khách hàng tiềm năng, từ đó tăng doanh thu và giảm tỷ lệ khách hàng rời bỏ.

Đề xuất và khuyến nghị

• Triển khai hệ thống dự báo tự động: Áp dụng mô hình Cây quyết định tăng cường vào hệ thống quản lý khách hàng để tự động phân loại và dự báo khả năng sử dụng thêm dịch vụ, nhằm nâng cao hiệu quả chăm sóc khách hàng. Thời gian thực hiện: 6 tháng; Chủ thể: Phòng CNTT và Kinh doanh VNPT Đồng Nai.

• Tăng cường thu thập và làm sạch dữ liệu: Đảm bảo dữ liệu khách hàng được cập nhật đầy đủ, chính xác và chuẩn hóa thường xuyên để nâng cao chất lượng dự báo. Thời gian: liên tục; Chủ thể: Bộ phận quản lý dữ liệu.

• Phát triển các chương trình khuyến mãi cá nhân hóa: Dựa trên kết quả dự báo, thiết kế các gói dịch vụ và ưu đãi phù hợp với từng nhóm khách hàng có khả năng sử dụng thêm dịch vụ cao, nhằm tăng tỷ lệ chuyển đổi. Thời gian: 3 tháng; Chủ thể: Phòng Marketing.

• Đào tạo nhân viên kinh doanh và chăm sóc khách hàng: Nâng cao kỹ năng sử dụng công cụ dự báo và hiểu biết về hành vi khách hàng để tư vấn hiệu quả hơn. Thời gian: 2 tháng; Chủ thể: Phòng Nhân sự và Đào tạo.

Đối tượng nên tham khảo luận văn

• Các nhà quản lý viễn thông: Giúp hiểu rõ về phương pháp dự báo khách hàng sử dụng thêm dịch vụ, từ đó xây dựng chiến lược phát triển sản phẩm và dịch vụ phù hợp.

• Chuyên gia phân tích dữ liệu và khoa học dữ liệu: Cung cấp mô hình và phương pháp khai phá dữ liệu ứng dụng thực tiễn trong ngành viễn thông, đặc biệt là kỹ thuật Cây quyết định tăng cường.

• Sinh viên và nghiên cứu sinh ngành Công nghệ Thông tin, Kinh tế: Là tài liệu tham khảo về ứng dụng machine learning trong dự báo hành vi khách hàng và khai phá dữ liệu lớn.

• Các nhà phát triển phần mềm và hệ thống CRM: Hỗ trợ phát triển các giải pháp phần mềm dự báo và quản lý khách hàng dựa trên dữ liệu lớn và học máy.

Câu hỏi thường gặp

1. Mô hình Cây quyết định có ưu điểm gì trong dự báo khách hàng?
   Cây quyết định dễ hiểu, có khả năng xử lý dữ liệu phức tạp và cho phép biểu diễn tri thức dưới dạng luật if-then, giúp doanh nghiệp dễ dàng áp dụng và giải thích kết quả.

2. Tại sao cần tiền xử lý dữ liệu trước khi huấn luyện mô hình?
   Tiền xử lý giúp loại bỏ dữ liệu nhiễu, chuẩn hóa thông tin, làm tăng chất lượng dữ liệu đầu vào, từ đó nâng cao độ chính xác và hiệu quả của mô hình dự báo.

3. Phương pháp nào được sử dụng để đánh giá hiệu quả mô hình?
   Độ chính xác dự báo được đánh giá bằng chỉ số AUC (Area Under Curve) của biểu đồ ROC, với mô hình đạt AUC trên 80% được coi là có hiệu quả cao.

4. Dữ liệu sử dụng trong nghiên cứu có đặc điểm gì?
   Dữ liệu gồm gần 300.000 khách hàng hiện hữu tại VNPT Đồng Nai, với 11 thuộc tính liên quan đến dịch vụ, thời gian sử dụng và chi phí cước, được thu thập đến tháng 12/2021.

5. Làm thế nào để áp dụng kết quả nghiên cứu vào thực tế?
   Doanh nghiệp có thể tích hợp mô hình dự báo vào hệ thống CRM để tự động phân loại khách hàng, từ đó thiết kế các chương trình khuyến mãi và chăm sóc phù hợp nhằm tăng doanh thu và giữ chân khách hàng.

Kết luận

• Đã xây dựng thành công mô hình dự báo thuê bao hiện hữu sử dụng thêm dịch vụ tại VNPT Đồng Nai với độ chính xác AUC trên 80%.
• Mô hình Cây quyết định tăng cường cho hiệu quả cao hơn so với mô hình không tiền xử lý dữ liệu.
• Các yếu tố như thời gian sử dụng dịch vụ và chi phí cước hàng tháng ảnh hưởng rõ rệt đến khả năng sử dụng thêm dịch vụ của khách hàng.
• Kết quả nghiên cứu hỗ trợ doanh nghiệp trong việc tối ưu hóa chiến lược kinh doanh và chăm sóc khách hàng.
• Đề xuất triển khai hệ thống dự báo tự động và các chương trình khuyến mãi cá nhân hóa trong vòng 6 tháng tới để nâng cao hiệu quả kinh doanh.

Hãy áp dụng mô hình dự báo này để nâng cao năng lực cạnh tranh và phát triển bền vững trong ngành viễn thông hiện đại!

Trích đoạn nội dung tài liệu

Đặt vấn đề: Thuật ngữ Khai thác dữ liệu (KTDL) được sử dụng từ cuối những năm 80 của thế kỷ trước. Mặc dù có nhiều định nghĩa về KTDL, tuy nhiên nó có thể được định nghĩa một cách đơn giản là quá trình tìm kiếm những tri thức tiềm ẩn và mang tính dự đoán trong các khối cơ sở dữ liệu lớn. Mục đích chính của KTDL là phát hiện tri thức từ dữ liệu, bao gồm sử dụng các giải thuật chuyên dụng của KTDL dưới một số quy định về tính hiệu quả của tính toán. KTDL giúp tìm ra các mẫu mới, thông tin tiềm ẩn mang tính dự đoán chưa được biết đến, có thể đem lại lợi ích cho người sử dụng và giúp tìm ra những mẫu quan trọng nhất đang tồn tại trong CSDL nhưng lại bị che giấu bởi lượng lớn dữ liệu.

Hiện nay, công nghệ thông tin đã phát triển đồng thời với sự phát triển của các phần mềm ứng dụng. Các phần mềm KTDL là một công cụ phân tích dữ liệu, cho phép người sử dụng phân tích dữ liệu theo nhiều góc độ khác nhau, phân loại dữ liệu theo quan điểm riêng biệt và tổng hợp các mối quan hệ đã được phân tích. Hiện nay, kỹ thuật KTDL được áp dụng rộng rãi trong nhiều lĩnh vực kinh doanh và đời sống khác nhau, bao gồm: Thương mại (phân tích dữ liệu bán hàng và thị trường, phân tích đầu tư, quyết định cho vay, phát hiện gian lận,.); Thông tin sản xuất (điều khiển và lập kế hoạch, hệ thống quản lý, phân tích kết quả thử nghiệm…); Thông tin khoa học (dự báo thời tiết,.); CSDL sinh học (ngân hàng gen,…); Khoa học địa lý (dự báo động đất,…); Trong y tế, marketing, ngân hàng, viễn thông, du lịch, internet. Những gì thu được từ KPDL rất có giá trị.

Điều này đã được chứng minh bằng những ví dụ sau: Trong lĩnh vực y tế, chẩn đoán bệnh dựa trên kết quả xét nghiệm KPDL giúp cho các bảo hiểm y tế phát hiện nhiều trường hợp xét nghiệm không hợp lý. Trong ngành viễn thông, KPDL đã giúp phát hiện những nhóm người thường xuyên gọi cho nhau bằng điện thoại di động và thu về hàng triệu USD. 9 IBM Suft-Aid đã sử dụng KPDL để phân tích các lần đăng nhập vào các trang web liên quan đến thị trường, từ đó đánh giá sở thích của khách hàng và cải thiện hoạt động của các trang web. Trong lĩnh vực mua bán trực tuyến, việc áp dụng KPDL vào phân tích sở thích của khách hàng đã giúp tăng doanh thu cho các trang web mua bán.2 Các bước khám phá trí thức và phương pháp chính trong khai phá dữ liệu 2.

Quá trình khai phá tri thức Bước 1 - Lựa chọn dữ liệu (data selection): Tại bước này, chọn lựa những tập dữ liệu cần thiết để khai thác từ các cơ sở dữ liệu hoặc kho dữ liệu lớn (databases, data warehouses). Bước 2 - Tiền xử lý dữ liệu (data preprocessing): Bước tiền xử lý này bao gồm việc làm sạch dữ liệu (loại bỏ dữ liệu không đầy đủ, dữ liệu nhiễu, dữ liệu không nhất quán.), rút gọn dữ liệu (thực hiện thu gọn dữ liệu, sử dụng histogram, lấy mẫu,.) và rời rạc hoá dữ liệu (dựa trên histogram, entropy, phân khoảng,. Sau bước này, dữ liệu sẽ trở nên nhất quán, đầy đủ, được rút gọn và rời rạc hoá. Bước 3 - Biến đổi dữ liệu (data transformation): Bước này bao gồm chuẩn hóa và làm mịn dữ liệu để đưa về dạng thuận tiện nhất cho các kỹ thuật khai thác dữ liệu ở bước tiếp theo.

Bước 4 - Khai thác dữ liệu (data mining): Đây là bước quan trọng và tốn nhiều thời gian nhất trong quá trình khai phá tri thức, sử dụng các kỹ thuật khai thác (chủ yếu là các kỹ thuật của machine learning) để khai thác, trích xuất các mẫu thông tin (pattern) và các mối quan hệ đặc biệt trong dữ liệu. Bước 5 - Đánh giá và biểu diễn tri thức (knowledge representation & evaluation): Sử dụng các kỹ thuật hiển thị dữ liệu để trình bày các mẫu thông tin (tri thức) và mối liên hệ đặc biệt trong dữ liệu đã được khai thác ở bước trước, biểu diễn theo dạng gần gũi với người sử dụng như đồ thị, cây, bảng biểu, luật,. Đồng thời, bước này cũng đánh giá các tri thức đã khai thác được theo các tiêu chí nhất định. Trong quá trình khai phá tri thức, có thể cần tương tác của người dùng để điều chỉnh và rút ra các tri thức cần thiết nhất.

Các tri thức thu được có thể được lưu và sử dụng lại. Các phương pháp chính trong khai phá dữ liệu * Phương pháp kết hợp luật Khai thác luật kết hợp là một trong những chủ đề phổ biến trong khai thác dữ liệu. Mục đích của khai thác luật kết hợp là xác định mối quan hệ, sự kết hợp giữa các mục dữ liệu (item) trong một Cơ sở dữ liệu lớn. * Khái niệm Khai thác luật kết hợp (KTLKH) là một kỹ thuật quan trọng của khai thác dữ liệu.

Mục tiêu nhằm phát hiện mối quan hệ giữa các mục dữ liệu trong Cơ sở dữ liệu. Mô hình đầu tiên của bài toán KTLKH là mô hình nhị phân (hay còn gọi là mô hình cơ bản) được R. Swami đề xuất vào năm 1993, xuất phát từ nhu cầu phân tích dữ liệu của cơ sở dữ liệu giao dịch, phát hiện các mối quan hệ giữa các tập mục hàng hóa (Itemsets) đã bán được tại các siêu thị. Việc xác định các quan hệ này không phân biệt vai trò khác nhau cũng như không dựa vào các đặc tính dữ liệu vốn có của các mục dữ liệu mà chỉ dựa vào sự xuất hiện cùng lúc của chúng.

* Khai thác luật kết hợp Bài toán KTLKH có thể phát biểu như sau: Cho cơ sở dữ liệu giao dịch DB, ngưỡng độ hỗ trợ tối thiểu minsup và ngưỡng độ tin cậy tối thiểu minconf. Yêu cầu: Tìm tất cả các luật kết hợp X→Y trên cơ sở dữ liệu DB sao cho sup(X→Y) > minsup và conf (X→Y) > minconf. KTLKH này được gọi là bài toán cơ bản hay bài toán nhị phân, vì ở đây, giá trị của mục dữ liệu trong cơ sở dữ liệu là 0 hoặc 1 (xuất hiện hay không xuất hiện). Bài toán KTLKH trong Cơ sở dữ liệu DB chia thành hai bài toán con: (1) Tìm tất cả các tập mục thường xuyên: Một tập mục là thường xuyên được xác định qua tính độ hỗ trợ và thoả mãn độ hỗ trợ cực tiểu.

(2) Sinh ra các luật kết hợp từ các tập mục. * Các cách tiếp cận khai phá tập mục thường xuyên Có nhiều cách tiếp cận để khai thác tập mục thường xuyên, bao gồm hai bài toán nhỏ là tìm các tập mục ứng viên và tìm các tập mục thường xuyên. Tập mục ứng viên được xác định bằng cách tính độ hỗ trợ để kiểm tra xem chúng có thể trở thành tập mục thường xuyên hay không. Trong khi đó, tập mục thường xuyên là tập mục có độ hỗ trợ lớn hơn hoặc bằng ngưỡng hỗ trợ tối thiểu cho trước.

Có thể phân loại các phương pháp khai thác tập mục thường xuyên thành hai tiêu chí: phương pháp duyệt qua không gian tìm kiếm và phương pháp xác định độ hỗ trợ của tập mục. Phương pháp duyệt qua không gian tìm kiếm có thể được thực 11 hiện bằng cách duyệt theo chiều rộng (BFS) hoặc duyệt theo chiều sâu (DFS). Duyệt theo chiều rộng thực hiện việc tính độ hỗ trợ của tất cả các tập mục ứng viên có (k- 1) mục trước khi tính độ hỗ trợ của các tập mục ứng viên có k mục. Duyệt theo chiều sâu thực hiện việc duyệt qua CSDL đã được chuyển đổi thành cấu trúc cây và gọi đệ quy theo chiều sâu của cây.

Với CSDL có n mục dữ liệu, không gian tìm kiếm có tất cả 2n tập con, đây là bài toán NP khó nên cần có phương pháp duyệt thích hợp và tối ưu để tìm kiếm nhanh các tập ứng viên. Phương pháp xác định độ hỗ trợ của tập mục có thể được thực hiện bằng cách đếm số giao tác chứa tập mục đó trong CSDL hoặc tính phần giao của các tập chứa định danh của các giao tác chứa tập mục đó. Đã có rất nhiều thuật toán tìm tập mục thường xuyên được công bố, có thể phân theo Hình 2.1 như sau: Hình 2.1: Phân tích các thuật toán khai phá tập mục thường xuyên * Các thuật toán điển hình khai phá tập mục thường xuyên Có hai thuật toán phổ biến để khai phá tập mục thường xuyên là Thuật toán Apriori và Thuật toán FP-Growth. Thuật toán Apriori được sử dụng để sinh ra các tập mục ứng viên và kiểm tra độ hỗ trợ của chúng, trong khi Thuật toán FP-Growth không sử dụng tập mục ứng viên mà nén cơ sở dữ liệu thành cấu trúc cây để khai phá mẫu trên cây.

* Thuật toán Apriori 12 Được đề xuất vào năm 1993 bởi R. Srikant và đã trở thành nền tảng cho nhiều thuật toán khai phá tập mục thường xuyên khác. Thuật toán sắp xếp các mục dữ liệu trong mỗi giao tác theo thứ tự từ điển và sử dụng các ký hiệu sau (xem bảng). Thuật toán Apriori hoạt động như sau: từ các tập mục thường xuyên đã được tìm ra ở bước trước, thuật toán sẽ sinh ra các tập mục ứng viên và sau đó áp dụng kỹ thuật "tỉa" để loại bỏ các tập mục ứng viên không đáp ứng được ngưỡng hỗ trợ đã cho trước.

Tính chất Apriori được sử dụng như là cơ sở cho kỹ thuật này: bất kỳ tập con nào của tập mục thường xuyên cũng phải là tập mục thường xuyên. Vì vậy, để tạo ra các tập mục ứng viên có k mục, ta sẽ nối các tập mục thường xuyên có k-1 mục và loại bỏ các tập mục ứng viên chứa ít nhất một tập con không phải là tập mục thường xuyên. Thuật toán Apriori duyệt cơ sở dữ liệu nhiều lần và thực hiện hai bước chính: bước nối và bước tỉa. Trong mỗi lần lặp thứ k, thuật toán sẽ nối các tập mục có k-1 mục để tạo ra các tập mục có k mục và sau đó áp dụng kỹ thuật "tỉa" để loại bỏ các tập mục ứng viên không đáp ứng được ngưỡng hỗ trợ đã cho.

13 * Thuật toán FP_growth Thuật toán Apriori có chi phí cao nhưng không hiệu quả. Để khắc phục điều này, J. Mao đã đề xuất thuật toán FP-growth. Thuật toán này sử dụng ba kỹ thuật chính:(1) Nén dữ liệu vào một cấu trúc cây gọi là cây FP- tree, (2) Thực hiện phương pháp khai phá phát triển từng đoạn dựa trên cây FP-tree, và (3) Sử dụng kỹ thuật "chia để trị" để phân rã nhiệm vụ khai phá thành các nhiệm vụ nhỏ hơn.