Luận Văn Thạc Sĩ: Phương Pháp Xác Định Cuộc Gọi Làm Phiền

Khám phá các phương pháp xác định cuộc gọi làm phiền hiệu quả, giúp người dùng bảo vệ quyền riêng tư và tránh phiền toái trong cuộc sống hàng ngày.

• Tác giả: Nguyễn Văn Long
• Người hướng dẫn: TS. Lê Chí Ngọc
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Toán Tin
• Đề tài: Một Số Phương Pháp Xác Định Cuộc Gọi Làm Phiền
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Tổng quan Máy học (Machine Learning)
• 1.2. Phương pháp Học kết hợp
• 1.2.1. Đóng bao
• 1.2.2. Tăng cường
• 1.2.3. Xếp chồng
• 1.3. Phương pháp Học chủ động
• 1.4. Mạng nơ-ron nhân tạo
• 1.4.1. Cấu trúc mạng nơ-ron
• 1.4.2. Thuật toán lan truyền ngược
• 1.5. Phương pháp dựa trên đồ thị
• 1.5.1. Đồ thị
• 1.5.2. Nhúng đồ thị
• 2. CHƯƠNG 2: MÔ HÌNH ĐỀ XUẤT
• 2.1. Thuật toán XGBoost
• 2.2. Kiến trúc Graph Neural Network
• 2.3. Thuật toán Đồng đào tạo
• 2.4. Mô hình kết hợp thuật toán Đồng đào tạo và phương pháp Học chủ động
• 3. CHƯƠNG 3: CÀI ĐẶT THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Phân tích thiết kế hệ thống
• 3.2. Kết quả thực nghiệm
• 4. TỔNG KẾT
• CHỈ MỤC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phương Pháp Xác Định Cuộc Gọi Làm Phiền

Cuộc gọi làm phiền đã trở thành một vấn đề nghiêm trọng trong xã hội hiện đại. Với sự gia tăng của công nghệ và internet, các cuộc gọi quấy rối, lừa đảo ngày càng phổ biến. Việc xác định và ngăn chặn các cuộc gọi này không chỉ bảo vệ người tiêu dùng mà còn giúp các doanh nghiệp duy trì uy tín. Nghiên cứu này sẽ trình bày các phương pháp hiện có để xác định cuộc gọi làm phiền hiệu quả.

1.1. Định Nghĩa Cuộc Gọi Làm Phiền

Cuộc gọi làm phiền được định nghĩa là những cuộc gọi không mong muốn, thường mang tính chất quấy rối hoặc lừa đảo. Những cuộc gọi này có thể gây ra tổn thất tài chính cho người nhận và làm giảm trải nghiệm của họ.

1.2. Tầm Quan Trọng Của Việc Xác Định Cuộc Gọi Làm Phiền

Việc xác định cuộc gọi làm phiền là rất quan trọng để bảo vệ người tiêu dùng và giảm thiểu thiệt hại tài chính. Các hệ thống phát hiện hiệu quả có thể giúp người dùng tránh được những cuộc gọi lừa đảo và quấy rối.

II. Thách Thức Trong Việc Xác Định Cuộc Gọi Làm Phiền

Mặc dù có nhiều phương pháp để xác định cuộc gọi làm phiền, nhưng vẫn tồn tại nhiều thách thức. Các kẻ lừa đảo ngày càng tinh vi hơn, sử dụng nhiều kỹ thuật để vượt qua các hệ thống phát hiện. Điều này đặt ra yêu cầu cao hơn cho các giải pháp hiện có.

2.1. Khó Khăn Trong Việc Phát Hiện Cuộc Gọi

Một trong những khó khăn lớn nhất là khả năng mở rộng dữ liệu. Các hệ thống hiện tại thường gặp khó khăn trong việc xử lý lượng lớn dữ liệu từ các cuộc gọi đến.

2.2. Hành Vi Gian Lận Của Kẻ Gọi Làm Phiền

Những kẻ lừa đảo thường thay đổi số điện thoại và phương thức gọi để tránh bị phát hiện. Điều này làm cho việc xác định cuộc gọi làm phiền trở nên khó khăn hơn.

III. Phương Pháp Xác Định Cuộc Gọi Làm Phiền Hiệu Quả

Có nhiều phương pháp khác nhau để xác định cuộc gọi làm phiền. Hai phương pháp chính được đề xuất trong nghiên cứu này là sử dụng thuật toán Extreme Gradient Boosting và Graph Neural Network.

3.1. Phương Pháp Extreme Gradient Boosting

Extreme Gradient Boosting (XGBoost) là một thuật toán mạnh mẽ trong việc phân loại và phát hiện cuộc gọi làm phiền. Nó sử dụng các kỹ thuật học máy để tối ưu hóa hiệu suất phân loại.

3.2. Phương Pháp Dựa Trên Đồ Thị

Phương pháp dựa trên đồ thị sử dụng Graph Neural Network để phân tích mối quan hệ giữa các cuộc gọi. Điều này giúp phát hiện các mẫu cuộc gọi làm phiền một cách hiệu quả hơn.

IV. Ứng Dụng Thực Tiễn Của Các Phương Pháp Xác Định

Các phương pháp xác định cuộc gọi làm phiền không chỉ có giá trị lý thuyết mà còn có ứng dụng thực tiễn cao. Việc triển khai các mô hình này có thể giúp giảm thiểu số lượng cuộc gọi làm phiền mà người dùng nhận được.

4.1. Kết Quả Nghiên Cứu Từ Ứng Dụng Icaller

Ứng dụng Icaller đã triển khai các phương pháp này và cho thấy hiệu quả rõ rệt trong việc giảm số lượng cuộc gọi làm phiền mà người dùng nhận được.

4.2. Tác Động Đến Người Dùng

Việc áp dụng các phương pháp này không chỉ bảo vệ người dùng khỏi các cuộc gọi làm phiền mà còn nâng cao trải nghiệm của họ khi sử dụng dịch vụ viễn thông.

V. Kết Luận Về Phương Pháp Xác Định Cuộc Gọi Làm Phiền

Nghiên cứu này đã chỉ ra rằng việc xác định cuộc gọi làm phiền là một vấn đề quan trọng và cần thiết. Các phương pháp hiện tại có thể cải thiện hiệu suất phát hiện và bảo vệ người tiêu dùng khỏi các cuộc gọi quấy rối.

5.1. Tương Lai Của Các Phương Pháp Xác Định

Trong tương lai, cần tiếp tục nghiên cứu và phát triển các phương pháp mới để đối phó với sự tinh vi của các kẻ lừa đảo. Việc áp dụng công nghệ mới như trí tuệ nhân tạo có thể mang lại nhiều giải pháp hiệu quả hơn.

5.2. Khuyến Nghị Đối Với Các Doanh Nghiệp

Các doanh nghiệp nên áp dụng các phương pháp xác định cuộc gọi làm phiền để bảo vệ khách hàng của mình. Điều này không chỉ giúp nâng cao uy tín mà còn tạo ra một môi trường an toàn hơn cho người tiêu dùng.

Nội dung chính

Tổng quan nghiên cứu

Cuộc gọi làm phiền, bao gồm các cuộc gọi rác, lừa đảo và quảng cáo không mong muốn, đang trở thành một vấn đề nghiêm trọng trên toàn cầu, ảnh hưởng trực tiếp đến tài chính và trải nghiệm người dùng. Theo ước tính năm 2020, chỉ riêng Bắc Mỹ và Tây Âu đã ghi nhận khoảng 157 tỷ cuộc gọi rác, với người dùng trung bình nhận 144 cuộc gọi làm phiền mỗi năm, trong đó 38% dẫn đến tổn thất tài chính trung bình 182 USD mỗi cuộc gọi. Tại Việt Nam, từ tháng 7/2020 đến giữa năm 2021, các nhà mạng đã chặn hơn 181.000 thuê bao phát tán cuộc gọi rác và ngăn chặn hơn 56,65 triệu cuộc gọi giả mạo, thể hiện nỗ lực đáng kể trong việc bảo vệ người dùng. Tuy nhiên, các doanh nghiệp hợp pháp cũng bị ảnh hưởng do bị lọc nhầm, đồng thời các đối tượng lừa đảo ngày càng tinh vi nhằm vượt qua các hệ thống chống cuộc gọi làm phiền hiện tại.

Luận văn tập trung nghiên cứu và đề xuất các phương pháp xác định cuộc gọi làm phiền hiệu quả, nhằm nâng cao khả năng phát hiện và ngăn chặn các cuộc gọi này. Mục tiêu cụ thể là phát triển mô hình phân loại số điện thoại làm phiền dựa trên thuật toán Extreme Gradient Boosting (XGBoost) và Graph Neural Network (GNN), đồng thời áp dụng học bán giám sát kết hợp Co-train và Active learning để cải thiện hiệu suất và khả năng mở rộng dữ liệu. Nghiên cứu được triển khai trên dữ liệu thực tế thu thập từ ứng dụng chặn cuộc gọi làm phiền Icaller, với phạm vi thời gian thu thập dữ liệu trong khoảng một tuần và tập trung vào thị trường Việt Nam. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc hỗ trợ các nhà cung cấp dịch vụ viễn thông và người dùng cá nhân giảm thiểu tác động tiêu cực của cuộc gọi làm phiền.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

1. Máy học (Machine Learning): Bao gồm các phương pháp học có giám sát, không giám sát, bán giám sát và học tăng cường. Trong đó, học có giám sát được sử dụng để xây dựng mô hình phân loại dựa trên dữ liệu đã gán nhãn, còn học bán giám sát kết hợp dữ liệu có và không có nhãn nhằm tối ưu hóa hiệu suất mô hình.

2. Học kết hợp (Ensemble Learning): Phương pháp kết hợp nhiều bộ phân loại để cải thiện độ chính xác dự đoán. Các thuật toán phổ biến gồm Bagging, Boosting (đặc biệt là XGBoost) và Stacking. XGBoost được lựa chọn làm bộ phân loại cơ sở nhờ khả năng tối ưu hàm mất mát và tránh hiện tượng quá khớp.

3. Mạng nơ-ron nhân tạo và Graph Neural Network (GNN): GNN là mô hình mạng nơ-ron chuyên xử lý dữ liệu dạng đồ thị, phù hợp với bài toán phân loại số điện thoại làm phiền khi các mối quan hệ giữa các số điện thoại được biểu diễn dưới dạng đồ thị. Kiến trúc HybridGNNs được đề xuất nhằm kết hợp nhiều đồ thị đặc trưng của các cạnh để giữ nguyên thông tin quan trọng.

4. Học bán giám sát kết hợp Co-train và Active learning: Thuật toán Co-train sử dụng hai bộ phân loại độc lập dựa trên hai chế độ xem khác nhau của dữ liệu để tăng cường tập huấn luyện bằng cách gán nhãn giả cho dữ liệu chưa gán nhãn. Active learning tương tác với người dùng để chọn lọc các mẫu dữ liệu chưa gán nhãn có độ không chắc chắn cao nhằm tối ưu hóa hiệu quả gán nhãn.

Các khái niệm chính bao gồm: pseudo-residuals trong XGBoost, ma trận kề và nhúng đồ thị trong GNN, các chiến lược lấy mẫu không chắc chắn trong Active learning (Least confidence, Margin of confidence, Ratio sampling, Entropy-based sampling).

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ ứng dụng Icaller, bao gồm lịch sử cuộc gọi và báo cáo của người dùng về các số điện thoại làm phiền. Dữ liệu được làm sạch bằng cách loại bỏ các số điện thoại không hợp lệ (ký tự đặc biệt, độ dài không phù hợp). Tổng số mẫu huấn luyện gồm 15.000 số điện thoại bình thường và 15.000 số điện thoại làm phiền; tập thử nghiệm gồm 31.000 số bình thường và 1.300 số làm phiền.

Phương pháp phân tích bao gồm:

• Phân tích đặc trưng: Trích xuất 15 đặc trưng chính từ dữ liệu lịch sử cuộc gọi như số lượng cuộc gọi đi/đến, thời lượng trung bình, tỉ lệ cuộc gọi trong giờ hành chính, số lượng cuộc gọi nhỡ, tần suất cuộc gọi, và các đặc trưng liên quan đến mối quan hệ trong danh bạ.

• Mô hình XGBoost: Huấn luyện mô hình phân loại dựa trên các đặc trưng đã trích xuất, sử dụng hàm mất mát kết hợp hàm chính quy để tránh overfitting.

• Mô hình Graph Neural Network (HybridGNNs): Xây dựng đồ thị với các nút là số điện thoại và các cạnh chứa đặc trưng mối quan hệ, áp dụng kiến trúc HybridGNNs để tổng hợp thông tin từ nhiều đồ thị đặc trưng.

• Thuật toán Co2AL (Co-train to Active learning): Kết hợp hai mô hình trên với học bán giám sát, sử dụng Co-train để mở rộng tập dữ liệu gán nhãn và Active learning để chọn lọc các mẫu dữ liệu chưa gán nhãn có độ không chắc chắn cao nhằm cải thiện hiệu suất mô hình.

Quá trình nghiên cứu diễn ra trong khoảng thời gian thu thập dữ liệu một tuần, với cỡ mẫu tổng cộng hơn 60.000 số điện thoại, sử dụng phương pháp chọn mẫu ngẫu nhiên có kiểm soát để đảm bảo tính đại diện. Phân tích kết quả được thực hiện bằng các chỉ số Accuracy, Precision, Recall, F1-score và AUC.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất mô hình XGBoost vượt trội: Mô hình XGBoost đạt độ chính xác (Accuracy) 0.98 trên tập thử nghiệm với 31.000 số điện thoại bình thường và 1.300 số làm phiền, thể hiện khả năng phân loại chính xác cao. Precision và Recall cũng đạt mức cao, cho thấy mô hình vừa phát hiện đúng số làm phiền vừa hạn chế sai sót.

2. Mô hình GNN tiềm năng nhưng còn hạn chế: Mô hình HybridGNNs trên tập dữ liệu nhỏ (5.000 số làm phiền và 5.000 số bình thường) đạt Accuracy khoảng 0.8, thấp hơn so với XGBoost. Nguyên nhân chính là do dữ liệu đồ thị bị thiếu hụt mối quan hệ do hạn chế truy cập cơ sở hạ tầng viễn thông, dẫn đến đồ thị thưa và giảm chất lượng phân loại.

3. Thuật toán Co2AL cải thiện hiệu quả học bán giám sát: Khi kết hợp hai mô hình XGBoost và HybridGNNs với thuật toán Co2AL, hiệu suất mô hình được cải thiện rõ rệt so với chỉ sử dụng học chủ động hoặc thuật toán SSLCA. Độ chính xác phân loại tăng lên theo số vòng lặp gán nhãn, trong khi SSLCA có xu hướng giảm chất lượng sau vài vòng do bước Đồng đào tạo không hiệu quả.

4. Đặc trưng cuộc gọi có ý nghĩa phân biệt rõ rệt: Các đặc trưng như tỉ lệ cuộc gọi trong giờ hành chính, số lượng cuộc gọi đi, thời lượng trung bình cuộc gọi đi và đến, cũng như tỉ lệ số điện thoại có trong danh bạ, đều cho thấy sự khác biệt rõ ràng giữa số điện thoại làm phiền và số bình thường, hỗ trợ mạnh mẽ cho quá trình phân loại.

Thảo luận kết quả

Kết quả cho thấy thuật toán XGBoost là lựa chọn hiệu quả cho bài toán phân loại cuộc gọi làm phiền nhờ khả năng xử lý dữ liệu cấu trúc tốt và tối ưu hàm mất mát với thành phần chính quy giúp tránh overfitting. Mô hình GNN, mặc dù chưa đạt hiệu quả cao do dữ liệu đồ thị thưa thớt, nhưng thể hiện tiềm năng lớn khi có đủ dữ liệu mối quan hệ, phù hợp với xu hướng ứng dụng mạng nơ-ron trên đồ thị trong các bài toán phức tạp.

Việc kết hợp học bán giám sát với Co-train và Active learning trong thuật toán Co2AL giúp tận dụng tối đa dữ liệu chưa gán nhãn, giảm chi phí gán nhãn thủ công và cải thiện chất lượng mô hình. So sánh với các nghiên cứu trước đây, kết quả này khẳng định tính ưu việt của việc kết hợp đa mô hình và học bán giám sát trong xử lý dữ liệu lớn và phức tạp.

Dữ liệu có thể được trình bày qua biểu đồ đường thể hiện độ chính xác theo số vòng lặp gán nhãn của các thuật toán, biểu đồ cột so sánh các chỉ số Precision, Recall giữa XGBoost và GNN, cũng như bảng phân tích đặc trưng cuộc gọi giữa nhóm số làm phiền và số bình thường.

Đề xuất và khuyến nghị

1. Triển khai rộng rãi mô hình XGBoost trong hệ thống chặn cuộc gọi làm phiền: Tận dụng độ chính xác cao và khả năng xử lý dữ liệu lớn, các nhà cung cấp dịch vụ viễn thông nên tích hợp mô hình này vào hệ thống chặn cuộc gọi để nâng cao hiệu quả phát hiện và giảm thiểu sai sót. Thời gian triển khai dự kiến trong 6 tháng.

2. Phát triển và mở rộng dữ liệu đồ thị cho mô hình GNN: Cần hợp tác với các nhà mạng để thu thập đầy đủ mối quan hệ cuộc gọi nhằm cải thiện chất lượng dữ liệu đồ thị, từ đó nâng cao hiệu quả mô hình GNN. Chủ thể thực hiện là các tổ chức nghiên cứu và nhà mạng, với kế hoạch 12 tháng.

3. Áp dụng thuật toán Co2AL để tận dụng dữ liệu chưa gán nhãn: Các tổ chức phát triển ứng dụng chặn cuộc gọi nên áp dụng học bán giám sát kết hợp Co-train và Active learning để giảm chi phí gán nhãn và cải thiện mô hình liên tục. Thời gian áp dụng liên tục theo chu kỳ cập nhật dữ liệu.

4. Tăng cường đào tạo và nâng cao nhận thức người dùng: Khuyến khích người dùng báo cáo các số điện thoại làm phiền qua ứng dụng để làm giàu dữ liệu huấn luyện, đồng thời nâng cao nhận thức về các cuộc gọi lừa đảo. Các chiến dịch truyền thông nên được thực hiện thường xuyên, chủ yếu do các cơ quan quản lý và nhà mạng.

Đối tượng nên tham khảo luận văn

1. Các nhà cung cấp dịch vụ viễn thông: Có thể áp dụng mô hình và thuật toán đề xuất để nâng cao hệ thống chặn cuộc gọi làm phiền, giảm thiểu tổn thất tài chính và cải thiện trải nghiệm khách hàng.

2. Các nhà phát triển ứng dụng bảo mật và chặn cuộc gọi: Sử dụng kết quả nghiên cứu để phát triển các sản phẩm có khả năng phân loại chính xác hơn, tận dụng học bán giám sát để tối ưu chi phí và hiệu quả.

3. Nhà nghiên cứu và sinh viên ngành Toán Tin, Trí tuệ nhân tạo: Tham khảo các phương pháp học máy, mạng nơ-ron đồ thị và học bán giám sát trong bài toán thực tế, từ đó phát triển các nghiên cứu tiếp theo.

4. Cơ quan quản lý và chính sách viễn thông: Dựa trên kết quả nghiên cứu để xây dựng các chính sách, quy định hỗ trợ ngăn chặn cuộc gọi làm phiền hiệu quả, đồng thời bảo vệ quyền lợi người tiêu dùng.

Câu hỏi thường gặp

1. Phương pháp nào được sử dụng để phân loại cuộc gọi làm phiền?
   Luận văn sử dụng thuật toán XGBoost và Graph Neural Network kết hợp học bán giám sát Co-train và Active learning để phân loại số điện thoại làm phiền dựa trên dữ liệu lịch sử cuộc gọi và mối quan hệ giữa các số điện thoại.

2. Dữ liệu nghiên cứu được thu thập từ đâu?
   Dữ liệu được thu thập từ ứng dụng chặn cuộc gọi làm phiền Icaller, bao gồm lịch sử cuộc gọi và báo cáo của người dùng tại Việt Nam trong khoảng thời gian một tuần.

3. Hiệu quả của mô hình XGBoost như thế nào?
   Mô hình XGBoost đạt độ chính xác 0.98 trên tập thử nghiệm, cho thấy khả năng phân loại số điện thoại làm phiền rất tốt và có thể ứng dụng thực tế hiệu quả.

4. Tại sao mô hình GNN chưa đạt hiệu quả cao?
   Do dữ liệu đồ thị bị thiếu hụt mối quan hệ cuộc gọi giữa các số không phải người dùng, dẫn đến đồ thị thưa và giảm chất lượng phân loại. Việc thu thập dữ liệu đồ thị đầy đủ hơn sẽ cải thiện hiệu quả mô hình.

5. Lợi ích của thuật toán Co2AL là gì?
   Co2AL kết hợp học bán giám sát và học chủ động giúp tận dụng tối đa dữ liệu chưa gán nhãn, giảm chi phí gán nhãn thủ công và cải thiện hiệu suất mô hình phân loại so với các phương pháp truyền thống.

Kết luận

• Đề xuất thành công mô hình phân loại cuộc gọi làm phiền dựa trên XGBoost và Graph Neural Network, kết hợp học bán giám sát Co-train và Active learning.
• Mô hình XGBoost đạt độ chính xác cao (0.98), phù hợp ứng dụng thực tế trong hệ thống chặn cuộc gọi.
• Mô hình GNN thể hiện tiềm năng lớn khi có dữ liệu đồ thị đầy đủ, cần tiếp tục nghiên cứu và phát triển.
• Thuật toán Co2AL cải thiện hiệu quả học bán giám sát, giúp tận dụng dữ liệu chưa gán nhãn hiệu quả hơn các phương pháp hiện có.
• Khuyến nghị triển khai mô hình trong hệ thống thực tế, mở rộng thu thập dữ liệu đồ thị và tăng cường hợp tác giữa nhà mạng, nhà phát triển và người dùng.

Tiếp theo, cần tập trung vào việc thu thập dữ liệu đồ thị đầy đủ hơn và triển khai thử nghiệm mô hình trên quy mô lớn hơn. Các nhà cung cấp dịch vụ viễn thông và nhà phát triển ứng dụng được khuyến khích áp dụng kết quả nghiên cứu để nâng cao hiệu quả chống cuộc gọi làm phiền.

Trích đoạn nội dung tài liệu

Chương 1 Cơ sở lý thuyết 1.1 Tổng quan Máy học (Machine Learning) [14] là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các hệ thống cho phép máy tính có thể học dựa trên dữ liệu để giải quyết những vấn đề cụ thể. Ứng dụng của Máy học trong những năm gần đây xuất hiện ở khắp mọi nơi, từ việc nhận dạng khuôn mặt, vân tay, cử chỉ, tiếng nói đến các hệ thống quản trị rủi ro tài chính, các mô hình xử lí ảnh y khoa,. Máy học có thể ứng dụng hầu hết các loại dữ liệu từ cấu trúc (bảng số liệu kinh tế, số liệu nông nghiệp,.) và cả dữ liệu phi cấu trúc (hình ảnh, văn bản, tín hiệu âm thanh,. Các thuật toán Máy học thường được chia thành bốn loại chính [14] gồm có: Học có giám sát Học có giám sát (Supervised learning): thuật toán học nhận một số ví dụ huấn luyện và nhãn tương ứng để xây dựng một hàm dự đoán đầu ra mong muốn.

Đầu ra của một hàm có thể là một giá trị liên tục, thuật toán này gọi là Hồi quy (Regression), hay thuật toán Phân loại (Classification) với đầu ra dùng để dự đoán một nhãn phân loại cho một đối tượng đầu vào. Để xây dựng mô hình học có giám sát thường phải có sự nỗ lực từ con người để gán nhãn cho tập dữ liệu. Học không giám sát 12 Học không giám sát (Unsupervised learning): Không có bất kì nhãn nào được cung cấp cho thuật toán học, thuật toán sẽ đi tìm cấu trúc bên trong dữ liệu để thực hiện các nhiệm vụ nhất định, ví du như phân cụm (Clustering), giảm số chiều của dữ liệu (Dimension reduction), tìm luật kết hợp (Association),. Học bán giám sát Học bán giám sát (Semi-supervised learning): là một lớp kỹ thuật Máy học sử dụng cả các ví dụ được gắn nhãn và không được gắn nhãn khi huấn luyện một mô hình.

Các ví dụ được gắn nhãn được sử dụng để tìm hiểu các lớp của dữ liệu và các ví dụ không được gắn nhãn được sử dụng để tinh chỉnh ranh giới giữa các lớp. Học tăng cường Học tăng cường (Reinforcement learning): dữ liệu huấn luyện sẽ được thuật toán học xây dựng mô hình, mô hình này dùng để dự đoán và nhận phản hồi từ môi trường từ đó tự động cải thiện mô hình. Một số bài toán tiêu biểu cho hình thức học tăng cường là là công nghệ xe tự lái, tự động chơi game,.2 Phương pháp Học kết hợp Học kết hợp (Ensemble Learning) [37] là một cách tiếp cận nhằm tìm kiếm hiệu suất dự đoán tốt hơn cho mô hình Máy học bằng cách kết hợp các dự đoán từ nhiều bộ phân loại khác nhau. Học kết hợp có thể được coi là một cách để bù đắp cho các thuật toán học kém bằng cách thực hiện nhiều tính toán bổ sung.

Sự thành công của một hệ thống học kết hợp phụ thuộc vào sự đa dạng của các bộ phân loại, nếu mỗi bộ phân loại mắc các lỗi khác nhau, các bộ phân loại sẽ học được nhiều thông tin hơn, sự kết hợp của các bộ phân loại này có thể làm giảm tổng lỗi và cải thiện mô hình. Học kết hợp được chia thành ba loại chính gồm: Đóng bao Đóng bao (Bagging) [17] là một trong những thuật toán học kết hợp ra đời sớm nhất, trực quan và đơn giản nhất. Ý tưởng của thuật toán này là dùng các tập hợp con khác nhau của dữ liệu để huấn luyện. Mỗi tập hợp con 13 dữ liệu được sử dụng để huấn luyện một bộ phân loại khác nhau và cùng loại thuật toán.

Các bộ phân loại riêng lẽ sau đó được kết hợp bằng cách bỏ phiếu đa số, tức là đối với bất kỳ trường hợp nhất định nào, lớp được chọn bởi hầu hết các bộ phân loại sẽ là quyết định tổng hợp cuối cùng. Các thuật toán Đóng bao gồm Bagged Decision Trees [24], Random Subspaces [26], Random Forest [32],.1: Thuật toán Đóng bao [15]. Tăng cường Tăng cường (Boosting) [23] là một thuật toán tương tự như Đóng bao, thuật toán này cũng tạo ra một nhóm các bộ phân loại bằng cách lấy mẫu lại dữ liệu, sau đó được kết hợp bằng cách bỏ phiếu đa số. Tuy nhiên, trong thuật toán Tăng cường, tập dữ liệu huấn luyện cho mỗi bộ phân loại tiếp theo tập trung vào trường hợp được phân loại sai bởi các bộ phân loại được huấn luyện trước đó.

Thuật toán này xây dựng các bộ phân loại mà mỗi bộ phân loại sau sẽ học cách sửa chữa lỗi của các bộ phân loại trước tạo thành một chuỗi các bộ phân loại mà cái sau sẽ tốt hơn cái trước. Các thuật toán tăng cường có thể kể đến như AdaBoost [22], Gradient Boosting Machine [12], Stochastic Gradient Boosting [11], XGBoost [31], LightGBM [8],.2: Thuật toán Tăng cường [15]. Xếp chồng Trong Xếp chồng (Stacking) [6], đầu tiên, tất cả các bộ phân loại khác được huấn luyện bằng cách sử dụng dữ liệu có sẵn, sau đó một thuật toán kết hợp được huấn luyện để đưa ra dự đoán cuối cùng bằng cách sử dụng tất cả các dự đoán của các thuật toán khác làm đầu vào.3: Thuật toán xếp chồng [15].3 Phương pháp Học chủ động Học chủ động (Active learning) [4] là một phương pháp Máy học tương tác với người dùng để gán nhãn các mẫu dữ liệu chưa được gán nhãn nhằm tối ưu hóa chất lượng mô hình dựa trên kiến thức của người gán nhãn. Thách thức chính của Học chủ động chính là tìm ra truy vấn tối ưu để đưa cho người dùng gán nhãn.

Truy vấn tối ưu là quá trình tìm kiếm những cá thể mà việc có nhãn của chúng sẽ được nhiều cải tiến nhất trong mô hình với số lượng truy vấn ít nhất. Hai chiến lược lựa chọn truy vấn gồm: • Lấy mẫu không chắc chắn (Uncertainty sampling): là tập hợp các kỹ thuật để xác định các mẫu không được gắn nhãn ở gần ranh giới quyết định trong mô hình học máy (Hình 1. Các mẫu dữ liệu này được mô hình cho rằng không chắc chắn trong việc dự đoán, hay có thể nói rằng đây là những mẫu mà mô hình "biết nó không biết".4: Lấy mẫu không chắc chắn sẽ tìm thấy các mẫu gần với ranh giới quyết định [20]. • Lấy mẫu đa dạng (Diversity sampling): ý tưởng chính của lấy mẫu đa dạng chính là xác định đâu là các điểm thiếu sót trong mô hình: mô hình "không biết rằng nó không biết" hoặc xác định "ẩn số chưa biết" để khám phá và mở rộng ranh giới quyết định (Hình 1.5: Lấy mẫu đa dạng sẽ tìm thấy các mẫu khác biệt tối đa với các mẫu đào tạo hiện có [20].2 Mạng nơ-ron nhân tạo 1.1 Cấu trúc mạng nơ-ron Mạng nơ-ron nhân tạo (Artificial Neural Network hay Neural network) là một mô hình tính toán được xây dựng phỏng theo các mạng nơ-ron sinh học [27].

Các đơn vị cơ bản của mạng là các nơ-ron, một mạng nơ-ron được cấu thành bởi các nơ-ron đơn lẻ được gọi là các percepton. Các nơ- ron có thể nhận một loạt đầu vào và trả về đầu ra tương ứng.6 là một nơ-ron nhân tạo điển hình, trong đó nơ-ron nhận n đầu vào x1 , x2 , ., xn với các trọng số tương ứng w1 , w2 , ., wn và hệ số bias b. Sau đó, tổng trọng số y = ∑ni=1 wi xi + b chuyển qua một hàm kích hoạt f và nơ-ron trả về kết quả đầu ra z = f (y). Đầu ra sẽ là đầu vào của nơ-ron tiếp theo.

Các nơ-ron trong mạng kết nối với nhau theo một chiều duy nhất, quá trình này được gọi là lan truyền tiến (Feedforward).6: Nơ-ron nhân tạo Hàm kích hoạt (Activation function) thường là một hàm phi tuyến, dùng để ánh xạ tổng trọng số của đầu vào thành đầu ra tương tứng phụ thuộc vào vấn đề của bài toán. Một số hàm kích hoạt thường dùng như: • Hàm Sigmoid: 1 σ (x) =. 1 + e−x • Hàm Tanh: ex − e−x tanh(x) =. ex + e−x • Hàm ReLU:  0 x ≤ 0, ReLU(x) = x x > 0.

• Hàm softplus, một phiên bản của ReLu: softplus(x) = log(1 + ex ).7: Các hàm kích hoạt thường dùng: (a) Hàm Sigmoid; (b) Hàm ReLU và hàm Softplus; (c) Hàm Tanh [27].2 Thuật toán lan truyền ngược Trong quá trình huấn luyện mạng nơ-ron, thuật toán lan truyền ngược (Backpropagation) [19] được sử dụng phổ biến nhất dùng để tối ưu hóa các tham số trong một mô hình. Đối với mạng như Hình 1.6, giả sử mục tiêu tối ưu hóa cho đầu ra z là z0 , theo Quy tắc dây chuyền (Chain rule), đạo hàm của z đối với wi và b như sau: ∂z ∂z ∂y = ∂ wi ∂ y ∂ wi ∂ f (y) = xi , ∂y ∂z ∂z ∂y = ∂b ∂y ∂b ∂ f (y) =. ∂y Mỗi tham số w và b sẽ được cập nhật theo tham số tốc độ học tập η (learning rate): ∂z ∆wi = η(z0 − z) ∂ wi ∂ f (y) = η(z0 − z)xi , ∂y 19 ∂z ∆b = η(z0 − z) ∂b ∂ f (y) = η(z0 − z)xi. ∂y Quá trình huấn luyện mạng nơ-ron nhân tạo gồm hai bước: 1.

Lan truyền tiến: Cho một tập hợp các tham số và một đầu vào, mạng nơ-ron sẽ tính toán các giá trị tại mỗi nơ-ron theo thứ tự chuyển tiếp. Lan truyền ngược: Tính toán lỗi tại mỗi biến để được tối ưu hóa và cập nhật các tham số với các đạo hàm riêng tương ứng của chúng theo thứ tự ngược lại. Hai bước trên sẽ lặp đi lặp lại cho đến khi đạt được tối ưu mục tiêu. Mạng Perceptron nhiều lớp (Multi-layer Perceptron - MLP) là sự kết hợp của các tầng perceptron gồm 3 tầng (Hình1.8): • Lớp đầu vào: Là lớp bên trái cùng của mạng thể hiện cho các đầu vào của mạng • Lớp ẩn: Là lớp nằm giữa thể hiện cho việc suy luận logic của mạng.

• Lớp đầu ra: Là lớp bên phải của mạng thể hiện cho các đầu ra của mạng.8: Mạng perceptron nhiều lớp [10]. 20 Với sự bùng nổ trong lĩnh vực Máy học (đặc biệt là Học sâu), nhiều kiến trúc mạng nơ-ron đã được ra đời. Các kiến trúc mạng nơ-ron có thể kể đến như: Mạng nơron truyền thẳng (Feedforward neural network) [7], Mạng nơ-ron tích chập (Convolutional neural network-CNN) [35], Mạng nơ-ron hồi quy (Recurrent neural network) [16], và một số kiến trúc mạng nơ-ron hiện đại khác.3 Phương pháp dựa trên đồ thị 1.1 Đồ thị Đồ thị là đối tượng cơ bản trong nghiên cứu các phương pháp trên đồ thị. Một đồ thị thường được ký hiệu bởi G = (V, E), trong đó: • V là tập các đỉnh • E là tập các cạnh Một cạnh e = u, v có hai đỉnh u và v, được nối bởi e.