Bối cảnh và vấn đề nghiên cứu
Trong hơn một thập kỷ qua, trí tuệ nhân tạo (AI) đã chuyển mình từ lĩnh vực nghiên cứu thuần lý thuyết sang ứng dụng thực tiễn sâu rộng trong công nghiệp nhờ sự gia tăng sức mạnh tính toán, cải tiến thuật toán học máy (ML) và sự sẵn có của các tập dữ liệu lớn. Kể từ mốc phát triển vượt bậc của học sâu (DL) vào khoảng năm 2012, các mô hình ngày càng đạt độ chính xác cao trong nhiều lĩnh vực như y học, bán lẻ và ngân hàng. Tuy nhiên, tính phức tạp ngày càng tăng khiến các mô hình hoạt động như những "hộp đen" (black-box). Thực trạng này làm nảy sinh thách thức về việc thấu hiểu cơ chế ra quyết định, xác định điều kiện thành công hay thất bại, cũng như kiểm soát rủi ro thiên vị dữ liệu (như các trường hợp thiên vị giới tính hoặc chủng tộc từng xuất hiện ở Apple Card hay Amazon Rekognition). Khái niệm Trí tuệ nhân tạo có thể giải thích (Explainable AI - XAI) ra đời nhằm cân bằng giữa độ chính xác và khả năng diễn giải, hỗ trợ xây dựng niềm tin, giảm thiểu rủi ro sai sót và hạn chế hiện tượng "AI washing".
Từ bối cảnh đó, đề tài khóa luận "Tìm hiểu về Explainable AI và ứng dụng" của sinh viên Lại Hữu Trác và Nguyễn Duy Phước (ngành Kỹ thuật Dữ liệu, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, thực hiện năm 2023 dưới sự hướng dẫn của ThS. Quách Đình Hoàng) xác định các mục tiêu và nhiệm vụ cụ thể sau:
- Tìm hiểu cơ sở lý thuyết của Explainable AI, các cấp độ và cách thức tiếp cận bài toán diễn giải mô hình phổ biến hiện nay.
- Tìm hiểu phương pháp sử dụng để diễn giải các mô hình học máy và khảo sát bài toán phân tích cảm xúc (Sentiment Analysis) trong xử lý ngôn ngữ tự nhiên.
- Thực hiện ứng dụng trên cơ sở lý thuyết đã tìm hiểu nhằm trực quan hóa kết quả giải thích mô hình trên tập dữ liệu cụ thể.
- Đánh giá và giải thích kết quả dự đoán của các mô hình phân loại văn bản.
Đối tượng nghiên cứu của khóa luận là các kỹ thuật giải thích cục bộ và toàn cục trong XAI (trọng tâm là LIME và SHAP) cùng các mô hình phân loại học máy và học sâu cho bài toán phân tích cảm xúc. Phạm vi nghiên cứu được giới hạn trong không gian dữ liệu dạng văn bản (text), thời gian triển khai khóa luận từ ngày 14/02/2023 đến ngày 01/07/2023 (hoàn thiện báo cáo vào tháng 07/2023).
Cơ sở lý thuyết và phương pháp nghiên cứu
Khóa luận thiết lập nền tảng dựa trên các khung lý thuyết, nguyên tắc chuẩn hóa và công cụ toán học sau:
- Bốn nguyên tắc XAI của NIST: Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST) đặt ra bốn nguyên tắc gồm: Khả năng giải thích (Explanation - cung cấp lý do cho đầu ra), Tính có ý nghĩa (Meaningful - người dùng hiểu được), Độ chính xác của giải thích (Explanation accuracy - phản ánh đúng quy trình tạo đầu ra) và Giới hạn tri thức (Knowledge limits - chỉ vận hành trong điều kiện thiết kế).
- Khung đánh giá khả năng diễn giải: Dựa theo nghiên cứu của Doshi-Velez và Kim (2017) với ba cấp độ: Đánh giá mức ứng dụng (thực hiện bởi chuyên gia miền trên tác vụ thực tế), Đánh giá mức con người (thực hiện bởi người không chuyên trên tác vụ đơn giản) và Đánh giá mức chức năng (đánh giá tự động qua các đại lượng ủy quyền như độ sâu của cây quyết định mà không cần con người).
- Các phương pháp giải thích mô hình:
- LIME (Local Interpretable Model-agnostic Explanations): Xây dựng mô hình đại diện cục bộ (surrogate model) có trọng số quanh điểm dữ liệu khảo sát bằng cách tối thiểu hóa hàm mất mát và kiểm soát độ phức tạp.
- SHAP (Shapley Additive Explanations): Ứng dụng lý thuyết trò chơi liên minh để tính giá trị đóng góp cận biên của từng đặc trưng; bao gồm hai biến thể là KernelSHAP (xấp xỉ qua mô hình tuyến tính) và TreeSHAP (tính toán dựa trên kỳ vọng có điều kiện cho các mô hình dạng cây).
- Anchors: Sử dụng các quy tắc IF-THEN dựa trên chiến lược xáo trộn và thuật toán máy đánh bạc đa cần (Multi-Armed Bandit) kết hợp tìm kiếm chùm (Beam Search) để tối đa hóa độ phủ (coverage) với ngưỡng tin cậy xác định.
- ICE (Individual Conditional Expectation) và PDP (Partial Dependence Plot): Biểu diễn sự thay đổi của hàm dự đoán theo từng đặc trưng riêng lẻ hoặc giá trị trung bình biên; mở rộng với phác hoạ đạo hàm d-ICE và thống kê-H của Friedman & Popescu (2008) để đo lường mức độ tương tác giữa các đặc trưng (Feature Interaction).
- Mô hình học máy và học sâu: Hồi quy Logistic (Logistic Regression), Máy vector hỗ trợ (SVM), Mạng nơ-ron hồi quy (RNN), Mạng bộ nhớ dài-ngắn (LSTM), LSTM hai chiều (Bi-LSTM), Mạng nơ-ron tích chập (CNN) và mô hình lai CNN-LSTM.
- Phương pháp biểu diễn từ: Kỹ thuật nhúng từ (Word Embedding) và mô hình túi từ (Bag of Words - BoW).
Về phương pháp nghiên cứu thực tế, nhóm tác giả kết hợp nghiên cứu phân tích - tổng hợp lý thuyết, tiến hành thực nghiệm huấn luyện các mô hình phân loại trên dữ liệu kiểm thử, sau đó áp dụng LIME và SHAP để bóc tách trọng số từ ngữ và trực quan hóa giao diện tương tác thông qua thư viện Streamlit.
Nội dung chính theo từng chương
Chương 1: Mở đầu
Chương này làm rõ tính cấp thiết của việc diễn giải mô hình AI trong bối cảnh học sâu phát triển mạnh nhưng vướng phải rào cản "hộp đen". Tác giả phân tích hai cách tiếp cận chính của XAI: phân tích hộp đen (kiểm tra dữ liệu bên trong thuật toán có sẵn) và xây dựng mô hình có thể diễn giải bằng thiết kế. Chương mở đầu cũng công bố kế hoạch 14 tuần thực hiện đề tài và phân chia bố cục khóa luận thành 6 chương chính.
Chương 2: Tổng quan về XAI và các phương pháp trong XAI
Chương 2 trình bày chi tiết định nghĩa, tầm quan trọng, lợi ích và các lĩnh vực ứng dụng của XAI như Y tế, Marketing, Bảo hiểm, Dịch vụ tài chính. Nội dung học thuật trọng tâm là hệ thống các kỹ thuật giải thích cục bộ và toàn cục:
| Phương pháp |
Loại giải thích |
Cơ chế cốt lõi |
Đặc điểm kỹ thuật / Độ phức tạp |
| LIME |
Cục bộ |
Huấn luyện mô hình đại diện khả diễn giải (như Lasso, cây) trên tập mẫu biến đổi có đánh trọng số |
Tối ưu hóa hàm mất mát $L(f, g, \pi_x)$ kèm ràng buộc độ phức tạp $\Omega(g)$ |
| KernelSHAP |
Cục bộ |
Lấy mẫu liên minh ngẫu nhiên và gán trọng số để ước lượng giá trị Shapley |
Kết hợp khung LIME với lý thuyết trò chơi cộng tính |
| TreeSHAP |
Cục bộ / Nhóm cây |
Sử dụng kỳ vọng có điều kiện trên các nút lá của cấu trúc cây quyết định |
Giảm độ phức tạp tính toán từ $O(TL2^M)$ xuống $O(TLD^2)$ |
| Anchors |
Cục bộ |
Thiết lập quy tắc IF-THEN đạt ngưỡng chính xác cục bộ $\tau$ và độ tin cậy $\delta$ |
Sử dụng Multi-Armed Bandit và Beam Search, độ phức tạp phụ thuộc $O(B \cdot p^2)$ |
| ICE / PDP |
Cục bộ (ICE) / Toàn cục (PDP) |
Phác hoạ đường cong dự đoán khi thay đổi giá trị đặc trưng; PDP lấy trung bình bằng Monte Carlo |
PDP giả định các đặc trưng không tương quan; d-ICE tính đạo hàm kiểm tra tương tác |
| Feature Interaction |
Toàn cục |
Đo lường độ biến thiên dự đoán tạo ra bởi sự phụ thuộc giữa hai hay nhiều đặc trưng |
Thống kê-H (Friedman & Popescu); chi phí tính toán gọi hàm dự đoán $2n^2$ hoặc $3n^2$ lần |
Bên cạnh lý thuyết thuật toán, chương này đưa ra các minh họa trực quan như biểu đồ mức quan trọng đặc trưng SHAP trên tập dữ liệu ung thư cổ tử cung, trong đó biến số số năm sử dụng biện pháp tránh thai nội tiết tố làm thay đổi xác suất dự đoán ung thư trung bình 2,4 điểm phần trăm.
Chương 3: Tổng quan về NLP và bài toán Sentiment Analysis
Chương 3 tổng quan về Xử lý ngôn ngữ tự nhiên, phân tích 6 lợi ích lớn gồm: phân tích quy mô lớn, tính khách quan, giảm chi phí vận hành, cải thiện sự hài lòng của khách hàng, thấu hiểu thị trường và xử lý văn bản phi cấu trúc. Tác giả phân loại bài toán Sentiment Analysis theo 3 cấp độ:
- Document Level: Phân loại cảm xúc trên toàn bộ tài liệu từ một đối tượng viết đơn nhất.
- Sentence Level: Xác định tính chất tích cực, tiêu cực hoặc trung lập cho từng câu riêng biệt.
- Aspect Level: Phân tích cảm xúc gắn liền với một khía cạnh hoặc thực thể mục tiêu cụ thể trong câu (ví dụ phân tách thuộc tính "màn hình" và "thời lượng pin").
- Giới thiệu biến thể Fine-grained Sentiment Analysis (chia thang đo thành 5 mức: rất tích cực, tích cực, trung tính, tiêu cực, rất tiêu cực) cùng các phương pháp Word Embedding để số hóa văn bản thành vector.
Chương 4: Một số thuật toán Machine Learning và Deep Learning
Chương 4 khảo sát các giải thuật được dùng trong phần thực nghiệm:
- Logistic Regression: Phân loại nhị phân dựa trên hàm Sigmoid.
- Support Vector Machine (SVM): Phân chia dữ liệu bằng siêu phẳng có khoảng cách biên lớn nhất dựa trên các điểm hỗ trợ (Support Vectors).
- Mạng hồi quy và biến thể: Cấu trúc mạng RNN xử lý chuỗi, cơ chế cổng của LSTM để khắc phục triệt tiêu gradient, và mạng Bi-LSTM tổng hợp ngữ cảnh hai chiều xuôi - ngược.
- Mạng tích chập (CNN): Khảo sát bộ lọc (kernel), các biến thể hàm kích hoạt ReLU, lớp Max Pooling, Average Pooling và lớp kết nối đầy đủ (Fully Connected).
- Mô hình kết hợp CNN-LSTM: Ghép nối các lớp tích chập trích xuất đặc trưng cục bộ với các lớp LSTM học mối quan hệ tuần tự dài hạn.
Chương 5: Thực nghiệm
Chương 5 hiện thực hóa quy trình kiểm thử và đánh giá mô hình phân tích cảm xúc:
- Xây dựng và huấn luyện mô hình Logistic Regression, SVM, CNN-LSTM (huấn luyện trong 5 epoch) và Bi-LSTM.
- Đo lường và trực quan hóa các tham số huấn luyện, tiến trình hàm mất mát và độ chính xác của các mô hình trên tập kiểm thử (test data).
- Triển khai ứng dụng giải thích mô hình bằng giao diện người dùng tương tác.
Chương 6: Kết luận
Chương cuối tóm lược các đóng góp về mặt lý thuyết và thực tiễn của khóa luận, đồng thời nêu định hướng phát triển nhằm nâng cao năng lực ứng dụng của các thuật toán XAI.
Thiết kế và triển khai hệ thống thực nghiệm
Hệ thống thực nghiệm được nhóm tác giả xây dựng dưới dạng ứng dụng web tương tác bằng nền tảng Streamlit, cho phép người dùng quan sát trực tiếp cơ chế giải thích của mô hình học máy:
- Kiến trúc luồng xử lý: Người dùng nhập một câu văn bản đầu vào trên giao diện -> Dữ liệu văn bản được mã hóa thông qua bộ nhúng từ -> Hệ thống chuyển dữ liệu đến mô hình được chọn để dự đoán phân lớp cảm xúc -> Mô-đun XAI tiếp nhận kết quả dự đoán cùng dữ liệu đầu vào để tính toán mức độ ảnh hưởng của từng từ -> Kết quả giải thích được vẽ trực tiếp lên giao diện.
- Thành phần giao diện: Ứng dụng cung cấp các hộp chọn lựa (Select box):
- Lựa chọn mô hình: Cho phép chuyển đổi giữa các giải thuật đã huấn luyện bao gồm Logistic Regression, SVM, CNN-LSTM và Bi-LSTM.
- Lựa chọn phương pháp giải thích: Cho phép chọn giải thuật LIME hoặc SHAP.
- Kiểm thử và hiển thị:
- Khi kích hoạt LIME, hệ thống làm nổi bật các từ khóa bằng các dải màu và biểu đồ thanh biểu thị trọng số đóng góp tích cực hoặc tiêu cực vào nhãn dự đoán tương ứng.
- Khi kích hoạt SHAP, giao diện trực quan hóa các giá trị Shapley, thể hiện cách các từ ngữ đẩy xác suất dự đoán lệch khỏi giá trị cơ sở (base value).
- Quá trình thực nghiệm cho thấy mô hình CNN-LSTM được thiết lập chạy qua 5 epoch huấn luyện, theo dõi sát diễn biến độ chính xác trước khi đưa vào ứng dụng giải thích.
Kết quả và đóng góp
Khóa luận đạt được các kết quả cụ thể theo đúng số liệu và nội dung ghi nhận trong văn bản:
- Hệ thống hóa lý thuyết chuyên sâu: Cung cấp tổng quan toán học chi tiết về các kỹ thuật XAI phức tạp, làm rõ sự đánh đổi giữa độ chính xác và độ phủ trong thuật toán Anchors, sự khác biệt giữa kỳ vọng cận biên và kỳ vọng có điều kiện giữa KernelSHAP và TreeSHAP, cũng như công thức tính thống kê-H của Friedman & Popescu.
- Triển khai thực nghiệm đa dạng mô hình: Huấn luyện thành công 4 cấu trúc mô hình từ học máy truyền thống đến học sâu (Logistic Regression, SVM, CNN-LSTM qua 5 epoch, Bi-LSTM) phục vụ bài toán phân loại cảm xúc văn bản.
- Xây dựng công cụ trực quan hóa hoàn chỉnh: Tích hợp thành công LIME và SHAP trên giao diện Streamlit, cho phép phân tích minh bạch mức độ đóng góp của từng từ ngữ đối với quyết định dự đoán của mô hình hộp đen.
- Đóng góp khoa học và thực tiễn: Về mặt khoa học, đề tài củng cố tài liệu nghiên cứu bằng tiếng Việt về các giải thuật diễn giải mô hình AI tiên tiến; về mặt thực tiễn, ứng dụng giúp người dùng không chuyên hiểu được nguyên nhân mô hình đưa ra phán đoán, từ đó nâng cao độ tin cậy khi triển khai AI vào thực tế.
Hạn chế và hướng nghiên cứu tiếp
Khóa luận ghi nhận các hạn chế và hướng mở rộng xuất phát từ quá trình nghiên cứu:
- Hạn chế: Thời gian thực hiện đề tài ngắn (gần 5 tháng) nên phạm vi ứng dụng mới dừng lại ở bài toán phân loại cảm xúc văn bản đơn giản; các kiểm thử đánh giá thuật toán giải thích chưa được mở rộng sang dữ liệu đa phương tiện (như hình ảnh hay âm thanh); một số thuật toán giải thích toàn cục (như thống kê-H với chi phí tính toán lên đến $2n^2$ hoặc $3n^2$ lần gọi hàm, hoặc đạo hàm d-ICE) có chi phí tính toán cao và chưa được tối ưu hóa trong phần mềm demo.
- Hướng phát triển: Tác giả đề xuất tiếp tục nghiên cứu sâu các mô hình học sâu tiên tiến hơn, tối ưu hóa tốc độ tính toán cho các giải thuật giải thích cục bộ và toàn cục, đồng thời mở rộng ứng dụng XAI trên nhiều tập dữ liệu đa dạng trong các ngành nghiệp vụ đòi hỏi tính minh bạch cao.
Giá trị tham khảo
Báo cáo khóa luận là tài liệu tham khảo phù hợp cho sinh viên, học viên chuyên ngành Kỹ thuật Dữ liệu, Khoa học Máy tính và Công nghệ Thông tin đang nghiên cứu về tính minh bạch của mô hình học máy.
Các phần có giá trị tham khảo học thuật cao nhất trong văn bản gồm:
- Chương 2: Toàn bộ phần cơ sở toán học và cơ chế vận hành của LIME, KernelSHAP, TreeSHAP, Anchors, PDP và thống kê-H. Đây là phần tài liệu tổng hợp tương đối đầy đủ các công thức dẫn xuất và thuật toán tối ưu (như Multi-Armed Bandit trong Anchors).
- Chương 5: Cấu trúc xây dựng giao diện Streamlit kết nối với các mô-đun giải thích LIME và SHAP, cung cấp mẫu thiết kế thực nghiệm hữu ích cho các đề tài đồ án tốt nghiệp cần xây dựng sản phẩm demo trực quan hóa AI.
Câu hỏi thường gặp
1. Bốn nguyên tắc cơ bản của XAI do Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST) công bố được khóa luận trình bày gồm những gì?
Bốn nguyên tắc gồm: Khả năng giải thích (Explanation - hệ thống cung cấp lý do cho tất cả kết quả đầu ra), Tính có ý nghĩa (Meaningful - lời giải thích phải dễ hiểu đối với từng người dùng cá nhân), Độ chính xác của giải thích (Explanation accuracy - phản ánh chính xác quy trình tạo đầu ra của hệ thống) và Giới hạn tri thức (Knowledge limits - hệ thống chỉ hoạt động trong các điều kiện thiết kế hoặc khi đạt đủ mức độ tin cậy).
2. Điểm khác biệt căn bản giữa KernelSHAP và TreeSHAP trong văn bản là gì?
KernelSHAP là phương pháp tổng quát (model-agnostic) sử dụng khung hồi quy đại diện của LIME để xấp xỉ giá trị Shapley, trong khi TreeSHAP là giải pháp chuyên biệt cho các mô hình dạng cây. TreeSHAP sử dụng kỳ vọng có điều kiện thay vì kỳ vọng cận biên, giúp giảm độ phức tạp tính toán từ cấp số mũ $O(TL2^M)$ của KernelSHAP xuống thời gian đa thức $O(TLD^2)$, với $T$ là số cây, $L$ là số lá tối đa và $D$ là độ sâu tối đa của cây.
3. Thuật toán Anchors kiểm soát sự cân bằng giữa độ chính xác và độ phức tạp như thế nào?
Anchors biểu diễn lời giải thích dưới dạng quy tắc IF-THEN và tối đa hóa độ phủ (coverage) dựa trên ngưỡng chính xác cục bộ $\tau$ và độ tin cậy thống kê $\delta$. Thuật toán sử dụng cơ chế máy đánh bạc đa cần (Multi-Armed Bandit) thuần khám phá để giảm số lần gọi mô hình, kết hợp tìm kiếm chùm sửa đổi (Modified Beam Search) với độ rộng chùm $B$ nhằm tránh rơi vào tối ưu cục bộ.
4. Khóa luận phân loại bài toán Phân tích cảm xúc (Sentiment Analysis) thành những cấp độ nào?
Khóa luận chia thành 3 cấp độ: Cấp độ tài liệu (Document Level - phân loại cảm xúc trên toàn bộ văn bản của một tác giả), Cấp độ câu (Sentence Level - xác định tính tích cực, tiêu cực, trung lập cho từng câu) và Cấp độ khía cạnh (Aspect Level - phân loại cảm xúc hướng vào thực thể hoặc thuộc tính mục tiêu cụ thể trong câu).
5. Ứng dụng demo trong khóa luận tích hợp những mô hình và phương pháp giải thích nào?
Ứng dụng được xây dựng trên thư viện Streamlit, tích hợp 4 mô hình phân loại (Logistic Regression, SVM, CNN-LSTM huấn luyện 5 epoch, Bi-LSTM) và cung cấp hai phương pháp giải thích trực quan là LIME và SHAP.
Kết luận
Khóa luận tốt nghiệp "Tìm hiểu về Explainable AI và ứng dụng" của sinh viên Lại Hữu Trác và Nguyễn Duy Phước đã hệ thống hóa toàn diện các lý thuyết nền tảng và phương pháp toán học cốt lõi của XAI, từ các kỹ thuật giải thích cục bộ như LIME, SHAP, Anchors đến các phương pháp toàn cục như PDP và Feature Interaction. Nhóm tác giả đã triển khai thực nghiệm phân loại cảm xúc văn bản trên các mô hình học máy và học sâu, đồng thời xây dựng thành công ứng dụng demo trên giao diện Streamlit tích hợp LIME và SHAP. Công trình thể hiện giá trị tham khảo rõ ràng về mặt học thuật và phương pháp luận cho các nghiên cứu tiếp theo về việc nâng cao tính minh bạch và độ tin cậy của các hệ thống trí tuệ nhân tạo.