Tìm Hiểu Về Explainable AI và Ứng Dụng

Khám phá explainable AI và ứng dụng của nó trong các lĩnh vực khác nhau, từ y tế đến tài chính, giúp nâng cao sự minh bạch trong AI.

• Tác giả: Lại Hữu Trác
• Người hướng dẫn: ThS. Quách Đình Hoàng
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Tìm Hiểu Về Explainable AI Và Ứng Dụng
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI
• 1.2. MỤC TIÊU VÀ NHIỆM VỤ NGHIÊN CỨU
• 1.3. CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU
• 1.4. KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC
• 1.5. BỐ CỤC LUẬN VĂN
• 2. CHƯƠNG 2: TỔNG QUAN VỀ XAI VÀ CÁC PHƯƠNG PHÁP TRONG XAI
• 2.1. TỔNG QUAN VỀ EXPLAINABLE AI
• 2.1.1. Định nghĩa về Explainable AI
• 2.1.2. Lợi ích của Explainable AI
• 2.1.3. Explainable AI được sử dụng ở đâu?
• 2.1.4. Đánh giá về lời giải thích
• 2.2. TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP TRONG EXPLAINABLE AI
• 3. CHƯƠNG 3: TỔNG QUAN VỀ NLP VÀ BÀI TOÁN SENTIMENT ANALYSIS
• 3.1. TỔNG QUAN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN (NLP)
• 3.1.1. Định nghĩa về NLP
• 3.1.2. Những lợi ích của NLP
• 3.2. TỔNG QUAN VỀ SENTIMENT ANALYSIS
• 3.2.1. Tổng quan về Sentiment Analysis
• 3.2.2. Tại sao Sentiment Analysis lại quan trọng
• 3.3. CÁC KỸ THUẬT TRONG WORD EMBEDDING
• 4. CHƯƠNG 4: MỘT SỐ THUẬT TOÁN MACHINE LEARNING VÀ DEEP LEARNING
• 4.1. TỔNG QUAN VỀ DEEP LEARNING
• 4.2. MỘT SỐ THUẬT TOÁN TRONG DEEP LEARNING
• 5. CHƯƠNG 5: THỰC NGHIỆM
• 5.3. PHƯƠNG PHÁP VÀ KẾT QUẢ
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. KẾT QUẢ ĐẠT ĐƯỢC
• 6.3. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tìm hiểu Explainable AI XAI Tổng quan và Lợi ích then chốt

Explainable AI (XAI) đang nổi lên như một yếu tố then chốt trong lĩnh vực trí tuệ nhân tạo. Trong bối cảnh các mô hình AI ngày càng phức tạp, XAI cung cấp các công cụ và phương pháp để hiểu và giải thích các quyết định của AI. Theo định nghĩa, XAI là một tập hợp các quy trình và phương pháp cho phép người dùng hiểu và tin tưởng vào kết quả đầu ra được tạo ra bởi các thuật toán học máy. NIST (Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ) đã công bố bốn nguyên tắc cho việc phát triển XAI, bao gồm: giải thích, ý nghĩa, độ chính xác và giới hạn tri thức. Điều này giúp mô tả tính chính xác, công bằng, minh bạch và kết quả của mô hình trong việc ra quyết định do AI hỗ trợ.

1.1. Định nghĩa chi tiết về Explainable AI XAI trong CNTT

Explainable AI (XAI) không chỉ là một khái niệm, nó là một yêu cầu thiết yếu. Với sự phát triển của các thuật toán học máy phức tạp, việc hiểu rõ cách thức các thuật toán này đưa ra quyết định trở nên vô cùng quan trọng. XAI cung cấp một lớp minh bạch, cho phép người dùng đánh giá độ tin cậy và công bằng của các mô hình AI. XAI giúp mô tả một mô hình AI, tác động dự kiến và những thành phần ảnh hưởng đến tính khách quan của bài toán. Theo nghiên cứu, XAI rất quan trọng đối với một tổ chức trong việc xây dựng niềm tin và sự tự tin khi đưa các mô hình AI vào sản xuất. Khả năng giải thích của AI cũng giúp một tổ chức áp dụng cách tiếp cận có trách nhiệm để phát triển AI.

1.2. Lợi ích then chốt của việc ứng dụng Explainable AI XAI

Ứng dụng XAI mang lại nhiều lợi ích thiết thực. Đầu tiên, giảm chi phí cho những sai lầm trong các lĩnh vực quan trọng như y tế và tài chính. Thứ hai, giảm thiểu tác động của sự sai lệch mô hình, đảm bảo tính công bằng. Thứ ba, giúp giảm thiểu lỗi trong các mô hình AI. Cuối cùng, tăng cường độ tin cậy và khả năng tuân thủ quy tắc, một yếu tố ngày càng quan trọng trong bối cảnh pháp lý hiện nay. Một hệ thống có thể giải thích có thể làm giảm tác động của những dự đoán thiên vị như vậy gây ra bằng cách giải thích các tiêu chí ra quyết định. Việc cho phép một người có thể chịu trách nhiệm về những lỗi đó có thể làm cho hệ thống tổng thể hiệu quả hơn

II. Thách thức và Vấn đề với Black Box AI Giải pháp từ XAI

Các mô hình Black Box AI, mặc dù mạnh mẽ, lại thiếu tính minh bạch. Điều này gây ra nhiều thách thức, đặc biệt trong các ứng dụng quan trọng, bởi chúng ta không biết lý do tại sao AI lại đưa ra quyết định đó. XAI ra đời để giải quyết vấn đề này, bằng cách cung cấp các công cụ và phương pháp để 'mở hộp đen', giúp người dùng hiểu rõ hơn về cách các mô hình AI hoạt động. Các mô hình Black Box AI có thể tạo ra kết quả chính xác cao, nhưng một số cũng rất phức tạp. Sự phức tạp này đã khiến các nhà nghiên cứu và các nhà hoạch định chính sách đặt câu hỏi - liệu có thể hiểu được cách thức hoạt động của AI hay AI là một Black Box.

2.1. Giải thích mô hình Black Box AI và tính cần thiết của minh bạch

Mô hình Black Box AI là các mô hình mà quá trình ra quyết định của chúng không thể dễ dàng hiểu được bởi con người. Điều này tạo ra một rào cản lớn trong việc tin tưởng và triển khai các mô hình này, đặc biệt trong các lĩnh vực nhạy cảm như y tế, tài chính và pháp luật. Tính minh bạch là yếu tố then chốt để xây dựng niềm tin và đảm bảo trách nhiệm giải trình. Theo nghiên cứu, sự phức tạp này đã khiến các nhà nghiên cứu và các nhà hoạch định chính sách đặt câu hỏi: làm sao để biết tại sao AI lại đưa ra quyết định này mà không phải quyết định khác, khi nào thì mô hình dự đoán thành công, khi nào thất bại, khi nào có thể tin vào dự đoán của AI?

2.2. XAI Công cụ để mở hộp đen và tăng độ tin cậy cho AI

XAI cung cấp các kỹ thuật để hiểu và giải thích các quyết định của các mô hình Black Box AI. Các kỹ thuật này có thể bao gồm việc xác định các tính năng quan trọng nhất ảnh hưởng đến quyết định, hoặc tạo ra các lời giải thích đơn giản, dễ hiểu cho người dùng. Bằng cách cung cấp tính minh bạch, XAI giúp tăng độ tin cậy và khả năng chấp nhận của các mô hình AI trong thực tế. XAI ra đời để giúp các thuật toán trở nên minh bạch hơn và thay đổi các mô hình AI theo hướng lấy người dùng làm trung tâm (user-centricity). Điều này giúp mô hình AI dễ ứng dụng trong nhiều lĩnh vực khác nhau.

III. Các Phương pháp XAI phổ biến LIME SHAP và ứng dụng

Hiện nay, có nhiều phương pháp XAI khác nhau, mỗi phương pháp có ưu điểm và nhược điểm riêng. Hai phương pháp phổ biến nhất là LIME (Local Interpretable Model-agnostic Explanations) và SHAP (SHapley Additive exPlanations). LIME tập trung vào việc giải thích các quyết định của mô hình trong một phạm vi cục bộ, trong khi SHAP sử dụng lý thuyết trò chơi để định lượng đóng góp của từng tính năng vào quyết định của mô hình. Việc lựa chọn phương pháp XAI phù hợp phụ thuộc vào từng ứng dụng cụ thể.

3.1. LIME Local Interpretable Model agnostic Explanations Giải thích cục bộ

LIME là một phương pháp XAI hoạt động bằng cách xấp xỉ mô hình phức tạp bằng một mô hình đơn giản, dễ hiểu trong một phạm vi cục bộ xung quanh một điểm dữ liệu cụ thể. Điều này cho phép người dùng hiểu được các yếu tố quan trọng nhất ảnh hưởng đến quyết định của mô hình cho điểm dữ liệu đó. LIME đặc biệt hữu ích khi làm việc với các mô hình Black Box AI, nơi không thể hiểu được cơ chế hoạt động bên trong của mô hình. Công thức tính LIME được mô tả chi tiết trong các tài liệu nghiên cứu về XAI.

3.2. SHAP SHapley Additive exPlanations Đóng góp tính năng và lý thuyết trò chơi

SHAP là một phương pháp XAI sử dụng lý thuyết trò chơi để định lượng đóng góp của từng tính năng vào quyết định của mô hình. SHAP cung cấp một cái nhìn tổng quan về tầm quan trọng của các tính năng, giúp người dùng hiểu được yếu tố nào đang thúc đẩy các quyết định của mô hình. SHAP có nhiều biến thể, như Kernel SHAP và Deep SHAP, phù hợp với các loại mô hình khác nhau. Công thức tính SHAP dựa trên giá trị Shapley, được sử dụng để phân bổ công bằng phần thưởng cho các thành viên của một nhóm.

IV. Ứng dụng XAI trong CNTT Phân tích Sentiment và hơn thế nữa

Ứng dụng XAI trong công nghệ thông tin rất đa dạng. Một ví dụ điển hình là trong Sentiment Analysis, nơi XAI có thể giúp hiểu được lý do tại sao một đoạn văn bản được phân loại là tích cực, tiêu cực hoặc trung tính. Ngoài ra, XAI cũng có thể được sử dụng trong các lĩnh vực khác như phát hiện gian lận, chẩn đoán y tế và quản lý rủi ro. Nhóm nghiên cứu có thể học hỏi và đúc kết thành một bài báo cáo khai thác sâu về nội dung lý thuyết của Explainable AI. Về phần ứng dụng, để trực quan hóa bài toán nhóm sẽ xây dựng một mô hình đơn giản để trực quan hóa kết quả sau khi phân tích từ tập dữ liệu nhằm có cái nhìn cụ thể hơn cũng như thấy được sự hữu ích khi áp dụng vào thực tế.

4.1. XAI trong Sentiment Analysis Giải thích kết quả dự đoán cảm xúc

Trong Sentiment Analysis, XAI có thể cung cấp thông tin chi tiết về các từ hoặc cụm từ cụ thể nào đang đóng góp vào cảm xúc tổng thể của một đoạn văn bản. Điều này có thể giúp các doanh nghiệp hiểu rõ hơn về phản hồi của khách hàng và đưa ra các quyết định dựa trên dữ liệu. XAI cung cấp thông tin chi tiết về các từ hoặc cụm từ cụ thể nào đang đóng góp vào cảm xúc tổng thể của một đoạn văn bản. Sentiment Analysis lại quan trọng là xác định, trích xuất và định lượng thông tin chủ quan. Bằng cách áp dụng các thuật toán xử lý ngôn ngữ tự nhiên (NLP), khai thác văn bản, ngôn ngữ học tính toán và sinh trắc học, phân tích tình cảm tự động hóa một quy trình rất tốn công sức và tốn kém.

4.2. Các ứng dụng tiềm năng khác của XAI trong lĩnh vực CNTT

Ngoài Sentiment Analysis, XAI còn có nhiều ứng dụng tiềm năng khác trong lĩnh vực CNTT. Ví dụ, trong phát hiện gian lận, XAI có thể giúp xác định các yếu tố nào đang thúc đẩy một giao dịch bị gắn cờ là gian lận. Trong chẩn đoán y tế, XAI có thể giúp bác sĩ hiểu rõ hơn về cách một mô hình AI đưa ra chẩn đoán, từ đó đưa ra quyết định điều trị tốt hơn. Trong quản lý rủi ro, XAI có thể giúp xác định các yếu tố nào đang góp phần vào rủi ro và đưa ra các biện pháp giảm thiểu rủi ro hiệu quả hơn.

V. Đạo đức và Trách nhiệm của AI Vai trò quan trọng của XAI

Đạo đức AI và trách nhiệm giải trình là những vấn đề ngày càng được quan tâm trong bối cảnh AI ngày càng phát triển. XAI đóng vai trò quan trọng trong việc đảm bảo rằng các hệ thống AI được phát triển và sử dụng một cách có trách nhiệm, bằng cách cung cấp tính minh bạch và cho phép kiểm tra kỹ lưỡng các quyết định của AI. Điều này đặc biệt quan trọng trong các ứng dụng có tác động lớn đến cuộc sống của con người, như tuyển dụng, cho vay và xét xử.

5.1. Đảm bảo tính công bằng và tránh thiên vị trong hệ thống AI

Một trong những thách thức lớn nhất trong đạo đức AI là đảm bảo rằng các hệ thống AI không bị thiên vị và đưa ra các quyết định không công bằng. XAI có thể giúp giải quyết vấn đề này bằng cách cho phép người dùng kiểm tra kỹ lưỡng các quyết định của AI và xác định các yếu tố nào có thể gây ra thiên vị. Các ví dụ bao gồm thiên vị giới tính đối với Apple Cards, thiên vị chủng tộc bằng Autonomous Vehicles và thành kiến chủng tộc của Amazon Rekognition. Một hệ thống có thể giải thích có thể làm giảm tác động của những dự đoán thiên vị như vậy gây ra bằng cách giải thích các tiêu chí ra quyết định.

5.2. Xây dựng niềm tin và tăng cường trách nhiệm giải trình trong AI

XAI giúp xây dựng niềm tin vào các hệ thống AI bằng cách cung cấp tính minh bạch và cho phép người dùng hiểu rõ hơn về cách các hệ thống này hoạt động. Điều này đặc biệt quan trọng trong các ứng dụng mà sự tin tưởng là yếu tố then chốt, như chẩn đoán y tế và xe tự hành. Ngoài ra, XAI cũng tăng cường trách nhiệm giải trình, vì nó cho phép người dùng xác định ai chịu trách nhiệm cho các quyết định của AI và yêu cầu họ giải thích lý do tại sao các quyết định đó được đưa ra.

VI. Tương lai của XAI Hướng phát triển và Nghiên cứu tiềm năng

Tương lai của XAI hứa hẹn nhiều tiềm năng phát triển và nghiên cứu. Một hướng đi quan trọng là phát triển các phương pháp XAI có thể hoạt động hiệu quả với các mô hình AI phức tạp hơn, như deep learning. Một hướng đi khác là phát triển các giao diện người dùng trực quan hơn để giúp người dùng dễ dàng hiểu và tương tác với các lời giải thích của XAI. Nghiên cứu và phát triển XAI là một quá trình liên tục. Nhóm chúng tôi mong muốn sau khi thực hiện quá trình nghiên cứu nhiều công trình cũng như các ứng dụng từ các tác giả đi trước, nhóm có thể học hỏi và đúc kết thành một bài báo cáo khai thác sâu về nội dung lý thuyết của Explainable AI.

6.1. Phát triển các phương pháp XAI cho Deep Learning và AI phức tạp

Deep learning đang trở thành một công cụ ngày càng quan trọng trong AI, nhưng độ phức tạp của các mô hình deep learning khiến việc giải thích các quyết định của chúng trở nên khó khăn hơn. Do đó, việc phát triển các phương pháp XAI có thể hoạt động hiệu quả với deep learning là một ưu tiên hàng đầu. Bên cạnh đó, XAI không chỉ giúp việc đánh giá độ tin cậy của một mô hình AI trở nên dễ dàng hơn mà còn giúp người dùng có thể tương tác và học hỏi qua lại với AI. Nhận thấy việc nghiên cứu và giải thích được các mô hình AI vô cùng cấp bách và có ý nghĩa thực tiễn.

6.2. Giao diện người dùng trực quan và tương tác cho XAI Hướng tiếp cận

Ngay cả khi có các lời giải thích tốt, việc người dùng hiểu và sử dụng chúng vẫn có thể là một thách thức. Do đó, việc phát triển các giao diện người dùng trực quan và tương tác để giúp người dùng dễ dàng hiểu và tương tác với các lời giải thích của XAI là rất quan trọng. Giao diện trực quan, dễ hiểu, giúp các nhà quản lý dễ dàng hơn trong việc đưa ra quyết định. Ngoài ra, XAI giúp cung cấp thông tin chi tiết, giúp người dùng hiểu rõ cách đưa ra quyết định và tại sao.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI Trí tuệ nhân tạo (AI) trong nhiều năm qua chủ yếu là lĩnh vực được tập trung nhiều trên lý thuyết, không có nhiều ứng dụng tác động trong thế giới thực. Điều này đã thay đổi hoàn toàn trong thập kỷ như sự kết hợp của các máy móc mạnh mẽ hơn, các thuật toán học tập được cải thiện cũng như khả năng truy cập dễ dàng hơn vào lượng dữ liệu khổng lồ đã kích hoạt các tiến bộ trong học máy (ML) và dẫn đến việc ứng dụng rộng rãi trong công nghiệp. Khoảng năm 2012, phương pháp học sâu (DL) bắt đầu thống trị các điểm chuẩn về độ chính xác, đạt được thành tích vượt bậc và ngày càng hoàn thiện trong những năm tiếp theo. Kết quả là ngày nay, rất nhiều vấn đề trong thế giới thực trong các lĩnh vực khác nhau, trải dài từ bán lẻ và ngân hàng đến y học được giải quyết trong khi sử dụng các mô hình học máy.

Những công cụ AI này có thể tạo ra kết quả chính xác cao, nhưng một số cũng rất phức tạp. Sự phức tạp này đã khiến các nhà nghiên cứu và các nhà hoạch định chính sách đặt câu hỏi: làm sao để biết tại sao AI lại đưa ra quyết định này mà không phải quyết định khác, khi nào thì mô hình dự đoán thành công, khi nào thất bại, khi nào có thể tin vào dự đoán của AI? Những câu hỏi trên cho ta thấy nhu cầu hiểu được lí do đằng sau một dự đoán từ mô hình AI ngày càng cần thiết. Song song với đó là việc giữ cân bằng giữa độ chính xác và khả năng giải thích của 1 mô hình AI - điều mà rất nhiều mô hình ML và DL chưa giải quyết được. Do đó, XAI ra đời để giúp các thuật toán trở nên minh bạch hơn và thay đổi các mô hình AI theo hướng lấy người dùng làm trung tâm (user-centricity).

Điều này giúp mô hình AI dễ ứng dụng trong nhiều lĩnh vực khác nhau. Bên cạnh đó, XAI không chỉ giúp việc đánh giá độ tin cậy của một mô hình AI trở nên dễ dàng hơn mà còn giúp người dùng có thể tương tác và học hỏi qua lại với AI. Nhận thấy việc nghiên cứu và giải thích được các mô hình AI vô cùng cấp bách và có ý nghĩa thực tiễn. Nhóm chúng tôi lựa chọn nghiên cứu và khai thác đề tài "Tìm hiểu về Explainable AI và ứng dụng".2 MỤC TIÊU VÀ NHIỆM VỤ NGHIÊN CỨU 1 Mục tiêu của đề tài là tập trung nghiên cứu cơ sở lý thuyết của XAI, các cấp độ của bài toán, khai thác chiều sâu bài toán, các cách giải quyết bài toán phổ biến hiện nay.

Trong đề tài này, chúng tôi muốn xây dựng một mô hình xử lý và phân tích khía cạnh của quan điểm, ý kiến, tình cảm của đối tượng nghiên cứu cụ thể và sử dụng phương pháp LIME, SHAP để giải thích cho kết quả dự đoán được. Để đạt được điều đó chúng tôi tập trung vào tìm hiểu một số vấn đề sau:  Tìm hiểu cơ sở lý thuyết của XAI  Tìm hiểu phương pháp sử dụng để diễn giải các mô hình học máy.  Ứng dụng bài toán vào tập dữ liệu cụ thể để trực quan hóa bài toán.  Đánh giá và giải thích kết quả.3 CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU XAI thường sử dụng một trong hai cách tiếp cận: phân tích hộp đen hoặc các mô hình có thể diễn giải.

Phân tích hộp đen là phương pháp truyền thống vì nó chỉ đơn giản là mở hộp có sẵn của thuật toán và kiểm tra dữ liệu bên trong. Các mô hình có thể diễn giải giống như XAI có thể giải mã được bằng thiết kế. Những mô hình này nhằm mục đích để phân tích, giống như một chiếc máy tính trong tủ kính. Có thể rất phức tạp để tạo ra chúng, nhưng nhu cầu về XAI thân thiện với người dùng đang khuyến khích các nhà phát triển tiếp tục nghiên cứu và đổi mới công nghệ có thể diễn giải được.4 KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC Nhóm chúng tôi mong muốn sau khi thực hiện quá trình nghiên cứu nhiều công trình cũng như các ứng dụng từ các tác giả đi trước, nhóm có thể học hỏi và đúc kết thành một bài báo cáo khai thác sâu về nội dung lý thuyết của Explainable AI.

Về phần ứng dụng, để trực quan hóa bài toán nhóm sẽ xây dựng một mô hình đơn giản để trực quan hóa kết quả sau khi phân tích từ tập dữ liệu nhằm có cái nhìn cụ thể hơn cũng như thấy được sự hữu ích khi áp dụng vào thực tế.5 BỐ CỤC LUẬN VĂN Bố cục của khóa luận được tổ chức như sau: 1.1 Tính cấp thiết của đề tài 1.2 Mục tiêu và nhiệm vụ nghiên cứu 1.3 Cách tiếp cận và phương pháp nghiên cứu 1.4 Kết quả dự đoán được 1.5 Bố cục luận văn 2. Tổng quan về XAI và các phương pháp trong XAI 2.1 Tổng quan về XAI 2.2 Tổng quan về các phương pháp trong XAI 3 Tổng quan về xử lý ngôn ngữ tự nhiên (NLP) và bài toán Sentiment Analysis 3.1 Tổng quan về xử lý ngôn ngữ tự nhiên 3.2 Tổng quan về Sentiment Analysis 3.3 Các kỹ thuật Word Embedding 4 Một số thuật toán Machine learning và Deep Learning 5.3 Phương pháp và kết quả 6.1 Kết quả đạt được 6.3 Hướng phát triển 3 CHƯƠNG 2: TỔNG QUAN VỀ XAI VÀ CÁC PHƯƠNG PHÁP TRONG XAI 2.1 TỔNG QUAN VỀ EXPLAINABLE AI 2.1 Định nghĩa về Explainable AI Trước hết, để hiểu Explainable AI (XAI) là gì ta cần hiểu AI là như thế nào? Trí tuệ nhân tạo (AI) là một thuật ngữ rộng. Nó mô tả một loạt các công cụ và phương pháp cho phép các hệ thống máy tính thực hiện các nhiệm vụ phức tạp hoặc hành động trong môi trường đầy thách thức. Những năm gần đây đã chứng kiến những tiến bộ đáng kể trong công nghệ AI và nhiều người hiện đang tương tác với các hệ thống được hỗ trợ bởi AI hàng ngày.

Những công cụ AI này có thể tạo ra kết quả chính xác cao, nhưng một số cũng rất phức tạp. Sự phức tạp này đã khiến các nhà nghiên cứu và các nhà hoạch định chính sách đặt câu hỏi - liệu có thể hiểu được cách thức hoạt động của AI hay AI là một back box (hộp đen) XAI là một tập hợp các quy trình và phương pháp cho phép người dùng hiểu và tin tưởng vào kết quả đầu ra được tạo ra bởi các thuật toán học máy. XAI được sử dụng để mô tả một mô hình AI, tác động dự kiến và những thành phần ảnh hưởng đến tính khách quan của bài toán. Nó giúp mô tả tính chính xác, công bằng, minh bạch và kết quả của mô hình trong việc ra quyết định do AI hỗ trợ.

AI có thể giải thích được rất quan trọng đối với một tổ chức trong việc xây dựng niềm tin và sự tự tin khi đưa các mô hình AI vào sản xuất. Khả năng giải thích của AI cũng giúp một tổ chức áp dụng cách tiếp cận có trách nhiệm để phát triển AI. Để thúc đẩy phát triển XAI, NIST (Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ) đã công bố bốn nguyên tắc:  Explanation: Các hệ thống cung cấp bằng chứng hoặc (các) lý do đi kèm cho tất cả các kết quả đầu ra  Meaningful: Các hệ thống cung cấp các giải thích dễ hiểu đối với người dùng cá nhân.  Explanation accuracy: Lời giải thích phản ánh chính xác quy trình tạo đầu ra của hệ thống 4  Knowledge limits: Hệ thống chỉ hoạt động trong các điều kiện mà nó được thiết kế hoặc khi đầu ra của nó đạt đủ mức độ tin cậy 2.2 Tầm quan trọng của XAI XAI là một thành phần quan trọng để phát triển, chiến thắng và duy trì niềm tin vào các hệ thống tự động.

Nếu không có sự tin tưởng, AI và cụ thể là AI cho hoạt động CNTT (AIOps) sẽ không được chấp nhận hoàn toàn, khiến quy mô và độ phức tạp của các hệ thống hiện đại không thể vượt xa những gì có thể đạt được so với các hoạt động thủ công và tự động hóa truyền thống. Khi niềm tin được thiết lập, thông lệ “AI washing”: ngụ ý rằng một sản phẩm hoặc dịch vụ do AI điều khiển khi vai trò của AI ít hoặc vắng mặt trở nên rõ ràng, giúp cả người thực hiện và khách hàng thực hiện thẩm định AI của họ. Khi giao nhiệm vụ cho bất kỳ hệ thống nào tìm câu trả lời hoặc đưa ra quyết định, đặc biệt là những hệ thống có tác động trong thế giới thực, chúng ta bắt buộc phải giải thích cách một hệ thống đưa ra quyết định, cách nó ảnh hưởng đến kết quả hoặc tại sao các hành động được coi là cần thiết.2 Lợi ích của Explainable AI  Giảm chi phí cho những sai lầm Các lĩnh vực nhạy cảm với quyết định như Y học, Tài chính, Pháp lý, v., bị ảnh hưởng nhiều trong trường hợp dự đoán sai. Giám sát kết quả làm giảm tác động của kết quả sai sót và xác định nguyên nhân gốc rễ để cải thiện mô hình cơ bản.

Kết quả là những dự đoán của AI viết ra trở nên thực tế hơn để sử dụng và tin tưởng theo thời gian.  Giảm tác động của việc sai lệch mô hình Các mô hình AI đã cho thấy bằng chứng đáng kể về sự thiên vị. Các ví dụ bao gồm thiên vị giới tính đối với Apple Cards, thiên vị chủng tộc bằng Autonomous Vehicles và thành kiến chủng tộc của Amazon Rekognition. Một hệ thống có thể giải thích có thể làm giảm tác động của những dự đoán thiên vị như vậy gây ra bằng cách giải thích các tiêu chí ra quyết định.

 Lỗi có thể được giảm thiểu 5 Các mô hình AI luôn có một số lỗi với dự đoán của chúng và việc cho phép một người có thể chịu trách nhiệm về những lỗi đó có thể làm cho hệ thống tổng thể hiệu quả hơn  Độ tin cậy và tuân thủ quy tắc Mọi suy luận, cùng với lời giải thích của nó, có xu hướng làm tăng sự tự tin của hệ thống. Một số hệ thống quan trọng của người dùng, chẳng hạn như xe tự hành, chẩn đoán y tế, lĩnh vực tài chính, v., đòi hỏi sự tự tin cao từ người dùng để sử dụng tối ưu hơn. Với áp lực ngày càng tăng từ các cơ quan quản lý, các công ty phải thích ứng và triển khai XAI để nhanh chóng tuân thủ quy tắc của các cơ quan chức năng.  Hiệu suất mô hình Một trong những chìa khóa để tối đa hóa hiệu suất là hiểu được những điểm yếu tiềm ẩn.