Project ExplAIn: Hướng dẫn giải thích quyết định từ AI của ICO và Turing

Khám phá cách giải thích quyết định trong dự án bằng AI. Tìm hiểu quy trình giới thiệu và ứng dụng trí tuệ nhân tạo trong quản lý dự án hiệu quả.

• Tác giả: ICO
• Trường học: The Alan Turing Institute
• Chuyên ngành: Trí tuệ nhân tạo và Luật bảo vệ dữ liệu
• Đề tài: Project explAIn: Giải thích các quyết định được đưa ra bằng trí tuệ nhân tạo (AI)
• Loại tài liệu: Tài liệu hướng dẫn
• Năm xuất bản: 2020

Tóm tắt

I. Tổng quan về giải thích quyết định AI với sự hỗ trợ của trí tuệ nhân tạo

Giải thích quyết định do AI đưa ra là quá trình cung cấp thông tin minh bạch về lý do và cơ sở khoa học đằng sau các lựa chọn của hệ thống trí tuệ nhân tạo. Khi AI ngày càng tham gia vào các quyết định quan trọng ảnh hưởng trực tiếp đến con người, nhu cầu giải thích trở nên cấp thiết. Việc này không chỉ giúp tăng cường niềm tin của người dùng mà còn đảm bảo tuân thủ các quy định pháp lý. Các tổ chức cần hiểu rõ các nguyên tắc cơ bản về giải thích AI để xây dựng hệ thống minh bạch, công bằng và có trách nhiệm. Nội dung này cung cấp khung hướng dẫn toàn diện từ khái niệm đến triển khai thực tế.

1.1. Định nghĩa và vai trò của giải thích AI

Giải thích AI là quá trình truyền đạt thông tin về cách thức hoạt động của mô hình AI theo cách con người có thể hiểu được. Nó bao gồm việc cung cấp lý do đằng sau quyết định, các yếu tố đầu vào quan trọng và tác động tiềm ẩn. Vai trò chính của giải thích là tạo dựng sự tin tưởng giữa người dùng và hệ thống AI. Ngoài ra, nó còn giúp phát hiện sai sót, phân biệt trách nhiệm khi xảy ra lỗi và đáp ứng yêu cầu pháp lý về minh bạch. Giải thích hiệu quả cần cân bằng giữa chi tiết kỹ thuật và ngôn ngữ dễ hiểu.

1.2. Khung pháp lý và tiêu chuẩn quốc tế

Nhiều quốc gia đã ban hành quy định yêu cầu giải thích quyết định AI, đặc biệt trong lĩnh vực tài chính, y tế và nhân sự. Tiêu chuẩn như GDPR (Quyền được giải thích) và các hướng dẫn của Ủy ban châu Âu nhấn mạnh tầm quan trọng của quyền con người trong việc hiểu quyết định tự động. Các tổ chức cần tuân thủ các nguyên tắc như công bằng, trách nhiệm giải trình và khả năng kiểm toán. Việc không tuân thủ có thể dẫn đến rủi ro pháp lý và tổn hại danh tiếng.

II. Phân tích các thách thức trong giải thích quyết định AI

Việc giải thích quyết định AI gặp nhiều thách thức do tính phức tạp của mô hình học sâu. Các hệ thống AI hiện đại thường hoạt động như hộp đen, khiến việc truy xuất lý do quyết định trở nên khó khăn. Thách thức tiếp theo là sự đa dạng trong kỳ vọng của người dùng về mức độ chi tiết của giải thích. Một vấn đề quan trọng khác là nguy cơ giải thích sai lệch, khi các thông tin không chính xác được sử dụng để bào chữa cho quyết định. Ngoài ra, giới hạn về tài nguyên tính toán cũng ảnh hưởng đến khả năng cung cấp giải thích tức thì. Các tổ chức cần nhận diện sớm những rào cản này để triển khai giải pháp phù hợp.

2.1. Độ phức tạp của mô hình AI

Mô hình học sâu và học tăng cường sử dụng hàng triệu tham số, khiến việc giải thích trở nên khó khăn. Khác với các thuật toán truyền thống, chúng không cung cấp thông tin rõ ràng về cách kết nối giữa đầu vào và đầu ra. Các kỹ thuật như mạng nơ-ron tích chập (CNN) hay biến đổi tuần tự (Transformer) hoạt động dựa trên các biểu diễn trừu tượng. Điều này đòi hỏi các phương pháp giải thích chuyên biệt như SHAP, LIME hoặc Grad-CAM để phân tích tác động của từng đặc trưng.

2.2. Sự không nhất quán trong yêu cầu giải thích

Người dùng khác nhau có kỳ vọng khác nhau về mức độ chi tiết của giải thích. Một giám đốc điều hành có thể cần tóm tắt ngắn gọn, trong khi một chuyên gia pháp lý lại yêu cầu bằng chứng chi tiết. Sự đa dạng này tạo ra thách thức trong thiết kế hệ thống giải thích thống nhất. Ngoài ra, yêu cầu giải thích có thể thay đổi theo ngữ cảnh pháp lý và văn hóa. Các tổ chức cần triển khai các loại giải thích đa dạng để đáp ứng nhu cầu đa dạng của đối tượng.

III. Phương pháp tiếp cận giải thích quyết định AI hiệu quả

Để xây dựng hệ thống giải thích hiệu quả, tổ chức cần kết hợp nhiều kỹ thuật từ trước khi triển khai đến sau khi triển khai. Quá trình bắt đầu bằng việc lựa chọn loại giải thích phù hợp dựa trên ngữ cảnh sử dụng và tác động tiềm ẩn. Tiếp theo là thu thập dữ liệu có ý thức giải thích, đảm bảo chất lượng và đại diện. Sau đó, xây dựng hệ thống để có thể trích xuất thông tin liên quan cho nhiều loại giải thích. Cuối cùng, chuyển đổi lý do kỹ thuật thành lý do dễ hiểu cho người dùng cuối. Quá trình này đòi hỏi sự phối hợp chặt chẽ giữa kỹ sư AI, chuyên gia pháp lý và nhà tâm lý học.

3.1. Lựa chọn loại giải thích phù hợp

Có nhiều loại giải thích khác nhau, bao gồm giải thích dựa trên dữ liệu, giải thích dựa trên mô hình và giải thích dựa trên kết quả. Giải thích dựa trên dữ liệu tập trung vào chất lượng và đại diện của dữ liệu huấn luyện. Giải thích dựa trên mô hình cung cấp thông tin về cấu trúc bên trong của thuật toán. Giải thích dựa trên kết quả giải thích lý do dẫn đến quyết định cụ thể. Việc lựa chọn phụ thuộc vào ngữ cảnh sử dụng, tác động tiềm ẩn và kỳ vọng của người dùng.

3.2. Triển khai kỹ thuật giải thích tiên tiến

Các kỹ thuật như SHAP (SHapley Additive exPlanations) cung cấp giá trị đóng góp của từng đặc trưng. LIME (Local Interpretable Model-agnostic Explanations) tạo ra mô hình địa phương giải thích quyết định cụ thể. Grad-CAM hữu ích cho giải thích quyết định trong mạng nơ-ron tích chập. Ngoài ra, các phương pháp dựa trên lập luận như assurance cases cung cấp bằng chứng hệ thống về độ tin cậy của hệ thống. Việc kết hợp nhiều kỹ thuật giúp tăng cường độ chính xác và độ tin cậy của giải thích.

IV. Kết luận và ứng dụng giải thích quyết định AI

Giải thích quyết định AI là yếu tố quan trọng trong việc xây dựng hệ thống AI đáng tin cậy, công bằng và tuân thủ pháp luật. Nó không chỉ đáp ứng yêu cầu pháp lý mà còn tạo dựng niềm tin của người dùng. Các tổ chức cần tích hợp giải thích vào toàn bộ vòng đời phát triển AI, từ thiết kế đến triển khai. Việc triển khai thành công đòi hỏi sự phối hợp giữa nhiều phòng ban, bao gồm kỹ thuật, pháp lý, quản lý rủi ro và truyền thông. Bằng cách áp dụng các nguyên tắc và phương pháp đã đề cập, tổ chức có thể xây dựng hệ thống AI minh bạch, giải thích được và có trách nhiệm.

4.1. Lợi ích dài hạn của giải thích AI

Việc triển khai giải thích AI mang lại nhiều lợi ích lâu dài cho tổ chức. Nó giúp phát hiện và khắc phục sai sót sớm, giảm thiểu rủi ro pháp lý. Giải thích minh bạch cũng nâng cao hiệu quả hoạt động bằng cách cung cấp thông tin phản hồi cho quá trình cải tiến mô hình. Ngoài ra, nó còn tăng cường sự tham gia của người dùng, từ đó cải thiện trải nghiệm khách hàng. Cuối cùng, giải thích AI giúp tổ chức xây dựng danh tiếng về trách nhiệm xã hội và tuân thủ đạo đức.

4.2. Hướng dẫn triển khai trong tổ chức

Để triển khai thành công, tổ chức cần xây dựng chính sách và quy trình rõ ràng về giải thích AI. Điều này bao gồm việc xác định vai trò trách nhiệm, đào tạo nhân viên và thiết lập cơ chế kiểm toán. Các tổ chức nên bắt đầu với các trường hợp sử dụng ưu tiên, tập trung vào lĩnh vực có tác động cao nhất. Đồng thời, cần thiết lập cơ chế phản hồi từ người dùng để cải tiến liên tục. Việc đo lường hiệu quả thông qua các chỉ số như tỷ lệ hài lòng người dùng và tuân thủ quy định là rất quan trọng.

Trích đoạn nội dung tài liệu

Project explAIn Explaining decisions made with AI Introduction 3 Part 1 The basics of explaining AI 4 Definitions 6 Legal framework 10 Benefits and risks 16 What goes into an explanation? 20 What are the contextual factors? 33 The principles to follow 38 Part 2: Explaining AI in practice 45 Summary of the tasks to undertake 47 Task 1: Select priority explanations by considering the domain, use case and impact on the individual50 Task 2: Collect and pre-process your data in an explanation-aware manner 55 Task 3: Build your system to ensure you are able to extract relevant information for a range of 61 explanation types Task 4: Translate the rationale of your system’s results into useable and easily understandable reasons74 Task 5: Prepare implementers to deploy your AI system 77 Task 6: Consider how to build and present your explanation 82 Part 3: What explaining AI means for your organisation 91 Organisational roles and functions for explaining AI 93 Policies and procedures 97 Documentation 102 Annexe 1: Example of building and presenting an explanation of a cancer diagnosis 110 Annexe 2: Algorithmic techniques 115 Annexe 3: Supplementary models 120 Annexe 4: Further reading 124 Annexe 5: Argument-based assurance cases 130 20 May 2020 - 1.16 2 Introduction This co-badged guidance by the ICO and The Alan Turing Institute aims to give organisations practical advice to help explain the processes, services and decisions delivered or assisted by AI, to the individuals affected by them. At a glance Increasingly, organisations are using artificial intelligence (AI) to support, or to make decisions about individuals. If this is something you do, or something you are thinking about, this guidance is for you. The guidance consists of three parts.

Depending on your level of expertise, and the make-up of your organisation, some parts may be more relevant to you than others. Part 1: The basics of Part 2: Explaining AI in Part 3: What explaining AI explaining AI practice means for your organisation Aimed at DPOs and Aimed at technical teams, compliance teams, part one part two helps you with the Aimed at senior defines the key concepts and practicalities of explaining management, part three outlines a number of different these decisions and providing goes into the various roles, types of explanations. It will explanations to individuals. policies, procedures and be relevant for all members This will primarily be helpful documentation that you can of staff involved in the for the technical teams in put in place to ensure your development of AI systems.

your organisation, however organisation is set up to your DPO and compliance provide meaningful team will also find it useful. explanations to affected individuals. This is primarily targeted at your organisation’s senior management team, however your DPO and compliance team will also find it useful.16 3 Part 1 The basics of explaining AI About this guidance What is the purpose of this guidance? This guidance is intended to help organisations explain decisions made by artificial intelligence systems (AI) to the people affected by them. This guidance is in three parts: Part 1 – The basics of explaining AI (this part) Part 2 – Explaining AI in practice Part 3 – What explaining AI means for your organisation This part of the guidance outlines the: definitions; legal requirements for explaining AI; benefits and risks of explaining AI; explanation types; contextual factors; and principles that underpin the rest of the guidance.

There are several reasons to explain AI, including complying with the law, and realising benefits for your organisation and wider society. It clarifies how to apply data protection provisions associated with explaining AI decisions, as well as highlighting other relevant legal regimes outside the ICO’s remit. This guidance is not a statutory code of practice under the Data Protection Act 2018 (DPA 2018). Instead, we aim to provide information that will help you comply with a range of legislation, and demonstrate ‘best practice’.

How should we use this guidance? This introductory section is for all audiences. It contains concepts and definitions that underpin the rest of the guidance. Data Protection Officers (DPOs) and your organisation’s compliance team will primarily find the legal framework section useful. Technical teams and senior management may also need some awareness of the legal framework, as well as the benefits and risks of explaining AI systems to the individuals affected by their use.

What is the status of this guidance? This guidance is issued in response to the commitment in the Government’s AI Sector Deal, but it is not a statutory code of practice under the DPA 2018, nor is it intended as comprehensive guidance on data protection compliance.16 4 This is practical guidance that sets out good practice for explaining decisions to individuals that have been made using AI systems processing personal data. Why is this guidance from the ICO and The Alan Turing Institute? The ICO is responsible for overseeing data protection in the UK, and The Alan Turing Institute (The Turing) is the UK’s national institute for data science and artificial intelligence. In October 2017, Professor Dame Wendy Hall and Jérôme Pesenti published their independent review on growing the AI industry in the UK. The second of the report’s recommendations to support uptake of AI was for the ICO and The Turing to:  “…develop a framework for explaining processes, services and decisions delivered by AI, to improve transparency and accountability.” In April 2018, the government published its AI Sector Deal.

The deal tasked the ICO and The Turing to:  “…work together to develop guidance to assist in explaining AI decisions.” The independent report and the Sector Deal are part of ongoing efforts made by national and international regulators and governments to address the wider implications of transparency and fairness in AI decisions impacting individuals, organisations, and wider society.16 5 Definitions At a glance Artificial Intelligence (AI) can be defined in many ways. However, within this guidance, we define it as an umbrella term for a range of algorithm-based technologies that solve complex tasks by carrying out functions that previously required human thinking. Decisions made using AI are either fully automated, or with a ‘human in the loop’. As with any other form of decision-making, those impacted by an AI supported decision should be able to hold someone accountable for it.

In more detail What is AI? What is an output or an AI-assisted decision? How is an AI-assisted decision different to one made only by a human? What is AI? AI is an umbrella term for a range of technologies and approaches that often attempt to mimic human thought to solve complex tasks. Things that humans have traditionally done by thinking and reasoning are increasingly being done by, or with the help of, AI. In healthcare AI can be used to spot early signs of illness and diagnose disease. In policing AI can be used to target interventions and identify potential offenders.

In marketing AI can be used to target products and services to consumers. While AI has existed for some time, recent advances in computing power, coupled with the increasing availability of vast swathes of data, mean that AI designers are able to build systems capable of undertaking these complex tasks. As information processing power has dramatically increased, it has become possible to expand the number of calculations AI models complete to effectively map a set of inputs into a set of outputs. This means that the correlations that AI models identify and use to produce classifications and predictions have also become more complex and less intrinsically understandable to human thinking.

It is therefore 20 May 2020 - 1.16 6 important to consider how and why these systems create the outputs they do. There are several ways to build AI systems. Each involves the creation of an algorithm that uses data to model some aspect of the world, and then applies this model to new data in order to make predictions about it. Historically, the creation of these models required incorporating considerable amounts of hand-coded expert input.

These ‘expert systems’ applied large numbers of rules, which were taken from domain specialists, to draw inferences from that knowledge base. Though they tended to become more accurate as more rules were added, these systems were expensive to scale, labour intensive, and required significant upkeep. They also often responded poorly to complex situations where the formal rules upon which they generated their inferences were not flexible enough. More recently data-driven, machine learning (ML) models have emerged as the dominant AI technology.

These kinds of models may be constructed using a few different learning approaches that build from the past information contained in collected data to identify patterns and hone classificatory and predictive performance. The three main ML approaches are supervised, unsupervised, and reinforcement learning: Supervised learning models are trained on a dataset which contains labelled data. ‘Learning’ occurs in these models when numerous examples are used to train an algorithm to map input variables (often called features) onto desired outputs (also called target variables or labels). On the basis of these examples, the ML model is able to identify patterns that link inputs to outputs.

ML models are then able to reproduce these patterns by employing the rules honed during training to transform new inputs received into classifications or predictions. Unsupervised learning models are trained on a dataset without explicit instructions or labelled data. These models identify patterns and structures by measuring the densities or similarities of data points in the dataset. Such algorithmic models can be used to: cluster data (grouping similar data together); detect anomalies (flagging inputs that are outliers compared to the rest of the dataset); and associate a data point with other attributes that are typically seen together.

Reinforcement learning models learn on the basis of their interactions with a virtual or real environment rather than existing data. Reinforcement learning ‘agents’ search for an optimal way to complete a task by taking a series of steps that maximise the probability of achieving that task. Depending on the steps they take, they are rewarded or punished. These ‘agents’ are encouraged to choose their steps to maximise their reward.

They ‘learn’ from past experiences, improve with multiple iterations of trial and error, and may have long-term strategies to maximise their reward overall rather than looking only at their next step. While this guidance is applicable to all three of these ML methods, it mainly focuses on supervised learning, the most widely used of the approaches. What is an AI output or an AI-assisted decision? The output of an AI model varies depending on what type of model is used and what its purpose is. Generally, there are three main types of outputs: • a prediction (eg you will not default on a loan); • a recommendation (eg you would like this news article); or • a classification (eg this email is spam).16 7 In some cases, an AI system can be fully automated when deployed, if its output and any action taken as a result (the decision) are implemented without any human involvement or oversight.

AI model Decision output In other cases, the outputs can be used as part of a wider process in which a human considers the output of the AI model, as well as other information available to them, and then acts (makes a decision) based on this. This is often referred to as having a ‘human in the loop'. AI model Other Human Decision output information consideration We use the term ‘AI decision’ broadly, incorporating all the above. So, an AI decision can be based on a prediction, a recommendation or a classification.

It can also refer to a solely automated process, or one in which a human is involved. Further reading For more information on what constitutes meaningful human involvement in an AI-assisted decision process, read our guidance on automated decision-making and profiling in the Guide to the GDPR, and advice on this topic in our draft AI auditing framework.