CHƯƠNG 1. TỔNG QUAN Chương 5: Kết quả và Nhận xét − Chương này trình bày đánh giá mô hình dựa trên các phương pháp ở chương 3, đánh giá hình ảnh x quang phổi trên gradcam và đưa lên hệ thống web đồng thời đưa ra các nhận xét cả về mô hình huấn luyện và hệ thống hiển thị trên web Chương 6: Kết luận và hướng phát triển − Chương này kết luận chung về những gì đã thực hiện được so với mục tiêu đề ra, những điểm còn hạn chế đồng thời cũng đưa ra hướng phát triển cho đề tài, những gì tiềm năng trong tương lai mà đề tài này có thể đạt được. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 4 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT CHƯƠNG 2.1 Các vấn đề và thách thức của bài toán phân loại đa nhãn Phân loại đa nhãn (Multilabel classification) là một dạng bài toán trong học máy yêu cầu mỗi mẫu (data instance) có thể phải gán nhiều nhãn (labels) cùng một lúc nếu có nhiều đối tượng cùng xuất hiện trong mẫu.
Đây là một sự khác biệt quan trọng so với phân loại đơn nhãn (single-label classification), bài toán yêu cầu mỗi mẫu dữ liệu chỉ được gán một nhãn duy nhất như thì bài toán phân loại nhị phân (Binary classification) và bài toán phân loại đa lớp (Multiclass classification) hình 2. Bào toán phân loại đa nhãn có tính phức tạp cao, mỗi mẫu có thể có nhiều nhãn làm cho không gian nhãn (Label Space) trở nên rất lớn và phức tạp, nó bao gồm tất cả các tập hợp con có thể có của n nhãn (2 𝑛 ). Đồng thời giữa các nhãn có thể sẽ có quan hệ phụ thuộc nhau, ví dụ như trong gán thẻ ảnh, nếu có nhãn “Xe”, khả năng cao có thể có nhãn “Đường” và nhãn “Người”. Ngoài ra, Một số nhãn có thể xuất hiện rất ít, gây khó khăn cho việc huấn luyện.
1 Khác biệt giữa các bài toán trong vấn đề phân loại 2.2 Non local neural Network và cơ chế attention Phép toán non-local được đề xuất với mục đích cải thiện tính toán trong các mạng neural sâu, mục đích là để mạng học sâu có thể học vấn đề nhiều vùng khác nhau, ở xa nhau lại tương tác với nhau để có thể tìm ra được các đặc trưng tương quan ở nhiều vùng khác nhau, những đặc trưng này gọi là đặc trưng non-local (non-local feature), CNN chỉ học ra các đặc trung local. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 5 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Hình 2. 2 Ví dụ về non-local Non-local hoạt động bằng cách tính toán một phép tổng trọng số của tất cả các vị trí trong dữ liệu hay nói cách khác mỗi điểm dữ liệu (ví dụ: pixel trong hình ảnh, từ trong câu) sẽ tính toán mối quan hệ với tất cả các điểm dữ liệu khác.
Mối quan hệ này thường được biểu diễn dưới dạng một hàm tương đồng (ở đây là Gaussian). Sau khi tính toán được mối quan hệ (trọng số) giữa các điểm dữ liệu, non-local operations sẽ tổng hợp thông tin từ tất cả các điểm dữ liệu đó để tính toán giá trị đầu ra tại mỗi vị trí. Phép tổng trọng số được thực hiện bằng cách nhân các trọng số tương đồng với các đặc trưng đầu vào tại mỗi vị trí và sau đó tổng hợp lại.3 Minh họa cách thức hoạt động của phép toán non-local trong mạng neural Hình 2. 3 Khối Non-local Hình 2.3 là một khối non-local không gian-thời gian.
Các bản đồ đặc trưng (feature maps) được hiển thị dưới dạng hình dạng của các tensor, ví dụ: T×H×W×1024 cho 1024 kênh (việc định hình lại phù hợp được thực hiện khi được đề cập). Các phép tích chập 1×1×1 được sử dụng để tạo các vector query θ key ϕ, và giá trị g. “⊗” biểu thị phép nhân ma trận để tính toán dot-product giữa query và key, tạo ra các attention scores. và “⊕” biểu thị tổng phần tử, tổng trọng số của các giá trị g được BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 6 CHƯƠNG 2.
CƠ SỞ LÝ THUYẾT tính toán và thêm vào bản đồ đặc trưng đầu vào để tạo ra đầu ra cuối cùng. Phép toán softmax được thực hiện trên mỗi hàng của ma trận kết quả, để chuẩn hóa các giá trị và tạo ra các xác suất. Các hộp màu xanh biểu thị các phép tích chập 1×1×1, được sử dụng để giảm số lượng kênh mà không làm mất đi nhiều thông tin. Điều này giúp giảm số lượng tính toán và tạo ra các phiên bản nhúng của dữ liệu đầu vào.
T là số khung thời gian, W là hiều rộng, H là chiều cao. Các bước tiến hành như sau: − Tạo các vector: Mỗi đầu vào X được biến đổi thành các vector Qery, Key, G − Tính toán điểm số tương tự (similarity scores) giữa các cặp vị trí được tính bằng cách nhân ma trận θ với ma trận ϕ và áp dụng hàm softmax − Tính toán trọng số tổng hợp bằng cách nhân điểm số tương tự với ma trận G − Tổng hợp thông tin và tạo đầu ra: Giá trị đầu ra được tính bằng cách cộng giá trị đầu với kết quả tổng hợp (theo cơ chế residual connection) Song song với đó, Cơ chế attention tổng quát là một kỹ thuật cho phép mô hình học sâu tập trung vào các phần quan trọng của đầu vào khi thực hiện các tác vụ như dịch máy, tóm tắt văn bản, đặc biệt là self-attention trong các mô hình như Transformer, hoạt động dựa trên việc tính toán trọng số giữa các thành phần khác nhau của đầu vào, sau đó sử dụng trọng số này để tổng hợp thông tin. Cụ thể, trong self-attention, mỗi từ trong câu sẽ "tự chú ý" đến các từ khác trong câu đó bằng cách tính toán trọng số cho từng cặp từ. Self-attention trong mô hình Transformer hoạt động theo các bước sau: − Mỗi đầu vào X được biến đổi thành các vector Query (Q), Key (K), và Value (V) thông qua các phép biến đổi tuyến tính.
− Tính toán điểm số tương tự (similarity scores): Điểm số tương tự giữa các cặp từ được tính bằng cách nhân ma trận query với ma trận key và chia cho căn bậc hai của kích thước chiều của key − Áp dụng hàm softmax: Điểm số được chuẩn hóa bằng hàm softmax để tạo ra các trọng số attention. − Tổng hợp thông tin: Trọng số attention sau đó được sử dụng để tổng hợp các giá trị (V). Sau khi non-local neural network được giới thiệu, ý tưởng này được nhận ra là rất giống với cơ chế self-attention: − Cả hai kỹ thuật đều sử dụng các phép tính trọng số dựa trên sự tương đồng giữa các điểm dữ liệu để xác định ảnh hưởng của chúng đối với nhau. − Cả hai đều tìm cách tổng hợp thông tin từ toàn bộ đầu vào để cải thiện khả năng nắm bắt các mối quan hệ dài hạn.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 7 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Sau khi non-local neural network được giới thiệu, ý tưởng này được nhận ra là rất giống với cơ chế attention. Điều này dẫn đến việc áp dụng, phát triển cơ chế attention trong các mô hình thị giác máy tính. 4 Cấu trúc của một lớp self-attention Cấu trúc của một lớp self-attention: − Hai thành phần chính: • Bản đồ đặc trưng từ lớp tích chập trước đó: Thành phần này giúp nắm bắt thông tin cục bộ, tương tự như cách các lớp tích chập truyền thống hoạt động.
• Bản đồ self-attention: Thành phần này cung cấp thông tin non-local, tức là thông tin từ các vị trí khác nhau trong không gian hoặc thời gian, không chỉ giới hạn ở vùng lân cận trực tiếp. − Tham số tỷ lệ α: Tham số này điều chỉnh sự cân bằng giữa đóng góp của thông tin cục bộ (từ lớp tích chập) và thông tin non-local (từ self-attention). Việc điều chỉnh này rất quan trọng để đảm bảo rằng cả hai loại thông tin đều được kết hợp một cách hợp lý trong quá trình tính toán phản hồi cuối cùng. − Các hàm s và h: • Hàm s: Tính toán một giá trị vô hướng (scalar) biểu thị mức độ liên quan giữa cường độ tín hiệu tại vị trí hiện tại i và tại bất kỳ vị trí j nào.
Điều này giúp xác định mức độ ảnh hưởng của các vị trí khác nhau lên vị trí hiện tại. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 8 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT • Hàm h: Tính toán một biểu diễn của tín hiệu đầu vào tại bất kỳ vị trí j nào. Biểu diễn này sau đó được sử dụng để xây dựng phản hồi cuối cùng, kết hợp thông tin từ nhiều vị trí khác nhau.
Như vậy, lớp self-attention không chỉ dựa vào thông tin từ vùng lân cận trực tiếp (cục bộ) mà còn tích hợp thông tin từ các vị trí xa hơn (non-local), giúp cải thiện khả năng nắm bắt các mối quan hệ phức tạp trong dữ liệu.3 Module VIB Mục đích chính của module VIB (Variational Information Bottleneck)-nút cổ chai thông tin là cải thiện hiệu suất của mạng neural bằng cách tối ưu hóa quá trình trích xuất và lựa chọn các đặc trưng quan trọng từ dữ liệu đầu vào, như ảnh X-quang ngực. Module VIB hoạt động dựa trên nguyên lý cân bằng giữa hai mục tiêu: − Giữ lại thông tin quan trọng: Bảo đảm rằng các đặc trưng được giữ lại có đủ thông tin để phân loại chính xác. − Giảm thiểu thông tin không cần thiết: Loại bỏ các đặc trưng không liên quan hoặc nhiễu để tránh làm mô hình trở nên phức tạp và dễ bị quá khớp (overfitting). 5 Mô hình sử dụng nút cổ chai thông tin Hình 2.5 mô tả quy trình học của mô hình sử dụng VIB, bao gồm việc truyền dữ liệu từ ảnh đầu vào qua các lớp mạng neural, qua module VIB và cuối cùng là các lớp fully connected (FC) hoặc softmax để dự đoán và phân loại bệnh.
VIB được áp dụng sau khi các đặc trưng được trích xuất từ ảnh để nén và tối ưu hóa các thông tin quan trọng. Module này giúp giảm thiểu thông tin không cần thiết và giữ lại các đặc trưng quan trọng cho quá trình phân loại bệnh. Các khối trong VIB Module: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP - Y SINH 9 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT − Reconstruction Block (Khối tái tạo): Đảm bảo rằng thông tin cần thiết cho việc phân loại được giữ lại.
Các đặc trưng từ lớp gộp được sử dụng để tái tạo lại hình ảnh ban đầu, giúp đảm bảo rằng mô hình học được các đặc trưng quan trọng. − Information Bottleneck Block (Khối hạn chế thông tin): Là phần chính của mô-đun VIB. Nó giúp giảm thiểu độ phức tạp của đặc trưng và chỉ giữ lại những thông tin quan trọng nhất để phân loại bệnh.