Báo cáo đồ án phân loại tổn thương da bằng mạng CNN - Đại học Công nghiệp Hà Nội 2023

Phân loại tổn thương da là một lĩnh vực quan trọng trong y học, đặc biệt trong việc phát hiện sớm các… 69 trang · Trường Đại Học Công Nghiệp Hà Nội · 2023.

• Tác giả: Nguyễn Tuấn Anh
• Người hướng dẫn: ThS. Ngô Thị Thanh Hòa
• Trường học: Trường Đại Học Công Nghiệp Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Loại Tổn Thương Da Bằng Mạng Nơ-Ron Tích Chập (CNN)
• Loại tài liệu: Đồ Án Chuyên Ngành
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI VÀ CƠ SỞ LÝ THUYẾT
• 1.1. Giới thiệu về lý do chọn đề tài
• 1.2. Tổng quan về trí tuệ nhân tạo (Artificial intelligence)
• 1.3. Tổng quan về ảnh và một số kỹ thuật xử lý ảnh
• 1.3.1. Tổng quan về ảnh
• 1.3.1.1. Một số khái niệm cơ bản
• 1.3.1.2. Một số dạng ảnh
• 1.3.2. Một số kỹ thuật xử lý ảnh
• 1.3.2.1. Nhị phân hóa ảnh
• 1.4. Trích chọn và biểu diễn đặc trưng hình ảnh
• 1.4.1. Đặc trưng ảnh
• 1.4.1.1. Đặc trưng màu sắc
• 1.4.1.2. Đặc trưng kết cấu
• 1.4.1.3. Đặc trưng hình dạng
• 1.4.2. Một số phương pháp trích chọn đặc trưng đơn giản
• 1.4.2.1. Trích chọn đặc trưng ảnh dựa trên màu sắc
• 1.4.2.2. Trích chọn đặc trưng ảnh dựa trên kết cấu
• 1.4.2.3. Trích chọn đặc trưng ảnh dựa trên hình dạng
• 1.5. Các kỹ thuật học máy
• 1.5.1. Tổng quan về học máy
• 1.5.2. Mạng neural nhân tạo
• 1.5.3. Mạng neural sâu
• 2. CHƯƠNG 2: KỸ THUẬT HỌC SÂU CNN TRONG CHẨN ĐOÁN BỆNH
• 2.1. Giới thiệu về bộ dữ liệu
• 2.2. Mạng neural học sâu sử dụng trong nhận dạng
• 2.2.1. Giới thiệu về mô hình CNN
• 2.2.2. Cấu trúc mô hình CNN
• 2.2.2.1. Lớp tích chập
• 2.2.2.2. Hàm kích hoạt ReLU
• 2.2.2.3. Lớp Fully Connected
• 2.3. Môi trường thực nghiệm và cài đặt các thư viện
• 2.3.1. Giới thiệu về môi trường colab
• 2.3.2. Các thư viện được sử dụng
• 3. CHƯƠNG 3: THỰC NGHIỆM, KẾT QUẢ NGHIÊN CỨU
• 3.1. Làm sạch dữ liệu
• 3.2. Phân tích dữ liệu
• 3.2.1. Trực quan hóa sự phân bố của 7 loại tổn thương da khác nhau
• 3.2.2. Trực quan hóa sự phân bổ của 4 loại xác thực kỹ thuật khác nhau (dx_type)
• 3.2.3. Trực quan hóa sự phân bố của những vị trí tổn thương da khác nhau (localization)
• 3.2.4. Trực quan hóa sự phân bố tuổi (age)
• 3.2.5. Trực quan hóa sự phân bố giới tính (sex)
• 3.3. Thay đổi kích thước hình ảnh
• 3.4. Một vài mẫu theo từng loại tổn thương da
• 3.5. Mã hóa one–hot Encoding
• 3.6. Tách Features và Target
• 3.7. Target One-Hot Encoding
• 3.8. Tạo các lớp và định nghĩa các hàm
• 3.8.1. Tạo lớp ‘TimeHistory(Callback)’ để theo dõi quá trình training của model
• 3.8.2. Hàm tính RMSE
• 3.8.3. Hàm tính toán độ chính xác, mất mát của tập dữ liệu training, validation
• 3.8.4. Hàm tính toán độ chính xác, mất mát của tập dữ liệu testing
• 3.8.5. Hàm tính toán lớp thực tế và lớp dự đoán
• 3.8.6. Hàm trả về báo cáo các lớp phân loại
• 3.9. Huấn luyện mô hình và so sánh kết quả giữa các thuật toán
• 3.9.1. Huấn luyện mô hình
• 3.9.2. So sánh kết quả giữa các mô hình
• 3.9.3. Một số kết quả trên tập data test
• 3.10. Kiến trúc mạng và tham số thực hiện
• 4. CHƯƠNG 4: KIỂM THỬ CHƯƠNG TRÌNH
• 4.1. Khái niệm về kiểm thử
• 4.2. Các loại kiểm thử và mức độ kiểm thử
• 4.2.1. Các loại kiểm thử
• 4.2.2. Mức độ kiểm thử
• 4.3. Phương pháp kiểm thử thực hiện
• 4.4. Thực hiện kiểm thử
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phân loại tổn thương da bằng CNN

Phân loại tổn thương da là một lĩnh vực quan trọng trong y học, đặc biệt trong việc phát hiện sớm các bệnh lý như ung thư da. Mạng nơ-ron tích chập (CNN) đã trở thành một công cụ mạnh mẽ trong việc phân tích hình ảnh y tế. CNN có khả năng tự động học và trích xuất các đặc trưng từ hình ảnh, giúp cải thiện độ chính xác trong chẩn đoán. Việc áp dụng CNN trong phân loại tổn thương da không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả điều trị.

1.1. Ứng dụng của CNN trong phân loại tổn thương da

CNN được sử dụng để phân loại các loại tổn thương da khác nhau, từ nốt ruồi đến các khối u ác tính. Việc áp dụng CNN giúp nhận diện các đặc trưng phức tạp mà mắt thường khó phát hiện.

1.2. Lợi ích của việc sử dụng CNN trong y tế

Việc sử dụng CNN trong phân loại tổn thương da mang lại nhiều lợi ích, bao gồm độ chính xác cao hơn, giảm thiểu sai sót của con người và khả năng xử lý lượng lớn dữ liệu hình ảnh nhanh chóng.

II. Thách thức trong phân loại tổn thương da bằng CNN

Mặc dù CNN có nhiều ưu điểm, nhưng vẫn tồn tại một số thách thức trong việc phân loại tổn thương da. Một trong những vấn đề chính là sự đa dạng về hình dạng và màu sắc của các tổn thương. Điều này có thể dẫn đến việc CNN gặp khó khăn trong việc phân loại chính xác. Ngoài ra, việc thu thập và gán nhãn dữ liệu cũng là một thách thức lớn.

2.1. Độ phức tạp của hình ảnh tổn thương da

Các tổn thương da có thể có hình dạng và màu sắc rất đa dạng, điều này làm cho việc phân loại trở nên khó khăn hơn. CNN cần được huấn luyện trên một tập dữ liệu phong phú để đạt được độ chính xác cao.

2.2. Vấn đề về dữ liệu không đồng nhất

Dữ liệu hình ảnh không đồng nhất có thể gây khó khăn cho CNN trong việc học và nhận diện các đặc trưng quan trọng. Việc chuẩn bị dữ liệu chất lượng cao là rất cần thiết.

III. Phương pháp phân loại tổn thương da bằng CNN hiệu quả

Để phân loại tổn thương da một cách hiệu quả, cần áp dụng các phương pháp học sâu với mạng nơ-ron tích chập. Các bước chính bao gồm chuẩn bị dữ liệu, tiền xử lý hình ảnh và xây dựng mô hình CNN. Việc tối ưu hóa các tham số của mô hình cũng rất quan trọng để đạt được kết quả tốt nhất.

3.1. Chuẩn bị dữ liệu cho mô hình CNN

Chuẩn bị dữ liệu bao gồm việc thu thập hình ảnh tổn thương da và gán nhãn chính xác. Dữ liệu cần được phân chia thành các tập huấn luyện, kiểm tra và xác thực.

3.2. Tiền xử lý hình ảnh trước khi huấn luyện

Tiền xử lý hình ảnh bao gồm các bước như thay đổi kích thước, chuẩn hóa và tăng cường dữ liệu. Những bước này giúp cải thiện khả năng học của mô hình CNN.

3.3. Tối ưu hóa mô hình CNN

Tối ưu hóa mô hình bao gồm việc điều chỉnh các tham số như số lượng lớp, kích thước kernel và hàm kích hoạt. Việc này giúp nâng cao hiệu suất phân loại của mô hình.

IV. Kết quả nghiên cứu về phân loại tổn thương da bằng CNN

Nghiên cứu cho thấy rằng việc áp dụng CNN trong phân loại tổn thương da mang lại kết quả khả quan. Mô hình CNN đã đạt được độ chính xác cao trong việc phân loại các loại tổn thương khác nhau. Kết quả này cho thấy tiềm năng lớn của CNN trong lĩnh vực y tế.

4.1. Đánh giá hiệu suất mô hình CNN

Hiệu suất của mô hình CNN được đánh giá thông qua các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu. Các chỉ số này cho thấy khả năng phân loại chính xác của mô hình.

4.2. So sánh với các phương pháp khác

Kết quả phân loại của mô hình CNN được so sánh với các phương pháp truyền thống khác. CNN cho thấy ưu thế vượt trội về độ chính xác và tốc độ xử lý.

V. Kết luận và triển vọng tương lai của phân loại tổn thương da bằng CNN

Phân loại tổn thương da bằng mạng nơ-ron tích chập (CNN) đã chứng minh được hiệu quả và tiềm năng trong việc cải thiện chẩn đoán y tế. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ hơn nữa với sự phát triển của công nghệ học sâu và trí tuệ nhân tạo.

5.1. Hướng phát triển tiếp theo trong nghiên cứu

Nghiên cứu trong tương lai có thể tập trung vào việc cải thiện độ chính xác của mô hình và mở rộng khả năng phân loại cho nhiều loại tổn thương khác nhau.

5.2. Ứng dụng thực tiễn của CNN trong y tế

Việc ứng dụng CNN trong các hệ thống y tế thông minh có thể giúp nâng cao chất lượng chăm sóc sức khỏe và giảm tải cho các chuyên gia y tế.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Ung thư da và các bệnh lý tổn thương sắc tố da là những vấn đề y tế phức tạp và nghiêm trọng trên toàn cầu, gây ảnh hưởng trực tiếp đến sức khỏe cùng chất lượng cuộc sống của con người. Việc phát hiện, chẩn đoán sớm các dạng tổn thương da đóng vai trò then chốt trong việc gia tăng tỷ lệ sống sót cũng như nâng cao hiệu quả điều trị y khoa. Trên thực tế, việc chẩn đoán tổn thương da thông thường dựa trên quá trình thăm khám lâm sàng, phân tích hình ảnh biểu hiện bề mặt như màu sắc, kích thước, hình dạng nốt ruồi hay khối u, vốn phụ thuộc nhiều vào kinh nghiệm chủ quan của bác sĩ chuyên khoa và kỹ thuật viên y tế.

Trước sự phát triển của trí tuệ nhân tạo và thị giác máy tính, việc ứng dụng các thuật toán học sâu, tiêu biểu là mạng nơ-ron tích chập (Convolutional Neural Network - CNN), mang lại giải pháp tự động hóa quá trình trích xuất đặc trưng không gian phức tạp từ dữ liệu hình ảnh da liễu.

Đề tài "Phân loại tổn thương da bằng mạng nơ-ron tích chập (CNN)" do nhóm sinh viên Khoa Công nghệ Thông tin - Trường Đại học Công nghiệp Hà Nội thực hiện nhằm giải quyết các mục tiêu và nhiệm vụ cụ thể:

1. Nghiên cứu tổng quan lý thuyết về xử lý ảnh số, các phương pháp trích chọn đặc trưng truyền thống và các kỹ thuật học máy, học sâu.
2. Tìm hiểu cấu trúc, nguyên lý hoạt động của mạng nơ-ron tích chập và vai trò của các tầng chức năng trong việc nhận dạng mẫu y tế.
3. Thu thập, làm sạch, tiền xử lý và phân tích thống kê bộ dữ liệu hình ảnh soi da chuẩn quốc tế.
4. Thiết kế, xây dựng và huấn luyện mô hình phân loại đa lớp dựa trên kiến trúc CNN; đánh giá hiệu năng mô hình qua các độ đo thống kê chuyên dụng.
5. Tiến hành kiểm thử chương trình để đánh giá tính ổn định, độ tin cậy và khả năng dự đoán thực tế.

• Đối tượng nghiên cứu: Các thuật toán xử lý ảnh, kiến trúc mạng nơ-ron tích chập (CNN) và tập dữ liệu hình ảnh soi da đa lớp.
• Phạm vi nghiên cứu: 7 loại tổn thương da sắc tố trong bộ dữ liệu chuẩn HAM10000; môi trường thực nghiệm điện toán đám mây Google Colab trong khuôn khổ đồ án chuyên ngành năm 2023.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết xử lý ảnh số và trí tuệ nhân tạo:

• Xử lý ảnh số: Khái niệm điểm ảnh (pixel), mức xám trong khoảng $[0, 255]$, độ phân giải không gian, các định dạng ảnh (ảnh màu RGB, ảnh đa mức xám, ảnh nhị phân). Kỹ thuật lược đồ độ sáng (Histogram) và công thức nhị phân hóa ảnh theo ngưỡng $T$: $$\text{greycolor} = r \times 0.114$$ $$g(x, y) = \begin{cases} 1 & \text{nếu } f(x, y) > T \ 0 & \text{nếu } f(x, y) \le T \end{cases}$$
• Trích chọn đặc trưng truyền thống: Phân tích đặc trưng màu sắc (Histogram màu, Vector liên kết màu - CCV), đặc trưng kết cấu (Ma trận đồng hiện - Co-occurrence Matrix, biến đổi Wavelet với hàm cơ sở $\psi(x) = 2^{-1/2} \psi(2^{-m}x - n)$, bộ lọc Gabor), và đặc trưng hình dạng (Lược đồ hệ số góc, Vector liên kết hệ số góc).
• Học máy và học sâu: Lý thuyết học có giám sát (Supervised Learning), mô hình Hồi quy tuyến tính (Linear Regression), Hồi quy Logistic (Logistic Regression) với hàm Logit: $$\text{Logit}(p_i) = \frac{1}{1 + \exp(-p_i)}$$ Mạng nơ-ron nhân tạo (Multilayer Perceptron - MLP) gồm tầng đầu vào (Input layer), tầng ẩn (Hidden layer), tầng đầu ra (Output layer) và mạng nơ-ron sâu (Deep Neural Network - DNN).
• Mạng nơ-ron tích chập (CNN): Sử dụng các lớp tích chập (Convolutional layer) kết hợp hàm kích hoạt phi tuyến ReLU ($f(x) = \max(0, x)$), lớp lấy mẫu cực đại (Max Pooling) để giảm chiều không gian và hạn chế quá khớp (overfitting), cùng lớp kết nối đầy đủ (Fully Connected layer) với hàm kích hoạt Softmax để phân lớp đa nhãn.

Phương pháp nghiên cứu và nguồn dữ liệu

• Phương pháp thực nghiệm: Xây dựng quy trình xử lý dữ liệu và huấn luyện mô hình đầu-cuối (end-to-end) bằng ngôn ngữ Python trên nền tảng Google Colab kết hợp thư viện Keras/TensorFlow.
• Phương pháp phân tích - thống kê: Sử dụng các chỉ số sai số hồi quy và độ đo phân loại ma trận nhầm lẫn (Confusion Matrix) để đánh giá.
• Nguồn dữ liệu: Bộ dữ liệu chuẩn "The HAM10000 dataset" thu thập từ nền tảng Kaggle, gồm 10.015 bản ghi hình ảnh soi da được lưu trữ trong 2 thư mục (HAM10000_images_part_1, HAM10000_images_part_2) và một tệp thông tin nhãn đi kèm HAM10000_metadata.csv.

Tên biến trong bộ dữ liệu	Ý nghĩa dữ liệu
lesion_id	Mã định danh duy nhất của vùng tổn thương da
image_id	Mã định danh của từng tệp hình ảnh
dx	Tên loại tổn thương da (nhãn mục tiêu phân loại)
dx_type	Phương pháp xác nhận kỹ thuật/chẩn đoán
age	Độ tuổi của bệnh nhân
sex	Giới tính của bệnh nhân
localization	Vị trí xuất hiện tổn thương trên cơ thể

---

Thiết kế và triển khai

Hệ thống phân loại tổn thương da được thiết kế theo quy trình tuần tự từ tiền xử lý dữ liệu, xây dựng kiến trúc mạng nơ-ron, huấn luyện và đánh giá:

[Dữ liệu thô HAM10000] 

Công nghệ và môi trường thực nghiệm

• Môi trường thực thi: Google Colaboratory (hỗ trợ phần cứng GPU/TPU, kết nối lưu trữ dữ liệu qua Google Drive và quản lý mã nguồn GitHub).
• Ngôn ngữ và thư viện: Python kết hợp các thư viện xử lý mảng và bảng dữ liệu (Numpy, Pandas), đồ họa thống kê (Matplotlib.pyplot, Seaborn), quản trị hệ thống (os, itertools, math, scipy.io), và framework học sâu (Keras/TensorFlow).

Tiền xử lý dữ liệu

1. Lọc dữ liệu trùng lặp: Dữ liệu gốc chứa nhiều ảnh chụp cùng một tổn thương ở các góc độ và tỷ lệ thu phóng khác nhau. Sử dụng phương thức skin_df.drop_duplicates(subset=['lesion_id']), số lượng mẫu duy nhất thu được là 7.470 bản ghi.
2. Xử lý giá trị khuyết thiếu: Kiểm tra bằng skin_df.isnull().sum() phát hiện cột age có 52 giá trị null. Nhóm thực hiện gán các giá trị này bằng giá trị trung bình của độ tuổi thông qua hàm skin_df['age'].fillna(skin_df['age'].mean(), inplace=True).
3. Giảm kích thước ảnh: Kích thước gốc của ảnh lớn làm chậm tốc độ huấn luyện. Nhóm thực hiện giảm chiều rộng và chiều cao theo hệ số $0.25$ (nhỏ hơn 4 lần so với ban đầu) bằng hàm xử lý mảng np.resize và lưu vào cột image.
4. Mã hóa nhãn mục tiêu: Tách tập dữ liệu thành features (các biến độc lập) và target (biến mục tiêu cell_type_idx). Sử dụng hàm to_categorical(target, num_classes=num_classes) trong keras.utils để biến đổi nhãn dạng số sang vector One-Hot.

Tham số huấn luyện và cấu hình tối ưu

Quá trình huấn luyện mô hình được thiết lập với các tham số cụ thể:

• batch_size: 10
• epochs: 50
• steps_per_epoch: Xác định bằng công thức $\text{len}(x_train_normalized) / 10$
• Tăng cường dữ liệu (Data Augmentation) qua phương thức augmented_data.flow() nhằm mở rộng tập mẫu huấn luyện.
• Cơ chế cân bằng trọng số lớp class_weight được áp dụng nhằm giảm thiểu ảnh hưởng của hiện tượng mất cân bằng dữ liệu giữa các lớp bệnh.
• Các hàm Callback hỗ trợ: TimeHistory (tự định nghĩa để ghi nhận thời gian thực thi từng epoch), reduce_lr (tự động điều chỉnh tốc độ học khi hàm mất mát không cải thiện), và CSVLogger (ghi vết tiến trình huấn luyện vào tệp tin trên Google Drive).

---

Nội dung chính theo từng chương

Chương I. Tổng quan về đề tài và cơ sở lý thuyết

Chương này tập trung trình bày tính cấp thiết của bài toán phát hiện sớm ung thư da và tiềm năng ứng dụng của mô hình mạng nơ-ron tích chập trong y tế thông minh. Tác giả khái quát lịch sử phát triển của trí tuệ nhân tạo từ mô hình nơ-ron năm 1943 của Warren McCulloch và Walter Pitts đến các hệ chuyên gia thập niên 1980.

Chương 1 đi sâu vào các khái niệm nền tảng của xử lý ảnh số: biểu diễn ma trận điểm ảnh, thang mức xám, không gian màu (RGB, Munsell, CIE, HSV), lược đồ Histogram và giải thuật nhị phân hóa ảnh theo ngưỡng. Tác giả phân tích các phương pháp trích chọn đặc trưng ảnh cổ điển theo ba nhóm: màu sắc (Histogram, Color Coherence Vector), kết cấu (Co-occurrence Matrix, biến đổi Wavelet đa phân giải, bộ lọc Gabor) và hình dạng (Lược đồ hệ số góc, Vector liên kết hệ số góc, trích chọn vùng). Cuối chương giới thiệu tổng quan các nhánh học máy (học có giám sát, học không có giám sát, học tăng cường), mô hình hồi quy tuyến tính, hồi quy logistic và cấu trúc mạng nơ-ron nhân tạo đa tầng (MLP, DNN).

Chương 2. Kỹ thuật học sâu CNN trong chẩn đoán bệnh

Chương 2 mô tả chi tiết nguồn dữ liệu và cơ sở kiến trúc của mạng nơ-ron tích chập áp dụng trong bài toán nhận dạng tổn thương da. Dữ liệu sử dụng là bộ dữ liệu HAM10000 gồm 10.015 ảnh soi da thuộc 7 nhóm bệnh:

1. Melanocytic nevi (nv - Nốt ruồi hắc tố)
2. Melanoma (mel - Ung thư hắc tố da)
3. Benign keratosis-like lesions (bkl - Dày sừng tổn thương lành tính)
4. Basal cell carcinoma (bcc - Ung thư biểu mô tế bào đáy)
5. Actinic keratoses (akiec - Bệnh dày sừng ánh sáng / quang hóa)
6. Vascular lesions (vasc - Tổn thương mạch máu bẩm sinh)
7. Dermatofibroma (df - U sợi bì)

Tác giả giải thích chi tiết cấu trúc giải thuật CNN gồm:

• Lớp tích chập (Convolutional layer): Thực hiện tích chập dữ liệu ma trận ảnh với các bộ lọc không gian để tạo ra các bản đồ đặc trưng (Feature maps).
• Lớp kích hoạt ReLU: Chuyển đổi phi tuyến và loại bỏ các giá trị âm ($f(x) = \max(0, x)$) giúp mạng học nhanh và giảm thiểu sai số.
• Lớp Pooling (Max Pooling, Average Pooling): Giảm kích thước không gian bản đồ đặc trưng, kiểm soát hiện tượng quá khớp (overfitting).
• Lớp Fully Connected: Làm phẳng dữ liệu và kết nối toàn bộ nơ-ron tới tầng đầu ra Softmax để xuất xác suất phân loại đa lớp. Chương này cũng giới thiệu chi tiết môi trường thực nghiệm Google Colab và các thư viện nền tảng (Numpy, Pandas, Matplotlib, Seaborn, OS, Itertools, Keras).

Chương 3. Thực nghiệm, kết quả nghiên cứu

Chương 3 trình bày toàn bộ quy trình thực nghiệm từ làm sạch dữ liệu, trực quan hóa thống kê, xây dựng hàm đánh giá đến kết quả huấn luyện mô hình.

• Phân tích dữ liệu: Biểu đồ phân bố cho thấy sự mất cân bằng lớp nghiêm trọng trong tập dữ liệu, trong đó số lượng mẫu thuộc nhóm Melanocytic nevi chiếm tỷ trọng áp đảo. Phân bố kỹ thuật xác nhận chẩn đoán (dx_type) tập trung chủ yếu vào phương pháp mô bệnh học (histo) và theo dõi lâm sàng (follow-up). Phân bố vị trí giải phẫu (localization) ghi nhận các vùng lưng, chi dưới và thân mình là những vị trí tổn thương phổ biến nhất. Độ tuổi bệnh nhân tập trung nhiều nhất từ 35 đến 70 tuổi; phân bố giới tính cho thấy tỷ lệ giữa nam và nữ tương đối cân bằng.
• Xây dựng hàm đo lường hiệu năng: Nhóm tác giả định nghĩa và cài đặt các hàm đo lường gồm Root Mean Squared Error (RMSE), Mean Squared Error (MSE), Mean Absolute Percentage Error (MAPE), hàm tính độ chính xác/hàm mất mát (train_val_accuracy, test_accuracy), hàm trích xuất ma trận nhầm lẫn (cal_true_pred_classes) và hàm xuất báo cáo phân loại chi tiết (gen_classification_report).
• Kết quả huấn luyện và đánh giá: Mô hình đạt độ chính xác tương đồng trên cả tập dữ liệu huấn luyện, tập xác thực và tập kiểm thử độc lập.

Chương 4. Kiểm thử chương trình

Chương 4 tập trung vào nội dung đảm bảo chất lượng và đánh giá độ tin cậy của chương trình phần mềm. Tác giả trình bày các khái niệm cơ bản về kiểm thử, phân loại các hình thức kiểm thử, các mức độ kiểm thử phần mềm (kiểm thử đơn vị, kiểm thử tích hợp, kiểm thử hệ thống) và quy trình kiểm thử mô hình thực nghiệm phân loại tổn thương da. Kết quả kiểm thử khẳng định chương trình vận hành chính xác theo các kịch bản thực thi và xử lý dữ liệu đầu vào.

---

Kết quả và đóng góp

Kết quả định lượng

Mô hình CNN được đánh giá thông qua các chỉ số đo lường trên các tập dữ liệu:

Tập dữ liệu	Độ chính xác (Accuracy)	Giá trị hàm mất mát (Loss)
Tập huấn luyện (Training Set)	$\approx 78.2%$	$0.6547$
Tập xác thực (Validation Set)	$\approx 78.2%$	$0.6547$
Tập kiểm thử (Testing Set)	$\approx 78.05%$	$0.6547$

• Phân tích ma trận nhầm lẫn (Confusion Matrix): Nhãn có số lượng mẫu dự đoán chính xác cao nhất là nv (Melanocytic nevi) với 1.055 mẫu được phân loại đúng. Nhãn ghi nhận sự sai lệch nhiều nhất trong quá trình dự đoán của mô hình là bkl (Benign keratosis-like lesions) với 108 trường hợp nhầm lẫn.
• Hệ thống chỉ số báo cáo phân loại: Chương trình tính toán chi tiết các chỉ số Precision (độ chuẩn xác), Recall (độ thu hồi), F1-Score, Support, Macro Average và Weighted Average cho từng nhóm bệnh lý tổn thương da.

Đóng góp của đề tài

1. Đã chuẩn hóa thành công quy trình xử lý dữ liệu ảnh soi da từ bộ dữ liệu HAM10000: xử lý triệt để 52 giá trị thiếu của trường age, loại bỏ hình ảnh trùng lặp giảm xuống 7.470 mẫu tổn thương duy nhất, và tối ưu hóa kích thước ảnh giúp tăng tốc độ tính toán.
2. Xây dựng hoàn chỉnh mô hình học sâu CNN tích hợp các kỹ thuật điều chỉnh thích nghi (Data Augmentation, Class Weights, ReduceLROnPlateau, Custom TimeHistory Callback), đạt hiệu năng ổn định quanh mức 78% trên dữ liệu kiểm thử thực tế.
3. Cung cấp báo cáo phân tích toàn diện về các yếu tố dịch tễ học trong bộ dữ liệu (độ tuổi, giới tính, vị trí tổn thương, phương thức chẩn đoán).

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

• Hiện tượng mất cân bằng lớp: Tập dữ liệu HAM10000 có sự phân bổ không đồng đều giữa 7 loại tổn thương; số lượng ảnh nhãn nv chiếm ưu thế vượt trội so với các loại bệnh hiếm như df hay vasc, dẫn đến độ nhạy của mô hình đối với một số lớp thiểu số còn hạn chế (nhãn bkl bị dự đoán nhầm 108 mẫu).
• Giảm độ phân giải ảnh: Việc nén kích thước ảnh xuống 4 lần (hệ số 0.25) giúp tối ưu hóa thời gian và tài nguyên tính toán nhưng có thể làm suy giảm một số chi tiết cấu trúc vi mô của tổn thương sắc tố.
• Phạm vi thực nghiệm: Mô hình mới được thử nghiệm trên nền tảng notebook Google Colab với cấu trúc CNN cơ bản, chưa triển khai thử nghiệm trên các kiến trúc học sâu chuyển giao (Transfer Learning) tiên tiến.

Hướng nghiên cứu tiếp

• Áp dụng thêm các kỹ thuật lấy mẫu nâng cao (Oversampling, Undersampling, SMOTE) hoặc các hàm mất mát chuyên biệt (Focal Loss) để xử lý triệt để sự mất cân bằng dữ liệu giữa các lớp tổn thương da.
• Thử nghiệm các kiến trúc mạng nơ-ron tích chập sâu hơn và các mô hình học chuyển giao tiền huấn luyện (ResNet, EfficientNet, DenseNet, VGG) nhằm nâng cao độ chính xác phân loại.
• Tích hợp mô hình vào các hệ thống y tế thông minh, ứng dụng di động hoặc thiết bị chẩn đoán cầm tay hỗ trợ bác sĩ theo dõi và sàng lọc bệnh từ xa.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên, học viên và các nhóm nghiên cứu thuộc các ngành:

• Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Cung cấp quy trình từng bước về xây dựng pipeline xử lý dữ liệu ảnh, thiết kế kiến trúc CNN trên Keras/TensorFlow, cách viết các hàm Callback và tính toán ma trận đo lường chi tiết (Accuracy, Loss, RMSE, Precision, Recall, F1-Score).
• Tin học y sinh và Xử lý ảnh y tế: Cung cấp thông tin cấu trúc, đặc tính phân bố và phương pháp làm sạch bộ dữ liệu chuẩn HAM10000 trong bài toán da liễu.
• Kỹ thuật phần mềm: Cung cấp tài liệu tham khảo về phương pháp kiểm thử và đánh giá độ tin cậy của các module học máy trước khi triển khai thực tế.

---

Câu hỏi thường gặp

1. Bộ dữ liệu HAM10000 được sử dụng trong đồ án chứa bao nhiêu bản ghi và bao nhiêu loại tổn thương da?
Bộ dữ liệu gồm 10.015 bản ghi hình ảnh soi da (thuộc 2 thư mục ảnh) và 1 tệp metadata, phân loại thành 7 nhóm tổn thương da: Melanocytic nevi (nv), Melanoma (mel), Benign keratosis-like lesions (bkl), Basal cell carcinoma (bcc), Actinic keratoses (akiec), Vascular lesions (vasc), và Dermatofibroma (df).

2. Nhóm tác giả đã xử lý các vấn đề dữ liệu trùng lặp và giá trị khuyết thiếu như thế nào?
Nhóm sử dụng hàm drop_duplicates trên cột lesion_id để lọc các ảnh chụp trùng góc độ/thu phóng, giữ lại 7.470 bản ghi duy nhất. Đối với 52 giá trị bị khuyết (null) ở cột độ tuổi (age), nhóm sử dụng hàm fillna kết hợp phương thức tính trung bình mean() để điền giá trị.

3. Kích thước hình ảnh đầu vào được tiền xử lý ra sao trước khi đưa vào mô hình CNN?
Để giảm thiểu khối lượng tính toán và tăng tốc độ xử lý khi huấn luyện, hình ảnh được thu nhỏ chiều dài và chiều rộng theo hệ số 0.25 (kích thước nhỏ hơn 4 lần so với ảnh gốc) bằng hàm np.resize và lưu thành cột image mới trong cấu trúc DataFrame.

4. Hiệu năng phân loại tổng thể của mô hình đạt mức bao nhiêu trên các tập dữ liệu?
Mô hình đạt độ chính xác khoảng 78.2% trên cả tập huấn luyện và tập xác thực (Validation Loss = 0.6547). Trên tập kiểm thử độc lập (Test Set), độ chính xác đạt 78.05% với giá trị hàm mất mát tương đương là 0.6547.

5. Nhãn tổn thương da nào được mô hình dự đoán chính xác nhiều nhất và nhãn nào bị nhầm lẫn nhiều nhất?
Theo kết quả ma trận nhầm lẫn (Confusion Matrix), nhãn được dự đoán chính xác nhiều nhất là nv (Melanocytic nevi) với 1.055 mẫu đúng. Nhãn bị mô hình dự đoán sai nhiều nhất là bkl (Benign keratosis-like lesions) với 108 trường hợp nhầm lẫn sang các nhãn khác.

---

Kết luận

Báo cáo đồ án chuyên ngành của nhóm sinh viên Trường Đại học Công nghiệp Hà Nội đã hoàn thành việc nghiên cứu, xây dựng và thực nghiệm mô hình mạng nơ-ron tích chập (CNN) phục vụ bài toán phân loại 7 dạng tổn thương da từ bộ dữ liệu HAM10000. Đề tài đã xây dựng thành công đường ống tiền xử lý dữ liệu, trực quan hóa phân tích dịch tễ học và huấn luyện mô hình đạt độ chính xác ổn định 78.05% trên tập kiểm thử. Kết quả nghiên cứu là nền tảng kỹ thuật và thực nghiệm quan trọng, mở ra tiềm năng tích hợp vào các hệ thống hỗ trợ chẩn đoán y tế tự động trong tương lai.

Trích đoạn nội dung tài liệu

CHƯƠNG I. TỔNG QUAN VỀ ĐỀ TÀI VÀ CƠ SỞ LÝ THUYẾT 1. Giới thiệu về lý do chọn đề tài Ung thư da là một trong những vấn đề sức khỏe nghiêm trọng trên toàn cầu, và việc phát hiện sớm ung thư da đóng vai trò quan trọng trong việc cải thiện tỷ lệ sống sót và kết quả điều trị. Trong nỗ lực này, mô hình Convolutional Neural Network (CNN) đã được chứng minh là một công cụ mạnh mẽ và hiệu quả trong phát hiện ung thư da từ dữ liệu hình ảnh.

CNN có khả năng tự động học các đặc trưng và mô hình hoá thông qua quá trình huấn luyện trên dữ liệu. Điều này cho phép nó tìm ra các mẫu và đặc trưng phức tạp trong ảnh da liễu mà có thể không dễ dàng nhận thấy bằng mắt thường. Điểm mạnh này giúp CNN phân loại các ảnh da liễu một cách chính xác và hiệu quả, đồng thời giảm thiểu sự phụ thuộc vào kỹ thuật viên hoặc chuyên gia y tế. Ung thư da thường được chẩn đoán dựa trên việc phân tích các biểu hiện hình ảnh trên da như màu sắc, hình dạng và kích thước của nốt ruồi hay khối u.

CNN có thể xử lý dữ liệu không gian này một cách hiệu quả bằng cách sử dụng các lớp tích chập để trích xuất các đặc trưng từ ảnh. Điều này giúp nâng cao khả năng phát hiện các biểu hiện và đặc trưng quan trọng của ung thư da. Hiệu suất tính toán và tốc độ xử lý được triển khai trên các hệ thống tính toán hiệu suất cao, cho phép xử lý nhanh chóng và chính xác hàng ngàn hoặc thậm chí hàng triệu ảnh da liễu trong việc xử lý lượng lớn dữ liệu hình ảnh và giảm thời gian đáng kể trong quá trình chẩn đoán và đánh giá ung thư da. Phương pháp phát hiện ung thư da bằng CNN có tiềm năng ứng dụng rộng rãi trong thực tế.

Nó có thể được tích hợp vào các hệ thống y tế thông minh, ứng dụng di động hoặc thiết bị y tế di động để cung cấp hỗ trợ chẩn đoán và theo dõi từ xa cho bệnh nhân. Việc phát hiện ung thư da sớm và xác định các vùng da đáng ngờ có thể giúp giảm tải cho hệ thống y tế và tăng cường khả năng chăm sóc sức khỏe cộng đồng. 10 Downloaded by SAU SAU (saudinh1@gmail. Tổng quan về trí tuệ nhân tạo (Artificial intelligence) Vào năm 1943, Warren McCulioch và Walter Pitts bắt đầu thực hiện nghiên cứu ba cơ sở lý thuyết cơ bản: Triết học cơ bản và chức năng của các neural thần kinh; phân tích các mệnh đề logic; lý thuyết dự đoán của Turing.

Các tác giả đã nghiên cứu đề xuất mô hình neural nhân tạo, mỗi neural đặc trưng bởi hai trạng thái “bật”, “tắt” và phát hiện mạng neural có khả năng học. Vào đầu những năm 1980, những nghiên cứu thành công liên quan đến AI như các hệ chuyên gia (expert systems), một dạng của chương trình AI mô phỏng tri thức và các kỹ năng phân tích của một hoặc nhiều chuyên gia con người. AI được áp dụng trong logic, khai phá dữ liệu, chẩn đoán y học và nhiều lĩnh vực ứng dụng khác trong công nghiệp. Sự thành công dựa vào nhiều yếu tố: Tăng khả năng tính toán của máy tính, tập trung giải quyết các bài toán con cụ thể, xây dựng các mối quan hệ giữa AI và các lĩnh vực khác giải quyết các bài toán tương tự và một sự chuyển giao mới của các nhà nghiên cứu cho các phương pháp toán học vững chắc và chuẩn khoa học chính xác.

Tổng quan về ảnh và một số kỹ thuật xử lý ảnh 1. Tổng quan về ảnh 1. Một số khái niệm cơ bản Ảnh số là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật. Ảnh số bao gồm một tập hữu hạn các phần tử được biểu diễn bởi giá trị số.

Ảnh số có thể được biểu diễn dưới dạng ma trận hai chiều, mỗi phần tử của ảnh số gọi là điểm ảnh (pixel). Số điểm ảnh xác định độ phân giải của ảnh. Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm ảnh và càng làm cho tấm ảnh trở nên thực và sắc nét hơn. 11 Downloaded by SAU SAU ([e-mail]) lOMoARcPSD|39269578 Hình 1.

Ảnh ký tự chữ A và ma trận số của vùng chọn Điểm ảnh: Điểm ảnh (Pixel) là một phần tử của ảnh số tại tọa độ (x, y) với độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.1 mỗi điểm ảnh là một ô mang một giá trị số biểu thị mức xám từ 0 đến 255. Mức xám của ảnh: Mức xám: Là kết quả của sự biến đổi tương ứng 1 giá trị độ sáng của 1 điểm ảnh với một giá trị nguyên dương.

Thông thường nó xác định trong [0, 255] tuỳ thuộc vào giá trị mà mỗi điểm ảnh được biểu diễn. Các thang giá trị mức xám thông thường: 2, 16, 32, 64, 128. Ảnh đa mức xám thường dùng là 256, như vậy mức xám thường xác định trong khoảng [0, 255] tùy thuộc vào giá trị mà mỗi điểm ảnh được biểu diễn. Ma trận số biểu thị mức xám của các điểm ảnh.

12 Downloaded by SAU SAU ([e-mail]) lOMoARcPSD|39269578 Độ phân giải của ảnh:Độ phân giải (Resolution) của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị. Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt người vẫn thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong không gian hai chiều. Một số độ phân giải thông thường được sử dụng trong các thiết bị hiển thị và lĩnh vực xử lý ảnh như 640x480, 800x600, 1024x768 (HD), 192x1080 (full HD), 3840x2160 (UHD)[2].

Một số dạng ảnh Ảnh màu: thường là các ảnh chứa thông tin về đối tượng được biểu diễn dưới dạng màu sắc mà mắc thường có thể quan sát được. Mỗi điểm ảnh có cấu trúc gồm nhiều kênh khác nhau, thông thường trong máy tính, nó biểu diễn 3 lớp màu cơ bản RGB (Red, Green, Blue)[2]. Ảnh đa mức xám: thường biểu diễn thông tin liên quan đến cường độ đa xám của đối tượng trong không gian mà không được thể hiện bởi màu sắc thực của nó[2]. Ảnh nhị phân: Giá trị xám của tất cả các điểm ảnh chỉ nhận giá trị 1 hoặc 0 như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 bit.

Ảnh nhị phân thường được dùng để biểu diễn, phân biệt sự xuất hiện đối tượng và nền trong mỗi bước ảnh. Một số kỹ thuật xử lý ảnh 1. Lược đồ ảnh (Histogram) Lược đồ ảnh là một đồ thị biểu diễn tần số xuất hiện của cường độ sáng điểm ảnh theo các mức hay nói cách khác lược đồ Histogram 13 Downloaded by SAU SAU ([e-mail]) lOMoARcPSD|39269578 của một hình ảnh biểu diễn lược đồ về sự phân bố các mức cường độ xám của một bức ảnh. Nhị phân hóa ảnh Để chuyển sang ảnh nhị phân trước tiên cần chuyển ảnh về dạng ảnh xám với các mức xám có giá trị từ 0 đến 255 dựa trên ba giá trị red, green, blue theo công thức: greycolor = r * 0.114 Sử dụng ngưỡng thích hợp để chuyển các điểm ảnh về dạng 0 (màu đen) hoặc 255 (màu trắng) theo nguyên tắc: g(x, y) = 1 nếu f(x, y) > T và g(x, y) = 0 nếu f(x, y) ≤ T Trong đó: ˗ g(x, y) là giá trị kết quả tại điểm ảnh có tọa độ (x, y); ˗ f(x, y) là giá trị điểm ảnh (x, y) của ảnh cần xử lý; ˗ T là ngưỡng.

Trích chọn và biểu diễn đặc trưng hình ảnh 1. Đặc trưng ảnh 1. Đặc trưng màu sắc Màu sắc là một đặc trưng nổi bật và được sử dụng phổ biến nhất trong tìm kiếm ảnh theo nội dung. Mỗi một điểm ảnh (thông tin màu sắc) có thể được biểu diễn như một điểm trong không gian màu sắc ba chiều.

Các không gian màu sắc thường dùng là: RGB, Munsell, CIE, HSV. Đặc trưng kết cấu Kết cấu hay còn gọi là vân (texture) là một đối tượng dùng để phân hoạch ảnh ra thành những vùng được quan tâm và để phân lớp những vùng đó. 14 Downloaded by SAU SAU ([e-mail]) lOMoARcPSD|39269578 Vân cung cấp thông tin sự sắp xếp về mặt không gian của màu sắc và cường độ của một ảnh. Đặc trưng hình dạng Hình dạng của một ảnh hay một vùng là một đặc trưng quan trọng trong việc xác định và phân biệt ảnh trong nhận dạng mẫu.

Mục tiêu chính của biểu diễn hình dạng trong nhận dạng mẫu là đo thuộc tính hình học của một đối tượng được dùng trong phân lớp, so sánh và nhận dạng đối tượng. Một số phương pháp trích chọn đặc trưng đơn giản 1. Trích chọn đặc trưng ảnh dựa trên màu sắc Lược đồ màu (Histogram): Là đại lượng đặc trưng cho phân bố màu cục bộ của ảnh. Độ đo tính tương tự về màu sắc được tính bằng phần giao của 2 lược đồ màu ảnh truy vấn H(IQ) và ảnh trong cơ sở dữ liệu ảnh H(ID).

Kết quả sẽ là một lược đồ màu thể hiện độ giống nhau giữa 2 ảnh trên. Tuy nhiên vì lược đồ màu chỉ thể hiện tính phân bố màu toàn cục của ảnh mà không xét đến tính phân bố cục bộ của điểm ảnh nên có thể có 2 ảnh xem rất khác nhau nhưng lại có cùng lược đồ màu. Vector liên kết màu (Color Coherence Vector): Là lược đồ tinh chế lược đồ màu, chia mỗi ô màu thành 2 nhóm điểm ảnh: nhóm liên kết màu (coherence pixels) và nhóm không liên kết màu (noncoherence pixels). Vector liên kết màu còn giúp giải quyết khuyết điểm về tính không duy nhất của lược đồ màu đối với ảnh.

Hai ảnh có thể có chung lược đồ màu nhưng khác nhau hoàn toàn, đây là khuyết điểm của lược đồ màu. Nhưng với tìm kiếm theo đặc trưng vector liên kết màu thì nó sẽ giải quyết được khuyết điểm không duy nhất này. Trích chọn đặc trưng ảnh dựa trên kết cấu ˗ Kết cấu hay còn gọi là vân (texture), là một đối tượng dùng để phân hoạch ảnh ra thành những vùng được quan tâm và để phân lớp những vùng đó. 15 Downloaded by SAU SAU ([e-mail]) lOMoARcPSD|39269578 Vân cung cấp thông tin sự sắp xếp về mặt không gian của màu sắc và cường độ của một ảnh.

Ví dụ cấu trúc của vân của một số loại lá cây.