Khóa Luận Tốt Nghiệp CNTT: Tự Động Sinh Chú Thích Tiếng Việt Cho Hình Ảnh Trong Lĩnh Vực Chăm Sóc Sức Khỏe

• Tác giả: Đỗ Gia Bảo
• Người hướng dẫn: ThS. Võ Duy Nguyên
• Trường học: Đại học Quốc gia Thành phố Hồ Chí Minh - Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Tự động sinh chú thích tiếng Việt cho hình ảnh y tế trên bộ dữ liệu VieCap4H
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: ĐỘNG LỰC NGHIÊN CỨU VÀ BÀI TOÁN IMAGE CAPTIONING
• 1.1. Phát biểu bài toán
• 1.2. Ứng dụng của bài toán Image Captioning
• 1.3. Thách thức bài toán
• 1.4. Mục tiêu và phạm vi nghiên cứu
• 1.5. Đóng góp của nghiên cứu
• 1.6. Bố cục của báo cáo khóa luận tốt nghiệp
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Artificial Neural Network (ANN)
• 2.2. Convolutional Neural Network (CNN)
• 2.2.1. Một số lớp thường xuất hiện trong mạng CNN
• 2.2.2. Lớp Input và Output
• 2.2.3. Lớp Fully-Connected
• 2.2.4. Một số mạng CNN nổi tiếng
• 2.3. Các mô hình dịch chuỗi
• 2.3.1. Recurrent Neural Network (RNN)
• 2.3.2. Long Short-Term Memory (LSTM)
• 2.3.3. Bidirectional Recurrent Neural Network (BRNN)
• 3. CHƯƠNG 3: HƯỚNG TIẾP CẬN BÀI TOÁN IMAGE CAPTIONING
• 3.1. Các hướng tiếp cận bài toán dựa trên mô hình LSTM
• 3.2. CNN + LSTM + Cơ chế Attention
• 3.3. Các hướng tiếp cận hiện đại dựa trên kiến trúc Transformer
• 3.3.1. Meshed-Memory Transformer (M? Transformer)
• 4. CHƯƠNG 4: PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. Tổng quan phương pháp đề xuất
• 4.2. Adaptive Attention Module
• 5. CHƯƠNG 5: QUY TRÌNH THỰC NGHIỆM
• 5.1. Bộ dữ liệu
• 5.2. Độ đo đánh giá tự động
• 5.3. Cài đặt chi tiết
• 5.4. Phân tích kết quả và đánh giá
• 5.5. Trực quan hóa kết quả
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

I. Khóa luận tốt nghiệp CNTT

Khóa luận tốt nghiệp này tập trung vào việc nghiên cứu và phát triển một hệ thống tự động sinh chú thích tiếng Việt cho hình ảnh y tế trên bộ dữ liệu VieCap4H. Đây là một bài toán kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên, nhằm tạo ra các mô tả ngôn ngữ tự nhiên từ hình ảnh y tế. Khóa luận này không chỉ đóng góp vào lĩnh vực công nghệ thông tin mà còn có tiềm năng ứng dụng cao trong y tế và chăm sóc sức khỏe.

1.1. Tự động sinh chú thích tiếng Việt

Hệ thống tự động sinh chú thích tiếng Việt được xây dựng dựa trên các mô hình machine learning và trí tuệ nhân tạo, đặc biệt là CNN và Transformer. Mục tiêu là tạo ra các câu mô tả chính xác và tự nhiên từ hình ảnh y tế, hỗ trợ các bác sĩ và nhân viên y tế trong việc phân tích và chẩn đoán.

1.2. Bộ dữ liệu VieCap4H

Bộ dữ liệu VieCap4H là một tập dữ liệu hình ảnh y tế kèm theo chú thích tiếng Việt, được sử dụng để huấn luyện và đánh giá hệ thống. Bộ dữ liệu này đóng vai trò quan trọng trong việc phát triển các mô hình xử lý hình ảnh và ngôn ngữ tự nhiên cho tiếng Việt.

II. Hệ thống nhận diện hình ảnh

Hệ thống nhận diện hình ảnh trong khóa luận này sử dụng các mô hình CNN để trích xuất đặc trưng từ hình ảnh y tế. Các đặc trưng này sau đó được chuyển đổi thành ngôn ngữ tự nhiên thông qua các mô hình Transformer. Quá trình này đòi hỏi sự kết hợp chặt chẽ giữa công nghệ xử lý hình ảnh và xử lý ngôn ngữ tự nhiên.

2.1. CNN và trích xuất đặc trưng

CNN được sử dụng để trích xuất các đặc trưng từ hình ảnh y tế. Các lớp convolution và pooling giúp giảm kích thước dữ liệu và tăng khả năng nhận diện các đối tượng trong hình ảnh.

2.2. Transformer và sinh chú thích

Mô hình Transformer được áp dụng để chuyển đổi các đặc trưng hình ảnh thành câu chú thích tiếng Việt. Transformer có khả năng xử lý các chuỗi dài và tạo ra các câu mô tả tự nhiên và chính xác.

III. Ứng dụng y tế và tự động hóa

Hệ thống tự động sinh chú thích tiếng Việt có nhiều ứng dụng y tế quan trọng, bao gồm hỗ trợ chẩn đoán, quản lý hồ sơ bệnh án và đào tạo nhân viên y tế. Tự động hóa quá trình sinh chú thích giúp tiết kiệm thời gian và nâng cao hiệu quả công việc trong lĩnh vực y tế.

3.1. Hỗ trợ chẩn đoán

Hệ thống có thể hỗ trợ các bác sĩ trong việc chẩn đoán bệnh bằng cách cung cấp các mô tả chi tiết về hình ảnh y tế, giúp đưa ra quyết định chính xác hơn.

3.2. Quản lý hồ sơ bệnh án

Việc tự động hóa quá trình sinh chú thích giúp quản lý hồ sơ bệnh án một cách hiệu quả, giảm thiểu sai sót và tiết kiệm thời gian cho nhân viên y tế.

IV. Phân tích dữ liệu và đánh giá

Quá trình phân tích dữ liệu và đánh giá hệ thống được thực hiện trên bộ dữ liệu VieCap4H. Các độ đo như BLEU, METEOR và ROUGE được sử dụng để đánh giá chất lượng của các câu chú thích sinh ra. Kết quả cho thấy hệ thống đạt được độ chính xác cao và có tiềm năng ứng dụng thực tế.

4.1. Độ đo đánh giá

Các độ đo BLEU, METEOR và ROUGE được sử dụng để đánh giá chất lượng của các câu chú thích. Những độ đo này giúp xác định mức độ chính xác và tự nhiên của các câu mô tả.

4.2. Kết quả thực nghiệm

Kết quả thực nghiệm trên bộ dữ liệu VieCap4H cho thấy hệ thống đạt được độ chính xác cao, đặc biệt là khi sử dụng mô hình Transformer cải tiến.

V. Kết luận và hướng phát triển

Khóa luận tốt nghiệp này đã thành công trong việc phát triển một hệ thống tự động sinh chú thích tiếng Việt cho hình ảnh y tế. Hệ thống có tiềm năng ứng dụng cao trong lĩnh vực y tế và chăm sóc sức khỏe. Trong tương lai, nghiên cứu có thể được mở rộng bằng cách tích hợp thêm các công nghệ AI tiên tiến và cải thiện độ chính xác của hệ thống.

5.1. Đóng góp của nghiên cứu

Nghiên cứu đã đóng góp vào việc phát triển các mô hình xử lý hình ảnh và ngôn ngữ tự nhiên cho tiếng Việt, đồng thời mở ra hướng nghiên cứu mới trong lĩnh vực AI và y tế.

5.2. Hướng phát triển

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện độ chính xác của hệ thống, tích hợp thêm các công nghệ AI tiên tiến và mở rộng ứng dụng sang các lĩnh vực khác.