Ứng dụng deep learning chuyển đổi màu cho ảnh đen trắng

Khám phá ứng dụng deep learning trong việc chuyển đổi màu cho ảnh đen trắng, mang lại trải nghiệm hình ảnh sống động và chân thực hơn.

• Tác giả: Nguyễn Trần Thanh Nhật
• Người hướng dẫn: TS. Lê Xuân Vinh
• Trường học: Trường Đại Học Quy Nhơn
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Ứng Dụng Deep Learning Chuyển Đổi Màu Cho Ảnh Đen Trắng
• Loại tài liệu: Đề Án Thạc Sĩ
• Năm xuất bản: 2023
• Địa điểm: Bình Định

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH
• 1. CHƯƠNG 1: HỌC MÁY VÀ HỌC SÂU
• 1.1. Giới thiệu chương
• 1.2. Tổng quan về học máy và học sâu
• 1.3. Mạng Nơ-ron nhân tạo (ANN) và mạng Nơ-ron nhân tạo nhiều lớp (DNN)
• 1.3.1. Mạng Nơ ron nhân tạo (ANN)
• 1.3.2. Mạng học sâu (Deep Neural Network - DNN)
• 1.4. Mạng Nơ-ron tích chập (CNN - Convolutional Neural Network)
• 1.5. Học chuyển giao và tinh chỉnh mô hình huấn luyện
• 1.6. Kết luận chương
• 2. CHƯƠNG 2: BÀI TOÁN CHUYỂN ĐỔI MÀU VÀ MẠNG U-NET
• 2.1. Giới thiệu chương
• 2.2. Bài toán chuyển đổi màu cho ảnh đen trắng
• 2.3. Các hệ màu phổ biến
• 2.3.1. Hệ màu chuẩn RGB
• 2.3.2. Hệ màu LAB
• 2.3.3. Hệ màu HSV
• 2.4. Kiến trúc mạng U-net. Xây dựng mạng học sâu U-net
• 2.5. Tính toán hàm Loss trong U-net
• 2.6. Các bước tiếp cận và giải quyết bài toán
• 2.6.1. Chuẩn bị dữ liệu
• 2.6.2. Xây dựng mô hình U-net
• 2.6.3. Huấn luyện Mô hình
• 2.6.4. Đánh giá và tinh chỉnh
• 2.6.5. Dự đoán và tô màu
• 2.6.6. Triển khai, ứng dụng mô hình
• 2.7. Kết luận chương
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ KẾT QUẢ
• 3.1. Giới thiệu chương
• 3.2. Môi trường huấn luyện
• 3.3. Cơ sở dữ liệu huấn luyện và tiền xử lý
• 3.3.1. Nạp dữ liệu và tiền xử lý dữ liệu
• 3.4. Xây dựng mô hình và huấn luyện theo mô hình
• 3.4.1. Xây dựng mô hình
• 3.4.2. Huấn luyện theo mô hình
• 3.5. Tiêu chí đánh giá
• 3.6. Kết quả và đánh giá
• 3.7. Triển khai mô hình
• 3.8. Kết luận chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO TÊN ĐỀ TÀI ĐỀ ÁN THẠC SĨ (BẢN SAO)

Tóm tắt

I. Giới thiệu về ứng dụng Deep Learning trong tô màu ảnh

Nhu cầu khôi phục và chuyển đổi màu ảnh đen trắng sang màu ngày càng tăng. Ảnh màu sinh động, chân thực hơn. Bài toán tô màu ảnh không mới, nhưng việc chuyển từ ảnh đen trắng sang màu khó khăn hơn so với ngược lại. Trước đây, cần kiến thức đồ họa và thời gian xử lý thủ công. Ngày nay, deep learning giúp giải quyết hiệu quả nhờ sự phát triển của Khoa học máy tính và Khoa học dữ liệu. Các mô hình học máy, học sâu trong trí tuệ nhân tạo hỗ trợ giải quyết bài toán này. Deep learning mang lại cách tiếp cận mới cho bài toán chuyển đổi màu ảnh đen trắng. Nhiều phương pháp và mô hình được sử dụng, như ứng dụng mô hình học sâu của Richard Zhang hoặc mô hình mạng Nơ-ron tích chập (CNN). Mục đích chung là chuyển đổi màu ảnh chính xác và hiệu quả. Đề tài "Ứng dụng Deep Learning chuyển đổi màu cho ảnh đen trắng" nghiên cứu để tìm ra phương pháp hiệu quả trong xử lý dữ liệu và cho kết quả chuyển đổi màu chính xác, tự nhiên, gần với ảnh gốc. Đề án gồm 3 chương: Học máy và Học sâu, Bài toán chuyển đổi màu và mạng U-net, Thực nghiệm và kết quả.

1.1. Lịch sử và tầm quan trọng của colorization image deep learning

Việc khôi phục màu sắc ảnh cũ đã có từ lâu, nhưng gặp nhiều hạn chế. Sự ra đời của deep learning đã tạo ra bước đột phá lớn, cho phép tự động hóa quá trình tô màu ảnh. Điều này giúp bảo tồn và làm sống động lại những khoảnh khắc lịch sử quan trọng, cũng như mang lại trải nghiệm mới mẻ cho người xem. Các thuật toán tô màu ảnh tự động giúp tiết kiệm thời gian và công sức so với phương pháp thủ công.

1.2. Tổng quan về các mô hình deep learning cho ảnh lịch sử

Nhiều mô hình deep learning đã được phát triển để tô màu ảnh, mỗi mô hình có ưu và nhược điểm riêng. Các mô hình phổ biến bao gồm CNN, U-Net, và GAN. Các mô hình này học cách liên kết giữa ảnh đen trắng và ảnh màu từ một tập dữ liệu lớn. Chất lượng ảnh sau khi phục hồi màu sắc ảnh cũ phụ thuộc vào kiến trúc mô hình, chất lượng dữ liệu huấn luyện, và phương pháp đánh giá.

II. Thách thức và giải pháp trong tô màu ảnh đen trắng bằng AI

Việc tô màu ảnh đen trắng là một bài toán khó do thiếu thông tin màu sắc ban đầu. Mô hình deep learning cần phải dự đoán màu sắc dựa trên ngữ cảnh và các đặc trưng của ảnh đen trắng. Điều này đòi hỏi mô hình phải có khả năng hiểu sâu sắc về thế giới xung quanh. Một số thách thức bao gồm: màu sắc không tự nhiên, chi tiết bị mất, và sự mơ hồ trong dự đoán màu. Các giải pháp thường tập trung vào cải thiện kiến trúc mô hình, tăng cường dữ liệu huấn luyện, và sử dụng các kỹ thuật tiền xử lý và hậu xử lý ảnh. Theo nghiên cứu của Nguyễn Trần Thanh Nhật, "Việc lựa chọn các giải pháp, xây dựng các mô hình huấn luyện như trên đều cùng chung mục đích chính là giúp chuyển đổi màu ảnh chính xác, mang lại hiệu quả cao".

2.1. Các yếu tố ảnh hưởng đến chất lượng ảnh đen trắng phục hồi màu

Chất lượng ảnh đen trắng ban đầu có ảnh hưởng lớn đến kết quả tô màu. Ảnh có độ phân giải thấp, nhiễu, hoặc bị mờ sẽ khó phục hồi màu sắc chính xác. Chất lượng và kích thước của dữ liệu huấn luyện cũng rất quan trọng. Dữ liệu huấn luyện càng đa dạng và phong phú, mô hình càng có khả năng tô màu chính xác. Phương pháp đánh giá cũng cần được lựa chọn kỹ lưỡng để đảm bảo tính khách quan.

2.2. Cải thiện chất lượng ảnh đen trắng trước khi tô màu bằng trí tuệ nhân tạo

Để cải thiện chất lượng ảnh đen trắng trước khi tô màu, có thể sử dụng các kỹ thuật tiền xử lý như tăng độ tương phản, giảm nhiễu, và nâng cao độ phân giải. Các kỹ thuật này giúp làm rõ các chi tiết trong ảnh, giúp mô hình deep learning dễ dàng nhận diện và tô màu chính xác hơn. Một số công cụ hỗ trợ tiền xử lý ảnh bao gồm Photoshop, GIMP, và các thư viện xử lý ảnh trong Python.

III. Phương pháp Deep Learning phổ biến trong chuyển đổi màu ảnh

Deep learning cung cấp nhiều phương pháp mạnh mẽ cho bài toán chuyển đổi màu ảnh. Các mô hình phổ biến bao gồm CNN, U-Net, và GAN. CNN được sử dụng để trích xuất đặc trưng từ ảnh đen trắng. U-Net là kiến trúc mạng được sử dụng rộng rãi trong các bài toán phân vùng ảnh và tô màu ảnh. GAN sử dụng hai mạng, một mạng sinh ảnh và một mạng phân biệt, để tạo ra ảnh màu chân thực hơn. Theo Nguyễn Trần Thanh Nhật, "Nghiên cứu lý thuyết về học máy, học sâu với mạng Nơ-ron tích chập, cụ thể là mô hình học sâu mạng U-net để giải quyết bài toán chuyển đổi màu cho đen trắng".

3.1. Ứng dụng mạng nơ ron tích chập CNN trong xử lý ảnh màu

CNN là một kiến trúc mạng nơ-ron mạnh mẽ, được sử dụng rộng rãi trong các bài toán xử lý ảnh, bao gồm cả tô màu ảnh. CNN có khả năng tự động trích xuất các đặc trưng quan trọng từ ảnh, giúp mô hình học cách liên kết giữa ảnh đen trắng và ảnh màu. Các lớp tích chập và lớp gộp trong CNN giúp giảm số lượng tham số và tăng tính tổng quát của mô hình.

3.2. Mạng U Net Kiến trúc hiệu quả cho tô màu ảnh tự động

U-Net là một kiến trúc mạng nơ-ron đặc biệt, được thiết kế để xử lý các bài toán phân vùng ảnh và tô màu ảnh. U-Net có cấu trúc hình chữ U, với một nhánh giảm chiều (encoder) và một nhánh tăng chiều (decoder). Nhánh giảm chiều trích xuất các đặc trưng từ ảnh, trong khi nhánh tăng chiều tái tạo ảnh màu từ các đặc trưng này. U-Net thường được sử dụng để tô màu ảnh có độ phân giải cao.

3.3. Ứng dụng mạng GAN trong tô màu ảnh đen trắng bắng Deep learning

Mạng GAN gồm 2 mạng, trong đó có 1 mạng sinh ảnh và một mạng phân biệt. Hai mạng này sẽ tạo ra ảnh màu chân thực hơn. Phương pháp học sâu đã đem lại cách tiếp cận mới đối với bài toán chuyển đổi màu cho ảnh đen trắng. Hiện nay có khá nhiều phương pháp, mô hình thực hiện để giải quyết bài toán này.

IV. Ứng dụng mạng U Net để chuyển đổi ảnh đen trắng sang màu

Mạng U-Net có cấu trúc đối xứng, phù hợp cho bài toán tô màu ảnh. Nhánh giảm chiều (encoder) trích xuất các đặc trưng từ ảnh đen trắng, giảm dần kích thước ảnh. Nhánh tăng chiều (decoder) sử dụng các đặc trưng này để tái tạo ảnh màu, tăng dần kích thước ảnh. Các kết nối tắt (skip connections) giúp truyền thông tin chi tiết từ nhánh giảm chiều sang nhánh tăng chiều, cải thiện chất lượng ảnh màu. U-Net được huấn luyện trên tập dữ liệu lớn, với mục tiêu giảm thiểu sai số giữa ảnh màu dự đoán và ảnh màu thực tế.

4.1. Chuẩn bị dữ liệu và tiền xử lý cho mô hình deep learning

Dữ liệu huấn luyện cần đa dạng và phong phú, bao gồm nhiều loại ảnh khác nhau (phong cảnh, chân dung, đồ vật,...). Ảnh cần được tiền xử lý để đảm bảo chất lượng và định dạng phù hợp. Các bước tiền xử lý bao gồm: thay đổi kích thước ảnh, chuẩn hóa giá trị pixel, và chia dữ liệu thành tập huấn luyện, tập kiểm tra, và tập đánh giá.

4.2. Huấn luyện và đánh giá hiệu suất deep learning

Mô hình U-Net được huấn luyện bằng thuật toán lan truyền ngược (backpropagation). Các tham số của mô hình được điều chỉnh để giảm thiểu hàm mất mát. Quá trình huấn luyện cần được theo dõi và điều chỉnh để tránh overfitting. Sau khi huấn luyện, mô hình được đánh giá trên tập kiểm tra và tập đánh giá để đo lường hiệu suất và khả năng tổng quát hóa.

V. Kết quả thực nghiệm và đánh giá tô màu ảnh đen trắng

Kết quả thực nghiệm cho thấy U-Net có khả năng tô màu ảnh đen trắng khá tốt. Ảnh màu dự đoán có màu sắc tự nhiên và chi tiết rõ ràng. Tuy nhiên, vẫn còn một số hạn chế, như màu sắc không chính xác trong một số trường hợp, và sự xuất hiện của artifact. Các kết quả có thể được cải thiện bằng cách sử dụng dữ liệu huấn luyện lớn hơn, kiến trúc mô hình phức tạp hơn, và các kỹ thuật tiền xử lý và hậu xử lý ảnh tiên tiến hơn. Theo Nguyễn Trần Thanh Nhật, "Kết quả thu được sẽ được so sánh sự ảnh hưởng của mô hình huấn luyện đã sử dụng đến việc chuyển đổi màu cho ảnh đen trắng cũng như khảo sát được mức độ hiệu quả của kiến trúc mạng, tác động của các bộ dữ liệu huấn luyện sử dụng trong mô hình đối với mục tiêu đề ra."

5.1. So sánh kết quả tô màu với các phương pháp khác

Kết quả tô màu bằng U-Net có thể so sánh với các phương pháp khác, như phương pháp thủ công và các mô hình deep learning khác. Các tiêu chí so sánh bao gồm: chất lượng ảnh, độ chân thực của màu sắc, và thời gian xử lý. So sánh giúp đánh giá ưu và nhược điểm của U-Net so với các phương pháp khác.

5.2. Các yếu tố ảnh hưởng đến hiệu suất của deep learning

Nhiều yếu tố ảnh hưởng đến hiệu suất của mô hình U-Net, bao gồm: kiến trúc mô hình, dữ liệu huấn luyện, thuật toán huấn luyện, và các tham số điều chỉnh. Nghiên cứu các yếu tố này giúp cải thiện hiệu suất của mô hình và đạt được kết quả tô màu tốt hơn. Quá trình lựa chọn dữ liệu cũng như thực hiện huấn luyện rất cần được chú trọng.

VI. Kết luận và hướng phát triển của phần mềm tô màu ảnh AI

Deep learning đã mang lại những tiến bộ đáng kể trong bài toán tô màu ảnh đen trắng. Các mô hình như U-Net có khả năng tô màu tự động với chất lượng khá tốt. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua để đạt được kết quả tô màu hoàn hảo. Hướng phát triển trong tương lai bao gồm: sử dụng dữ liệu huấn luyện lớn hơn và đa dạng hơn, phát triển các kiến trúc mô hình phức tạp hơn, và tích hợp các kỹ thuật tiền xử lý và hậu xử lý ảnh tiên tiến hơn. Mục tiêu là tạo ra các phần mềm tô màu ảnh AI có khả năng tô màu tự động với độ chính xác và chân thực cao, phục vụ nhu cầu của người dùng.

6.1. Tiềm năng ứng dụng của tự động hóa quá trình tô màu ảnh

Tự động hóa quá trình tô màu ảnh có nhiều tiềm năng ứng dụng, như: khôi phục và bảo tồn các di sản văn hóa, tạo ra các sản phẩm giải trí mới, và hỗ trợ các ứng dụng trong lĩnh vực y tế và giáo dục. Việc tô màu ảnh tự động giúp tiết kiệm thời gian và công sức, đồng thời mang lại những trải nghiệm mới mẻ và thú vị cho người dùng.

6.2. Các nghiên cứu tiếp theo về chuyển đổi ảnh bằng mạng nơ ron tích chập

Các nghiên cứu tiếp theo có thể tập trung vào: phát triển các kiến trúc mô hình mới, sử dụng các kỹ thuật huấn luyện tiên tiến, và tích hợp thông tin bổ sung (ví dụ: thông tin về đối tượng trong ảnh) để cải thiện chất lượng tô màu. Ngoài ra, cần chú trọng đến việc đánh giá hiệu suất của các mô hình tô màu một cách khách quan và toàn diện, sử dụng các tiêu chí đánh giá phù hợp và các tập dữ liệu đánh giá đa dạng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo và khoa học máy tính, việc chuyển đổi màu cho ảnh đen trắng trở thành một bài toán quan trọng trong xử lý ảnh số. Theo ước tính, hàng triệu bức ảnh đen trắng lưu trữ trong các kho lưu trữ lịch sử và cá nhân đang cần được phục hồi màu sắc để tăng tính sinh động và giá trị thẩm mỹ. Tuy nhiên, việc chuyển đổi từ ảnh đen trắng sang ảnh màu không có công thức chính xác, gây khó khăn cho các phương pháp truyền thống. Mục tiêu nghiên cứu của luận văn là ứng dụng phương pháp học sâu, cụ thể là mạng nơ-ron tích chập U-net, để tự động chuyển đổi màu cho ảnh đen trắng, nâng cao độ chính xác và tính tự nhiên của ảnh đầu ra. Phạm vi nghiên cứu tập trung vào các bộ dữ liệu ảnh chân dung và phong cảnh thu thập từ Kaggle và các nguồn bổ sung, với kích thước ảnh chuẩn 256x256 pixel. Nghiên cứu có ý nghĩa lớn trong việc bảo tồn di sản văn hóa, hỗ trợ các ứng dụng quảng cáo, nghệ thuật và cải thiện chất lượng ảnh số, đồng thời góp phần phát triển các mô hình học sâu trong lĩnh vực xử lý ảnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: học máy (Machine Learning) và học sâu (Deep Learning). Học máy giúp máy tính học từ dữ liệu để xây dựng mô hình dự đoán, trong đó học sâu là một nhánh phát triển với mạng nơ-ron nhiều lớp (Deep Neural Network - DNN) có khả năng xử lý dữ liệu phức tạp và lớn. Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) được sử dụng để trích xuất đặc trưng hình ảnh thông qua các lớp tích chập, hàm kích hoạt ReLU và lớp tổng hợp (Pooling). Mạng U-net, phát triển từ CNN, có kiến trúc hình chữ U gồm hai phần encoder (thu hẹp) và decoder (mở rộng), sử dụng kết nối bỏ qua (skip connection) để giữ lại thông tin chi tiết trong quá trình giải mã. Các hệ màu RGB, LAB và HSV được nghiên cứu để lựa chọn không gian màu phù hợp cho bài toán chuyển đổi màu, trong đó không gian LAB được ưu tiên do khả năng phân tách màu sắc và độ sáng hiệu quả. Hàm mất mát Mean Squared Error (MSE) được áp dụng để đo sự khác biệt giữa ảnh dự đoán và ảnh thực tế, giúp tối ưu hóa mô hình.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm hai bộ dataset: ảnh chân dung (human-faces) với hơn 7.400 ảnh và ảnh phong cảnh (landscape) thu thập từ Kaggle cùng khoảng 300 ảnh chân dung bổ sung. Dữ liệu được tiền xử lý bằng cách chuẩn hóa kích thước ảnh về 256x256 pixel và chuyển đổi ảnh màu sang ảnh xám làm đầu vào. Phương pháp phân tích sử dụng mô hình U-net xây dựng trên nền tảng TensorFlow và Keras, với phần encoder dựa trên mạng VGG đơn giản. Dữ liệu được chia thành tập huấn luyện (80%), tập xác thực (10% trong tập huấn luyện) và tập kiểm tra (20%). Quá trình huấn luyện sử dụng thuật toán tối ưu SGD với learning rate 0.1, batch size 32, và số epoch lên đến 250. Các kỹ thuật callbacks như ModelCheckpoint và EarlyStopping được áp dụng để lưu trạng thái mô hình tốt nhất và ngăn ngừa overfitting. Môi trường huấn luyện chính là Google Colab, tận dụng GPU và TPU để tăng tốc quá trình tính toán. Phân tích kết quả dựa trên các chỉ số loss, accuracy và đánh giá trực quan qua ảnh đầu ra.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình U-net trong chuyển đổi màu: Mô hình đạt giá trị loss giảm từ 0.0022 xuống còn 0.00145 và accuracy tăng lên khoảng 0.95 sau 250 epoch, cho thấy khả năng học và dự đoán màu sắc chính xác trên tập kiểm tra.
2. Ảnh chân dung chuyển đổi màu tự nhiên: Trên bộ dữ liệu human-faces, ảnh đầu ra có màu sắc gần với ảnh gốc, thể hiện rõ các chi tiết khuôn mặt và vùng màu da, với tỷ lệ chính xác màu sắc đạt khoảng 90% so với ảnh gốc.
3. Khả năng áp dụng đa dạng dữ liệu: Mô hình cũng cho kết quả tốt trên bộ dữ liệu phong cảnh, thể hiện khả năng tổng quát hóa và xử lý các loại ảnh khác nhau với độ chính xác màu sắc trên 85%.
4. Tác động của tiền xử lý và kiến trúc mạng: Việc sử dụng kết nối bỏ qua trong U-net giúp giữ lại các đặc trưng chi tiết, giảm thiểu mất mát thông tin trong quá trình giải mã, đồng thời chuẩn hóa dữ liệu đầu vào giúp mô hình hội tụ nhanh hơn và ổn định hơn.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả trên là do kiến trúc U-net tận dụng tốt khả năng trích xuất và phục hồi đặc trưng ảnh, đồng thời hàm mất mát MSE giúp mô hình tối ưu hóa sự khác biệt màu sắc một cách hiệu quả. So sánh với các nghiên cứu trước đây sử dụng CNN thuần túy hoặc GAN, mô hình U-net cho kết quả ổn định hơn và dễ huấn luyện hơn trên các bộ dữ liệu có kích thước vừa phải. Biểu đồ loss và accuracy qua các epoch minh họa sự cải thiện liên tục của mô hình, trong khi bảng phân tích màu sắc chi tiết cho thấy sự phù hợp của không gian màu LAB trong việc tách biệt độ sáng và màu sắc, giúp mô hình dự đoán màu chính xác hơn. Tuy nhiên, mô hình vẫn còn hạn chế về tốc độ xử lý, không phù hợp cho các ứng dụng thời gian thực, và độ chính xác giảm khi ảnh đầu vào có nhiều chi tiết phức tạp hoặc vùng màu chuyển đổi không rõ ràng.

Đề xuất và khuyến nghị

1. Tối ưu hóa kiến trúc mô hình: Áp dụng kỹ thuật pruning hoặc quantization để giảm kích thước mô hình, tăng tốc độ xử lý mà vẫn giữ được độ chính xác, hướng tới ứng dụng thực tế trong thời gian ngắn hạn.
2. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu đa dạng về chủ đề và điều kiện ánh sáng để cải thiện khả năng tổng quát hóa của mô hình, đặc biệt là các ảnh có chi tiết phức tạp và vùng màu đa dạng.
3. Kết hợp học chuyển giao: Sử dụng mô hình học chuyển giao từ các mạng đã huấn luyện trên tập dữ liệu lớn để giảm thời gian huấn luyện và nâng cao hiệu quả, đặc biệt với các bộ dữ liệu nhỏ hoặc hạn chế.
4. Phát triển giao diện ứng dụng: Xây dựng phần mềm hoặc ứng dụng web tích hợp mô hình U-net để người dùng cuối có thể dễ dàng chuyển đổi màu ảnh đen trắng, phục vụ mục đích bảo tồn di sản và sáng tạo nghệ thuật trong vòng 6-12 tháng tới.
5. Nghiên cứu mở rộng sang các mô hình GAN: Khảo sát và thử nghiệm các mô hình Generative Adversarial Networks để cải thiện tính chân thực và đa dạng màu sắc của ảnh đầu ra trong các nghiên cứu tiếp theo.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành khoa học máy tính, trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng học sâu trong xử lý ảnh, đặc biệt là mạng U-net và các kỹ thuật huấn luyện mô hình.
2. Chuyên gia phát triển phần mềm xử lý ảnh và ứng dụng AI: Tham khảo để áp dụng mô hình U-net vào các sản phẩm phục hồi ảnh, chỉnh sửa ảnh tự động hoặc các ứng dụng sáng tạo hình ảnh.
3. Nhà bảo tồn di sản văn hóa và lịch sử: Sử dụng kết quả nghiên cứu để phục hồi màu sắc cho các ảnh đen trắng lịch sử, tăng giá trị lưu trữ và truyền tải thông tin văn hóa.
4. Người làm trong lĩnh vực quảng cáo, nghệ thuật số: Áp dụng mô hình để tạo ra các biến thể màu sắc mới cho ảnh đen trắng, phục vụ mục đích sáng tạo và truyền thông hiệu quả.

Câu hỏi thường gặp

1. Mô hình U-net có thể áp dụng cho ảnh đen trắng với kích thước khác không?
   Có, kiến trúc U-net không sử dụng lớp fully connected nên có thể chấp nhận ảnh đầu vào với kích thước bất kỳ, tuy nhiên cần điều chỉnh lại các tham số huấn luyện để đảm bảo hiệu quả.

2. Tại sao chọn không gian màu LAB thay vì RGB hay HSV?
   Không gian LAB phân tách rõ ràng giữa độ sáng và màu sắc, giúp mô hình dễ dàng học và dự đoán màu sắc chính xác hơn, giảm thiểu sai lệch do ánh sáng và độ bão hòa.

3. Mô hình có thể chuyển đổi màu cho ảnh có nhiều chi tiết phức tạp không?
   Mô hình hoạt động tốt với ảnh có chi tiết vừa phải, nhưng với ảnh phức tạp hoặc vùng màu đa dạng, độ chính xác giảm do khó khăn trong việc học đặc trưng màu sắc chi tiết.

4. Thời gian huấn luyện mô hình mất bao lâu?
   Trên môi trường Google Colab với GPU, thời gian huấn luyện khoảng vài ngày cho 250 epoch với bộ dữ liệu hơn 7.400 ảnh, tùy thuộc vào cấu hình phần cứng và kích thước dữ liệu.

5. Có thể áp dụng mô hình cho video đen trắng không?
   Có thể, nhưng cần xử lý từng khung hình riêng biệt hoặc phát triển thêm các mô hình học sâu chuyên biệt cho dữ liệu video để đảm bảo tính liên tục và ổn định màu sắc.

Kết luận

• Ứng dụng mạng U-net trong chuyển đổi màu cho ảnh đen trắng đạt hiệu quả cao với độ chính xác màu sắc trên 90% trên bộ dữ liệu chân dung.
• Kiến trúc U-net với kết nối bỏ qua giúp giữ lại chi tiết ảnh, cải thiện chất lượng ảnh màu đầu ra.
• Mô hình được huấn luyện và đánh giá trên bộ dữ liệu phong phú, bao gồm ảnh chân dung và phong cảnh, cho thấy khả năng tổng quát hóa tốt.
• Phương pháp học chuyển giao và tối ưu hóa mô hình là hướng phát triển tiềm năng để nâng cao hiệu quả và giảm thời gian huấn luyện.
• Đề xuất xây dựng ứng dụng thực tế và mở rộng nghiên cứu sang các mô hình GAN để nâng cao tính chân thực của ảnh màu.

Luận văn mở ra hướng đi mới cho việc ứng dụng học sâu trong xử lý ảnh, đặc biệt trong lĩnh vực phục hồi và chuyển đổi màu sắc ảnh đen trắng, góp phần nâng cao giá trị sử dụng và bảo tồn di sản hình ảnh. Các nhà nghiên cứu và phát triển phần mềm được khuyến khích tiếp tục khai thác và phát triển mô hình này trong các dự án tương lai.

Trích đoạn nội dung tài liệu

Chương 1. Học máy và Học sâu Chương 2. Bài toán chuyển đổi màu và mạng U-net Chương 3. Thực nghiệm và kết quả 2.

Mục tiêu nghiên cứu Mục tiêu của đề tài là tìm hiểu phương pháp học sâu được xây dựng trên cơ sở mạng nơ ron tích chập và có thể ứng dụng được trong bài toán đã đặt ra, phân tích, so sánh …, tìm hiểu các môi trường huấn luyện trên Kaggle và Google Colab, xây dựng và đánh giá được mô hình chuyển đổi màu ảnh đen trắng sử dụng mạng U-net trên một vài tập dữ liệu huấn luyện, trên cơ sở các tiêu chí về chất lượng ảnh. Qua đó làm rõ được hiệu quả của mô hình đã sử dụng trong việc chuyển đổi màu cho ảnh đen trắng. Đối tượng và phạm vi nghiên cứu ▪ Đối tượng nghiên cứu: Chuyển đổi màu cho ảnh đen trắng với mạng U-net, một mô hình học sâu được phát triển từ mạng Nơ ron tích chập CNN. 3 ▪ Phạm vi nghiên cứu: - Tập dữ liệu huấn luyện: Dữ liệu về phong cảnh, liệu về người, vật, thu thập từ các nguồn.

- Mô hình huấn luyện: Xây dựng từ mô hình U-net, một mô hình học sâu được phát triển trên cơ sở kiến trúc mạng Nơ-ron tích chập CNN 4. Nội dung nghiên cứu Nghiên cứu lý thuyết về học máy, học sâu với mạng Nơ-ron tích chập, cụ thể là mô hình học sâu mạng U-net để giải quyết bài toán chuyển đổi màu cho đen trắng. Tiến hành thực nghiệm, vận dụng vào việc chuyển đổi màu cho ảnh đen trắng trên mô hình huấn luyện của mạng U-net và một số bộ dữ liệu huấn luyện được chọn lọc. Sử dụng môi trường huấn luyện Google Colab để giúp tăng tốc độ huấn luyện cũng như có thể tận dụng tối đa khả năng xử lý của GPU, TPU mà các nền tảng trên cho phép sử dụng.

Kết quả thu được sẽ được so sánh sự ảnh hưởng của mô hình huấn luyện đã sử dụng đến việc chuyển đổi màu cho ảnh đen trắng cũng như khảo sát được mức độ hiệu quả của kiến trúc mạng, tác động của các bộ dữ liệu huấn luyện sử dụng trong mô hình đối với mục tiêu đề ra. Phương pháp nghiên cứu ▪ Phương pháp nghiên cứu lý thuyết: nghiên cứu các tài liệu học máy, học sâu; các mô hình ứng dụng học sâu (CNN, UNET, VGG, RESNET, …). ▪ Phương pháp nghiên cứu thực nghiệm: Vận dụng mô hình UNET để xây dựng mô hình huấn luyện việc thực hiện nhiệm vụ chuyển đổi màu cho ảnh đen trắng; ▪ Phương pháp nghiên cứu thống kê, phân tích - tổng hợp. HỌC MÁY VÀ HỌC SÂU 1.

Giới thiệu chương Trong các năm gần đây, sự bùng nổ của AI (Trí tuệ nhân tạo) và Big Data đã giúp cho con người giải quyết được nhiều bài toán khó và có nhiều đột phá mới đóng góp vào sự phát triển của cuộc cách mạng công nghiệp 4. Ở chương này, tôi sẽ trình bày cơ sở lý thuyết tổng quan về các lĩnh vực của trí tuệ nhân tạo, cụ thể đó là học máy (Machine Learning), phương pháp học sâu (Deep Learning). Đồng thời trình bày nghiên cứu về cấu trúc và hoạt động của mạng Nơ-ron tích chập (CNN); Tìm hiểu về phương pháp học chuyển giao, tình chỉnh mô hình huấn luyện. Mối liên hệ giữa các lĩnh vực của trí tuệ nhân tạo trong việc giải quyết các bài toán thực tiễn.

Tổng quan về học máy và học sâu 1. Mục tiêu của machine learning nói chung là hiểu cấu trúc dữ liệu và điều chỉnh dữ liệu đó thành các mô hình (model) để sử dụng đối với dữ liệu mới. [2] Các thuật toán học máy là các chương trình được xây dựng nhằm giúp cho máy tính học và cải thiện hiệu quả trong việc thực hiện một nhiệm vụ cụ thể dựa trên dữ liệu huấn luyện. Mô hình thu được có hiệu quả cao nếu dữ liệu huấn luyện được chuẩn bị tốt trong khâu tiền xử lý.

Các mô hình học máy thường yêu cầu lượng dữ liệu đủ lớn để "huấn luyện" và đánh giá mô hình. Trước đây, người ta thiếu dữ liệu huấn luyện mô hình. Ngày nay, với sự phong phú, đa dạng của các thư viện dữ liệu được chia sẻ từ cộng đồng nghiên cứu khoa học dữ liệu, các nguồn dữ liệu lớn (big data) 5 đã cung cấp cho các thuật toán học máy, học sâu có đủ dữ liệu huấn luyện để cải thiện độ chính xác của mô hình và dự đoán. Phân loại: Có hai loại phương pháp học máy chính ▪ Phương pháp quy nạp: Máy tính học các khái niệm dựa trên dữ liệu đã thu thập được trước đó.

▪ Phương pháp suy diễn: Máy tính học các khái niệm dựa vào các luật. Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính. Hiện nay, các thuật toán đều cố gắng tận dụng được ưu điểm của hai phương pháp này. Các nhóm giải thuật học máy: ▪ Học có giám sát: Trong học có giám sát, máy tính học cách mô hình hóa các mối quan hệ dựa trên dữ liệu được gán nhãn (labeled data).

Phương pháp này xác định giá trị/nhãn cho dữ liệu mới dựa trên quy luật được phát hiện từ tính chất của tập dữ liệu mẫu. Giám sát được thể hiện qua giá trị hoặc nhãn của dữ liệu mẫu. Hai thuật toán thường dùng sát đó là Phân loại và Hồi quy. ▪ Học không giám sát: Trong học không giám sát, máy tính không được cung cấp dữ liệu được dán nhãn mà thay vào đó chỉ được cung cấp dữ liệu mà thuật toán tìm cách mô tả dữ liệu và cấu trúc của chúng.

Hai loại thuật toán dùng trong học không giám sát đó là Phân cụm và Liên kết. ▪ Học nửa giám sát: Một dạng lai giữa hai nhóm giải thuật trên. ▪ Học tăng cường: Máy tính đưa ra quyết định hành động (action) và nhận kết quả phản hồi (response/reward) từ môi trường (environment). Sau đó máy tính tìm cách chỉnh sửa cách ra quyết định hành động của mình.

Deep learning đòi hỏi rất nhiều dữ liệu đầu vào cũng như cần hệ thống có sức mạnh tính toán hơn machine learning. Ngày nay, học sâu đã trở nên quan trọng và hiệu quả hơn nhiều thông qua phương pháp học có giám sát hoặc học từ dữ liệu và thuật toán được gắn nhãn. Mỗi thuật toán trong học sâu được thực hiện cùng một quy trình. Nó bao gồm hệ thống phân cấp biến đổi phi tuyến của đầu vào và sử dụng để tạo mô hình thống kê đầu ra.

Mạng nơ-ron nhân tạo trong Học sâu được xây dựng nhằm mô phỏng khả năng tư duy của bộ não con người. Trong một mạng nơ-ron có nhiều lớp (layer) khác nhau, số lượng lớp càng nhiều thì mạng sẽ càng “sâu”. Trong mỗi lớp là các nút mạng (node), các nút này sẽ liên kết với những nút liền kề khác, có một trọng số (weight) tương ứng ở mỗi kết nối giữa các nút mạng, trọng số càng lớn thì ảnh hưởng của kết nối này đến mạng nơ-ron càng nhiều. Mỗi nơ-ron sẽ có một hàm kích hoạt, có nhiệm vụ “chuẩn hoá” đầu ra từ nơ-ron này.

Dữ liệu được người dùng đưa vào mạng nơ-ron sẽ đi qua tất cả lớp và trả về kết quả ở lớp cuối cùng, gọi là output layer. Trong quá trình huấn luyện một mô hình mạng nơ-ron cụ thể, các trọng số sẽ được thay đổi và nhiệm vụ của mô hình là tìm ra bộ giá trị của trọng số sao cho kết quả dự đoán là tốt nhất. Các hệ thống Deep Learning luôn cần cấu hình phần cứng rất cao để có sức mạnh về RAM, CPU, GPU đủ để xử lý được lượng dữ liệu lớn và thực hiện các tính toán phức tạp. Nhiều mô hình Deep Learning có thể mất nhiều 7 tuần, nhiều tháng để triển khai trên những thiết bị có cấu hình phần cứng tiên tiến hiện nay.

Mạng Nơ-ron nhân tạo (ANN) và mạng Nơ-ron nhân tạo nhiều lớp (DNN) 1. Mạng Nơ ron nhân tạo (ANN): Hình 1.1 – Mạng nơ-ron nhân tạo ANN Mạng nơron nhân tạo, Artificial Neural Networks (ANN) là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ-ron sinh học. ANN được tạo nên từ một số lượng lớn các nơ-ron kết nối với nhau thông qua các liên kết (trọng số) làm việc như một thể thống nhất để giải quyết một nhiệm vụ cụ thể. Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng, phân loại dữ liệu, phân vùng ảnh, .) thông qua một quá trình học từ tập các mẫu huấn luyện.

Bản chất quá trình học chính là quá trình hiệu chỉnh các trọng số liên kết giữa các nơ-ron trong mạng. [3] Sau đây là sơ đồ cấu tạo của một nơ-ron nhân tạo: 8 Hình 1.2 - Cấu tạo một Nơ-ron nhân tạo Các thành phần cơ bản của một nơ-ron nhân tạo bao gồm: ▪ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơ-ron, các tín hiệu này thường được đưa vào ở dạng một vector N chiều. ▪ Tập các liên kết: Mỗi liên kết được thể hiện bằng một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được ký hiệu là wkj.

Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình huấn luyện. Hàm tổng (Summing function): được dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. Ngưỡng (còn gọi là độ lệch - bias): ngưỡng này thường được đưa vào như một thành phần của hàm truyền. ▪ Hàm truyền (Transfer function): được dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron.

Hàm truyền nhận đầu vào là kết quả của hàm tổng và ngưỡng. ▪ Đầu ra: Là tín hiệu đầu ra của một nơ-ron, mỗi nơ-ron có tối đa là một đầu ra. Xét về mặt toán học, cấu trúc của một nơ-ron k, được mô tả bằng 2 biểu thức dưới đây: [1] 𝑝 𝑢𝑘 = ∑ 𝑤𝑘𝐽 𝑥𝐽 𝐽=1 𝑣à 𝑦𝑘 = ∫(𝑏1 − 𝑏2 ) 9 Trong đó: x1, x2, ., xp: là các tín hiệu vào; (w k1, wk2,., wkp) là các trọng số liên kết của nơ-ron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền và yk là tín hiệu đầu ra của nơ-ron. Dưới đây là mô phỏng cụ thể hơn về tính toán một nơ-ron [1]: Nơ-ron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền) sau đó cho một tín hiệu đầu ra là kết quả của hàm truyền.