Luận văn tốt nghiệp: Nghiên cứu giải thuật khử nhiễu cho ảnh chụp từ điện thoại thông minh

Khám phá luận văn tốt nghiệp về giải thuật khử nhiễu ảnh chụp từ smartphone, ứng dụng trong khoa học máy tính và công nghệ hình ảnh.

• Tác giả: Nguyễn Bảo Huy
• Người hướng dẫn: TS. Nguyễn Hồ Mẫn Rạng
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Nghiên cứu giải thuật khử nhiễu trên ảnh chụp bởi các điện thoại thông minh
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI NGỎ
• TÓM TẮT NỘI DUNG
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Đặt vấn đề
• 1.2. Động lực
• 1.3. Mục tiêu
• 1.4. Giới hạn đề tài
• 1.5. Bố cục luận văn
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Quá trình xử lý ảnh của camera (Image Processing Pipeline)
• 2.2. Nguồn nhiễu trong máy ảnh kỹ thuật số
• 2.2.1. Nhiễu trong quá trình chụp ảnh (shot noise)
• 3. CHƯƠNG 3: BÀI TOÁN KHỬ NHIỄU TRÊN ẢNH
• 3.1. Mô hình hóa bài toán
• 3.2. Các mô hình nhiễu phổ biến
• 3.2.1. Phân bố Gaussian
• 3.2.2. Phân bố Poisson
• 3.2.3. Phân bố Poisson-Gaussian
• 4. CHƯƠNG 4: CÁC HƯỚNG TIẾP CẬN
• 4.1. Các phương pháp cổ điển
• 4.1.1. Sử dụng bộ lọc (Spatial domain filtering)
• 4.1.2. Khử nhiễu trên miền không gian khác (Transform techniques)
• 4.1.3. Các phương pháp khử nhiễu khác (Variational denoising methods)
• 4.2. Khử nhiễu bằng mô hình học sâu
• 4.2.1. Các bộ dữ liệu (Datasets)
• 4.2.3. Học không giám sát
• 5. CHƯƠNG 5: ĐỀ XUẤT MÔ HÌNH
• 5.1. Đề xuất mô hình
• 5.1.1. Kiến trúc mô hình
• 5.1.3. Depthwise Separable Convolution
• 5.1.2. Hướng phát triển
• DANH SÁCH BẢNG
• DANH SÁCH HÌNH VẼ

Tóm tắt

I. Giới thiệu

Trong bối cảnh công nghệ ngày càng phát triển, việc chụp ảnh bằng smartphone đã trở thành một phần không thể thiếu trong cuộc sống hàng ngày. Tuy nhiên, do hạn chế về phần cứng, chất lượng ảnh chụp từ điện thoại thường không đạt yêu cầu so với các máy ảnh chuyên nghiệp. Giải thuật khử nhiễu trở thành một giải pháp quan trọng để cải thiện chất lượng ảnh. Luận văn này tập trung vào việc nghiên cứu và phát triển một giải thuật khử nhiễu hiệu quả cho ảnh chụp từ smartphone, với mục tiêu xử lý ảnh 12MP trong vòng 1 giây. Đề tài sẽ phân tích các loại nhiễu phổ biến trong ảnh và đề xuất mô hình khử nhiễu dựa trên U-Net, nhằm nâng cao chất lượng ảnh chụp và giảm thiểu thời gian xử lý.

1.1 Tầm quan trọng của giải thuật khử nhiễu

Giải thuật khử nhiễu có vai trò rất quan trọng trong việc nâng cao chất lượng hình ảnh chụp từ smartphone. Khi chụp trong điều kiện ánh sáng yếu, ảnh thường xuất hiện nhiều nhiễu, làm giảm độ sắc nét và chất lượng tổng thể. Việc sử dụng các giải thuật khử nhiễu tiên tiến có thể giúp cải thiện đáng kể chất lượng hình ảnh, đồng thời tăng cường trải nghiệm người dùng. Nghiên cứu này tập trung vào việc phát triển các giải thuật mới, có khả năng hoạt động hiệu quả trên các thiết bị di động, nhằm đáp ứng nhu cầu ngày càng cao về chất lượng ảnh từ người dùng.

II. Kiến thức nền tảng

Chương này sẽ trình bày các kiến thức cơ bản về sensor, quá trình xử lý ảnh bên trong camera và các nguồn nhiễu thường gặp. Sensor là thành phần chính trong camera, chịu trách nhiệm chuyển đổi ánh sáng thành tín hiệu điện. Việc hiểu rõ về cấu trúc và hoạt động của sensor là rất quan trọng trong việc phát triển các giải thuật khử nhiễu. Các loại nhiễu phổ biến như nhiễu shot, nhiễu Gaussian và Poisson sẽ được phân tích, giúp xác định các phương pháp khử nhiễu phù hợp. Từ đó, chương sẽ đề xuất các mô hình khử nhiễu dựa trên kiến thức đã trình bày.

2.1 Quá trình xử lý ảnh của camera

Quá trình xử lý ảnh trong camera bao gồm nhiều bước, từ việc thu thập ánh sáng đến việc chuyển đổi thành ảnh số. Image Signal Processor (ISP) là bộ phận chính thực hiện quá trình này, đảm bảo rằng ảnh thu được có chất lượng tốt nhất. ISP xử lý ảnh RAW và chuyển đổi nó thành ảnh RGB, đồng thời thực hiện các bước như cân bằng trắng, điều chỉnh độ tương phản và khử nhiễu. Hiểu rõ quy trình này giúp phát triển các giải thuật khử nhiễu hiệu quả hơn, phù hợp với các đặc điểm của ảnh chụp từ smartphone.

III. Bài toán khử nhiễu trên ảnh

Bài toán khử nhiễu trên ảnh chụp từ smartphone được mô hình hóa thông qua các loại nhiễu khác nhau và các phương pháp khử nhiễu hiện có. Các mô hình nhiễu như Gaussian và Poisson được phân tích để hiểu rõ hơn về đặc điểm của chúng. Điều này giúp xác định các chiến lược khử nhiễu phù hợp. Bên cạnh đó, việc so sánh các mô hình khử nhiễu truyền thống với các mô hình học sâu như U-Net sẽ được thực hiện, nhằm đánh giá hiệu quả của từng phương pháp trong việc cải thiện chất lượng ảnh.

3.1 Phân tích các mô hình nhiễu

Các mô hình nhiễu phổ biến như Gaussian và Poisson có những đặc điểm riêng biệt, ảnh hưởng đến cách thức khử nhiễu. Nhiễu Gaussian thường xuất hiện trong điều kiện ánh sáng yếu, trong khi nhiễu Poisson thường liên quan đến số lượng ánh sáng thu được. Việc phân tích các mô hình này không chỉ giúp hiểu rõ hơn về nguồn gốc của nhiễu mà còn hỗ trợ trong việc phát triển các giải thuật khử nhiễu hiệu quả hơn. Chương này sẽ cung cấp cái nhìn sâu sắc về các đặc điểm của từng loại nhiễu và cách thức mà chúng ảnh hưởng đến chất lượng ảnh chụp từ smartphone.

IV. Các hướng tiếp cận khử nhiễu

Nghiên cứu này sẽ đề xuất các phương pháp khử nhiễu khác nhau, từ các phương pháp cổ điển đến các mô hình học sâu hiện đại. Các phương pháp cổ điển như bộ lọc không gian và biến thể sẽ được xem xét, đồng thời so sánh với các giải thuật học sâu như U-Net và MIRNet. Việc áp dụng các mô hình học sâu cho thấy tiềm năng lớn trong việc cải thiện chất lượng ảnh và giảm thiểu thời gian xử lý. Chương này sẽ trình bày chi tiết từng phương pháp và đánh giá hiệu quả của chúng.

4.1 Phương pháp cổ điển

Các phương pháp khử nhiễu cổ điển như lọc không gian thường được sử dụng để giảm thiểu nhiễu trong ảnh. Những phương pháp này có ưu điểm là dễ triển khai và nhanh chóng, nhưng thường không đạt được hiệu quả cao trong các tình huống phức tạp. Chương này sẽ phân tích chi tiết các phương pháp cổ điển, đồng thời chỉ ra những hạn chế của chúng trong việc xử lý ảnh chụp từ smartphone. Sự kết hợp giữa các phương pháp cổ điển và học sâu có thể tạo ra những giải pháp khử nhiễu hiệu quả hơn.

V. Đề xuất mô hình

Mô hình khử nhiễu được đề xuất trong luận văn này dựa trên kiến trúc U-Net, được thiết kế để hoạt động hiệu quả trên các thiết bị di động. Mô hình này không chỉ cải thiện chất lượng ảnh mà còn đảm bảo tốc độ xử lý nhanh chóng. Việc đánh giá mô hình sẽ được thực hiện thông qua các phép đo như PSNR và SSIM, nhằm so sánh với các mô hình khác. Chương này sẽ trình bày chi tiết về cấu trúc của mô hình, cũng như kết quả thử nghiệm và đánh giá hiệu quả của nó.

5.1 Kiến trúc mô hình

Kiến trúc của mô hình khử nhiễu U-Net được thiết kế đặc biệt để tối ưu hóa quá trình khử nhiễu trên ảnh chụp từ smartphone. Mô hình này sử dụng các lớp convolution để trích xuất đặc trưng, đồng thời áp dụng các kỹ thuật như Depthwise Separable Convolution để giảm thiểu khối lượng tính toán. Kết quả thử nghiệm cho thấy mô hình có khả năng khử nhiễu hiệu quả, đồng thời giữ lại các chi tiết quan trọng trong ảnh. Chương này sẽ cung cấp thông tin chi tiết về cấu trúc và hoạt động của mô hình.

VI. Kết luận và hướng phát triển

Luận văn đã nghiên cứu và phát triển thành công một giải thuật khử nhiễu cho ảnh chụp từ smartphone. Mô hình đề xuất không chỉ cải thiện chất lượng ảnh mà còn đảm bảo tốc độ xử lý nhanh chóng. Tuy nhiên, vẫn còn nhiều hướng phát triển trong tương lai như mở rộng khả năng xử lý cho các loại nhiễu khác nhau và tối ưu hóa hơn nữa tốc độ xử lý. Chương này sẽ tóm tắt những kết quả đạt được, đồng thời đề xuất các hướng nghiên cứu tiếp theo.

6.1 Tóm tắt kết quả

Kết quả nghiên cứu cho thấy mô hình khử nhiễu đề xuất đã đạt được chất lượng ảnh tốt với PSNR cao hơn 37.5. Mô hình cũng cho thấy khả năng xử lý nhanh chóng, đáp ứng yêu cầu thực tế khi sử dụng trên smartphone. Những thành công này mở ra cơ hội cho việc áp dụng các giải thuật khử nhiễu trong các ứng dụng thực tế, đáp ứng nhu cầu ngày càng cao của người dùng về chất lượng ảnh chụp.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh công nghệ điện thoại thông minh ngày càng phát triển, việc chụp ảnh bằng điện thoại trở nên phổ biến với khoảng 5 - 15 USD cho mỗi mô-đun camera, tuy nhiên chất lượng ảnh chụp vẫn còn nhiều hạn chế so với máy ảnh DSLR chuyên nghiệp. Sensor camera trên điện thoại có kích thước nhỏ (khoảng 5 × 4 mm) và khẩu độ cố định, dẫn đến ảnh chụp thường bị nhiễu nhiều, đặc biệt trong điều kiện thiếu sáng. Việc tăng ISO để cải thiện độ sáng ảnh cũng làm tăng mức độ nhiễu, ảnh hưởng đến chất lượng hình ảnh. Mục tiêu chính của luận văn là nghiên cứu và đề xuất giải thuật khử nhiễu trên ảnh chụp bởi điện thoại thông minh, có khả năng xử lý ảnh 12MP trong vòng 1 giây trên chip Samsung Exynos 9820, đồng thời đạt chất lượng khử nhiễu với PSNR trên 37.5. Phạm vi nghiên cứu tập trung vào ảnh RGB sau quá trình xử lý ảnh bên trong camera, không bao gồm các vấn đề như độ tương phản thấp hay mờ do chuyển động. Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao chất lượng ảnh chụp trên điện thoại thông minh, đáp ứng nhu cầu ngày càng cao của người dùng về hình ảnh sắc nét, ít nhiễu, đặc biệt trong điều kiện ánh sáng yếu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Quá trình xử lý ảnh của camera (Image Processing Pipeline): Bao gồm các bước tiền xử lý ảnh RAW, hiệu chỉnh lens shading, demosaicing, cân bằng trắng, chuyển đổi không gian màu, khử nhiễu và nén ảnh. Quá trình này giúp chuyển đổi dữ liệu thô từ sensor thành ảnh RGB chất lượng cao.

• Mô hình nhiễu ảnh: Nhiễu trong ảnh được mô hình hóa chủ yếu theo các phân phối Gaussian, Poisson và Poisson-Gaussian (heteroscedastic Gaussian model). Mô hình này phản ánh thực tế nhiễu ảnh do photon, nhiễu đọc và các nguồn nhiễu khác.

• Các phương pháp khử nhiễu: Bao gồm các phương pháp cổ điển như bộ lọc trung bình, Gaussian, song phương, non-local means; các phương pháp biến phân (variational denoising) với regularization; và các mô hình học sâu (CNN) với kiến trúc single-scale, multi-scale và hybrid như DnCNN, RIDNet, CycleISP, U-Net, MIRNet.

• Độ đo chất lượng ảnh: Sử dụng PSNR và SSIM để đánh giá hiệu quả khử nhiễu, trong đó PSNR đo tỷ lệ tín hiệu trên nhiễu và SSIM đánh giá độ tương đồng cấu trúc ảnh.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng các bộ dữ liệu ảnh nhiễu thực tế như Darmstadt Noise Dataset (DND) và Smartphone Image Denoising Dataset (SIDD), bao gồm ảnh RAW và RGB với các mức độ nhiễu đa dạng, chụp từ nhiều dòng điện thoại khác nhau.

• Phương pháp phân tích: Thiết kế và huấn luyện mô hình CNN dựa trên kiến trúc U-Net được tối ưu để chạy trên điện thoại thông minh với chip Exynos 9820. So sánh hiệu quả khử nhiễu và thời gian xử lý với các mô hình học sâu khác như DnCNN, RIDNet, CycleISP, MIRNet.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 3 đến tháng 7 năm 2021, bao gồm khảo sát lý thuyết, thiết kế mô hình, huấn luyện, đánh giá và hoàn thiện luận văn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình đề xuất: Mô hình CNN dựa trên U-Net được tinh chỉnh có thể xử lý ảnh 1MP trong khoảng 100ms trên chip Exynos 9820, tương đương xử lý ảnh 12MP trong vòng 1.2 giây, đáp ứng mục tiêu thời gian xử lý đề ra. Chất lượng ảnh khử nhiễu đạt PSNR trên 37, gần đạt yêu cầu > 37.5.

2. So sánh với các mô hình khác: Mô hình đề xuất có thời gian xử lý nhanh hơn đáng kể so với các mô hình như RIDNet, CycleISP và MIRNet trên cùng thiết bị, trong khi chất lượng ảnh khử nhiễu tương đương hoặc tốt hơn một số mô hình truyền thống.

3. Ảnh hưởng của kiến trúc mạng: Việc sử dụng kiến trúc encoder-decoder (multi-scale) giúp giảm đáng kể độ phức tạp tính toán so với kiến trúc high-resolution, đồng thời bảo toàn được các chi tiết ảnh nhờ skip-connection dạng cộng tensor thay vì concatenate, giảm số lượng kênh và thời gian xử lý.

4. Khả năng khử nhiễu trên ảnh thực tế: Mô hình có thể loại bỏ hiệu quả các nhiễu phổ biến trong ảnh chụp điện thoại, đặc biệt trong điều kiện thiếu sáng với mức ISO cao, cải thiện rõ rệt độ sắc nét và độ tương phản của ảnh.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình đạt được hiệu quả là do thiết kế tối ưu các khối convolution, sử dụng transposed convolution cho upsample/downsample giúp mô hình tự động học kernel phù hợp, đồng thời giảm số lượng phép toán so với các mô hình phức tạp khác. Việc thay thế skip-connection bằng phép cộng tensor giúp giảm tải bộ nhớ và tăng tốc độ xử lý mà vẫn giữ được thông tin quan trọng từ encoder.

So với các nghiên cứu trước đây, mô hình đề xuất tập trung vào cân bằng giữa chất lượng khử nhiễu và tốc độ xử lý trên thiết bị di động, điều mà nhiều mô hình học sâu hiện nay chưa tối ưu. Kết quả cũng cho thấy việc khử nhiễu trên ảnh RGB sau demosaicing có thể mang lại hiệu quả tốt hơn so với khử nhiễu trên ảnh RAW, phù hợp với thực tế triển khai trên điện thoại.

Tuy nhiên, mô hình hiện tại vẫn còn hạn chế về khả năng ghép nối ảnh sau xử lý do ảnh được chia thành các section nhỏ, ảnh kết quả không liên tục và có thể bị cắt rời. Đây là điểm cần cải thiện trong các nghiên cứu tiếp theo để ứng dụng thực tế hiệu quả hơn.

Dữ liệu kết quả có thể được trình bày qua biểu đồ so sánh PSNR và thời gian xử lý của các mô hình trên cùng thiết bị, cũng như bảng tổng hợp chi tiết kiến trúc và thông số kỹ thuật của mô hình đề xuất.

Đề xuất và khuyến nghị

1. Tối ưu hóa mô hình cho thiết bị di động: Tiếp tục nghiên cứu giảm số lượng phép toán convolution bằng các kỹ thuật như depthwise separable convolution, pruning hoặc quantization để tăng tốc độ xử lý, hướng tới xử lý ảnh 12MP dưới 1 giây.

2. Phát triển thuật toán ghép nối ảnh: Nghiên cứu giải pháp xử lý ảnh nguyên khối thay vì chia nhỏ section, hoặc phát triển thuật toán ghép nối các section ảnh sau xử lý để tạo ra ảnh hoàn chỉnh, tránh hiện tượng cắt rời.

3. Mở rộng bộ dữ liệu huấn luyện: Thu thập và xây dựng thêm bộ dữ liệu ảnh nhiễu thực tế đa dạng hơn, bao gồm nhiều điều kiện ánh sáng và thiết bị khác nhau, nhằm nâng cao khả năng tổng quát của mô hình.

4. Triển khai ứng dụng thực tế: Phát triển ứng dụng demo trên nền tảng Android để kiểm thử mô hình trong điều kiện thực tế, đồng thời thu thập phản hồi người dùng để cải tiến chất lượng và trải nghiệm.

5. Đào tạo và chuyển giao công nghệ: Tổ chức các khóa đào tạo, hội thảo cho các nhà phát triển phần mềm và kỹ sư xử lý ảnh về mô hình khử nhiễu học sâu trên điện thoại, thúc đẩy ứng dụng rộng rãi trong ngành công nghiệp di động.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Thị giác máy tính: Có thể sử dụng luận văn làm tài liệu tham khảo về các phương pháp khử nhiễu ảnh, kiến trúc mạng CNN tối ưu cho thiết bị di động.

2. Kỹ sư phát triển phần mềm ứng dụng di động: Áp dụng mô hình và giải thuật đề xuất để cải thiện chất lượng ảnh chụp trong các ứng dụng camera trên smartphone.

3. Nhà sản xuất và thiết kế phần cứng camera điện thoại: Hiểu rõ các giới hạn phần cứng và cách bù trừ bằng phần mềm, từ đó phối hợp phát triển phần cứng và phần mềm tối ưu.

4. Chuyên gia trong lĩnh vực xử lý ảnh số và truyền thông: Nghiên cứu các giải pháp nâng cao chất lượng ảnh trong điều kiện nhiễu cao, đặc biệt trong môi trường thiếu sáng hoặc thiết bị có phần cứng hạn chế.

Câu hỏi thường gặp

1. Tại sao cần khử nhiễu ảnh trên điện thoại thông minh?
   Ảnh chụp từ điện thoại thường bị nhiễu do sensor nhỏ, khẩu độ cố định và điều kiện ánh sáng yếu. Khử nhiễu giúp cải thiện chất lượng ảnh, tăng độ sắc nét và độ tương phản, nâng cao trải nghiệm người dùng.

2. Mô hình học sâu nào phù hợp để khử nhiễu trên điện thoại?
   Các mô hình CNN dạng encoder-decoder như U-Net được tối ưu giúp cân bằng giữa chất lượng và tốc độ xử lý, phù hợp với giới hạn phần cứng của điện thoại thông minh.

3. Tại sao lại ưu tiên khử nhiễu trên ảnh RGB thay vì ảnh RAW?
   Khử nhiễu trên ảnh RGB sau demosaicing giúp mô hình tận dụng được thông tin màu sắc đầy đủ và có thể xử lý hiệu quả hơn do nhiễu không còn độc lập giữa các pixel như trong ảnh RAW.

4. Làm thế nào để đảm bảo mô hình chạy nhanh trên điện thoại?
   Tối ưu kiến trúc mạng bằng cách giảm số lượng phép toán convolution, sử dụng các kỹ thuật upsample/downsample hiệu quả, và tận dụng GPU tích hợp trên điện thoại thông minh.

5. Mô hình có thể xử lý ảnh lớn hơn 12MP không?
   Hiện tại mô hình xử lý ảnh 12MP trong khoảng 1 giây trên chip Exynos 9820. Với ảnh lớn hơn, cần chia nhỏ ảnh hoặc tối ưu thêm mô hình để đảm bảo thời gian xử lý phù hợp.

Kết luận

• Đã thiết kế và triển khai thành công mô hình CNN dựa trên kiến trúc U-Net tối ưu cho khử nhiễu ảnh chụp từ điện thoại thông minh, đáp ứng yêu cầu xử lý ảnh 12MP trong vòng 1 giây trên chip Exynos 9820.
• Mô hình đạt chất lượng khử nhiễu với PSNR trên 37, cải thiện rõ rệt so với các phương pháp truyền thống và một số mô hình học sâu hiện có.
• Kiến trúc encoder-decoder với skip-connection dạng cộng tensor giúp giảm đáng kể thời gian xử lý mà vẫn bảo toàn chi tiết ảnh.
• Nghiên cứu chỉ ra ưu điểm của việc khử nhiễu trên ảnh RGB sau demosaicing, phù hợp với thực tế triển khai trên điện thoại.
• Đề xuất các hướng phát triển tiếp theo bao gồm tối ưu mô hình, phát triển thuật toán ghép nối ảnh, mở rộng bộ dữ liệu và triển khai ứng dụng thực tế.

Khuyến khích các nhà nghiên cứu và kỹ sư tiếp tục phát triển mô hình, thử nghiệm trên nhiều thiết bị khác nhau và ứng dụng trong các sản phẩm camera điện thoại để nâng cao chất lượng ảnh chụp cho người dùng.

Trích đoạn nội dung tài liệu

Đặt vấn đề Hiện nay, đa số mọi người đều chụp hình bằng điện thoại thông minh. Điều này khá dễ hiểu bởi điện thoại thông minh vô cùng phổ biến, nhỏ gọn, dễ mang theo và khi chụp hình cũng không cần phải tinh chỉnh quá nhiều so với các dòng máy ảnh DSLR chuyên nghiệp. Tuy nhiên, đánh đổi với sự tiện lợi đó, các camera trên điện thoại sẽ có một vài hạn chế nhất định về phần cứng, cũng như là chất lượng ảnh chụp sẽ thấp hơn nhiều so với các dòng máy ảnh DSLR. Vì chụp hình đơn thuần chỉ là một tính năng nhỏ trên điện thoại, cho nên các nhà sản xuất sẽ cố gắng hạ giá thành của mô-đun (module) camera này xuống thấp nhất có thể (khoảng 5 - 15 USD cho một đơn vị).

Sensor của các loại camera này có kích thước rất nhỏ, khoảng 5 × 4 mm; trong khi đó kích thước sensor của DSLR là 36 × 24 mm [6]. Khẩu độ (aperture), tiêu cự (focal length) của các loại sensor này sẽ luôn cố định mà không thể thay đổi được như DSLR. Do đó, các nhà sản xuất điện thoại thường phải bổ sung thêm 2 - 3 camera có tiêu cự khác nhau để có thể phát triển các tính năng chụp góc rộng, zoom. Ngoài ra, khi chụp hình trong điều kiện thiếu sáng (ví dụ: ngược sáng, trời tối), vì kích thước sensor nhỏ, khẩu độ cố định dẫn đến lượng ánh sáng đi vào camera thấp, ảnh chụp được thường sẽ rất tối, mắt người hầu như khó mà có thể phân biệt được các chi tiết bên trong ảnh.

Để khắc phục vấn đề này, người ta thường tăng thời gian phơi sáng (exposure time) hoặc tăng giá trị ISO của camera. Mặc dù hai cách này đều giúp ảnh chụp sáng hơn, tuy nhiên chúng cũng mang lại những bất lợi khác. Tăng thời gian phơi sáng thường sẽ làm ảnh bị mờ khi chụp các vật thể chuyển động (motion blur), trong khi tăng giá trị 1 GIỚI THIỆU ISO sẽ giúp sensor nhạy sáng hơn nhưng đồng thời cũng lại làm mức độ nhiễu trong ảnh tăng cao. Bất lợi này được thể hiện rõ trong hình 1.

Google Pixel, ISO 100, Normal Light Google Pixel, ISO 10000, Normal Light Noisy Clean Noisy Clean Hình 1.1: Mức độ nhiễu trong ảnh tăng cao khi tăng giá trị ISO của camera.2 Động lực Mặc dù gặp những bất lợi về mặt phần cứng camera sensor nhưng khả năng tính toán của điện thoại thông minh lại vượt trội hơn rất nhiều so với các dòng máy DSLR. Các con chip CPU trên điện thoại hiện nay, tuy không thể so sánh với các dòng CPU dành riêng cho máy tính, nhưng vẫn có khả năng thực hiện số lượng lớn các phép toán (114.2 GFLOPS đối với Qualcomm Snapdragon 855), và được tích hợp sẵn bộ xử lý đồ họa GPU bên trong. Bên cạnh đó, kết quả của các mô hình học sâu đã vượt trội hơn rất nhiều các giải thuật truyền thống, cùng với sự hỗ trợ của thư viện học sâu Tensorflow Lite dành cho điện thoại thông minh, việc áp dụng mô hình học sâu để khử nhiễu cho ảnh chụp bởi điện thoại là một điều khả thi.3 Mục tiêu Trong phạm vi của đề tài, nhóm sẽ tập trung giải quyết bài toán khử nhiễu cho ảnh với hai mục tiêu chính: • Đề xuất mô hình khử nhiễu cho ảnh chạy trực tiếp trên điện thoại. • So sánh và đánh giá về mặt thời gian xử lý trên điện thoại và khả năng khử nhiễu của các mô hình học sâu.4 Giới hạn đề tài Ảnh chụp bởi camera trên điện thoại ngoài nhiễu ra thì còn chịu những ảnh hưởng khác như là độ tương phản thấp, độ phân giải thấp hay bị mờ do ngoại cảnh (motion blur).

Tuy nhiên, trong phạm vi của đề tài, nhóm sẽ chỉ tập trung giải quyết bài toán khử nhiễu cho ảnh chụp từ điện thoại. Đồng thời, mô hình được đề xuất cần đảm bảo được hai yêu cầu sau về tốc độ xử lý và chất lượng khử nhiễu: • Xử lý được ảnh có kích thước 12 MP (12 Megapixel) trong vòng 1 giây trên con chip Samsung Exynos 9820. • Chất lượng khử nhiễu của mô hình cần đạt được PSNR > 37.5 Bố cục luận văn Phần còn lại của luận văn sẽ được tổ chức như sau. Chương 2 sẽ cung cấp kiến thức cơ bản về sensor của camera, quá trình xử lý ảnh bên trong camera, và các nguồn nhiễu có thể xuất hiện trong quá trình chụp.

Tiếp theo, chương 3 sẽ mô hình hóa bài toán khử nhiễu, giới thiệu các mô hình nhiễu phổ biến và các độ đo thường được sử dụng để so sánh và đánh giá các phương pháp, giải thuật khử nhiễu. Các phương pháp dùng để khử nhiễu cho ảnh sẽ được trình bày chi tiết ở chương 4. Chương 5 và chương 6 sẽ đề xuất mô hình khử nhiễu mới, trình bày các thí nghiệm cũng như so sánh và đánh giá chất lượng khử nhiễu, thời gian xử lý của các mô hình khác trên điện thoại di động. Cuối cùng, chương 7 sẽ tóm tắt công việc, kết quả đạt được, những khó khăn và hạn chế trong quá trình thực hiện luận văn.

3 Chương 2 Kiến thức nền tảng Chương này sẽ trình bày các kiến thức cơ bản về sensor, quá trình camera xử lý dữ liệu thô thu được từ sensor để cho ra ảnh chất lượng cao cuối cùng. Đồng thời, chi tiết về các nguồn nhiễu chính thường xuất hiện trong ảnh cũng sẽ được đề cập.1 Quá trình xử lý ảnh của camera (Image Process- ing Pipeline) 2.1 Camera sensor Thay vì sử dụng các tấm phim hóa học để lưu trữ ánh sáng, máy ảnh kỹ thuật số DSLR thay thế chúng bằng sensor nhạy sáng. Camera sensor bao gồm hàng triệu điểm nhạy sáng (photodiode) được sắp xếp dưới dạng mảng hai chiều. Mỗi photodiode sẽ tương ứng với một điểm ảnh (pixel), số lượng photodiode càng lớn thì số lượng pixel cũng sẽ càng lớn.

Các photodiode này sẽ thu thập các hạt photon trong tia sáng và chuyển thành các hạt điện tích electron để lưu trữ (hình 2. Độ sáng của pixel sẽ tỉ lệ thuận với số lượng electron. Trên các photodiode, người ta sẽ đặt một màng lọc ánh đơn sắc (color filter) để lấy các ánh sáng đơn sắc cần thiết cho việc tái tạo màu sắc trong ảnh. Một trong các màng lọc ánh sáng đơn sắc phổ biến đó là màng lọc Bayer (Bayer filter) (hình 2.

Sau khi sensor đã lọc được ánh sáng đơn sắc, năng lượng của các electron mà các photodiode thu thập sẽ được chuyển thành điện áp (voltage) và được khuếch đại để có thể thực hiện số hóa (analog to digital) thành các giá trị độ sáng. Khoảng giá trị của các giá trị độ sáng này phụ thuộc vào số lượng bit mà sensor có thể biểu diễn, thường 10 - 4 KIẾN THỨC NỀN TẢNG 14 bit (tương ứng với 1024 - 16384 giá trị). Kết thúc bước này, chúng ta thu được mảng dữ liệu hai chiều chứa đựng thông tin độ sáng môi trường, được gọi là ảnh RAW. Mặc dù ảnh RAW chứa đựng thông tin màu sắc, nhưng hiện tại nó chỉ có một kênh màu.

Vì thế, mục tiêu chính của quá trình xử lý ảnh bên trong camera sẽ chuyển ảnh RAW sang ảnh RGB để hiển thị cho phù hợp với thị giác của con người. Bên cạnh đó, vì các hàm nhạy sáng (spectral sensitive) của các bộ lọc ánh sáng đơn sắc (color filter) là riêng biệt đối với từng loại sensor (hình 2.1c), do đó ngoài việc chuyển đổi từ ảnh RAW sang ảnh RGB, quá trình xử lý ảnh cũng đảm nhận vai trò chuyển các giá trị màu từ không gian màu của sensor sang một không gian màu chuẩn, độc lập với không gian màu của sensor, ví dụ như là không gian màu CIE 1931 XYZ. (a) Camera Sensor (b) Cấu tạo của sensor (c) Quang phổ của ánh sáng đơn sắc Hình 2.2 Quá trình xử lý ảnh của camera Bên trong hệ thống camera sẽ có một con chip riêng biệt đảm nhận vai trò chuyển từ ảnh RAW sang ảnh RGB. Con chip này được gọi là Image Signal Processor (ISP).

Bayer / RAW Processing Unit Image Processing Unit Color Raw Image Bayer Color Space Tone-mapping White Balance manipulation Pre-processing Demosaicing Transform (photo-finishing) (photo-finishing) Image resizing JPEG Output color Save to file (including Sharpening Noise reduction compression space conversion digital zoom) Hình 2.2: Quá trình xử lý ảnh bên trong camera.2 mô tả một ISP đơn giản [7, 6]. Tương ứng với từng loại sensor, quá trình này sẽ có một vài thay đổi nhỏ để phù hợp với phần cứng. Bên cạnh đó, các nhà sản xuất 5 KIẾN THỨC NỀN TẢNG camera cũng sẽ tinh chỉnh các giải thuật xử lý ảnh và các tham số bên trong ISP để ảnh chụp được có chất lượng tốt nhất cũng như tạo ra sự khác biệt với các đối thủ cạnh tranh. Raw image pre-processing: Ở một số sensor, các pixel có giá trị độ sáng thấp nhất (BlackLevel) không phải là giá trị 0 mà là một con số cụ thể nào đó ví dụ như là 32 hoặc 64.

Cho nên, để có thể mô tả chính xác màu đen tuyệt đối mang giá trị độ sáng là 0, và màu trắng là 1, bước đầu của tiền xử lý ảnh RAW là đưa các giá trị độ sáng này về giá trị 0 và thực hiện chuẩn hóa về trong khoảng [0, 1]. ISP sẽ sử dụng hai giá trị BlackLevel và WhiteLevel (giá trị độ sáng cao nhất mà sensor phản ứng) của camera để thực hiện. Hai giá trị này phụ thuộc vào từng loại sensor và từng cấu hình khi chụp của camera. Trong trường hợp hai giá trị này không được cung cấp sẵn, ISP sẽ thay thế bằng hai giá trị độ sáng nhỏ nhất và lớn nhất trong ảnh RAW.

Trong quá trình sản xuất, đôi khi các photodiode trên sensor sẽ bị lỗi, dẫn đến một số pixel sẽ mô tả sai lệch đi so với độ sáng thực tế. Các photodiode luôn trả về các giá trị cao (hot pixel) hoặc không trả về giá trị nào (dead pixel) đều được xem là lỗi. Đây là sai sót không thể tránh khỏi trong quá trình sản xuất. Vì thế, đi kèm theo camera sensor sẽ là defective pixel mask đánh dấu vị trí của các pixel lỗi đã được nhà sản xuất ước tính từ trước.

Bước tiếp theo của quá trình tiền xử lý ảnh RAW là thực hiện sửa chữa các pixel bị lỗi. Ở bước này, người ta thường sử dụng các phương pháp nội suy để tìm các giá trị độ sáng còn thiếu tại các vị trí này dựa trên độ sáng của các pixel lân cận. Cuối cùng của bước tiền xử lý ảnh RAW là lens shading correction. Ánh sáng qua ống kính của camera sẽ không phủ đều sensor, mà sẽ tập trung mạnh ở tâm ảnh và giảm dần về hai bên.

Điều này khiến cho độ sáng của toàn bộ ảnh không đều.3 mô tả quá trình lens shading correction.