Luận văn: Nghiên cứu phương pháp phân đoạn ngữ nghĩa ảnh gán nhãn vùng món ăn

Nghiên cứu các phương pháp phân đoạn ngữ nghĩa ảnh để gán nhãn vùng chính xác trên ảnh món ăn. Khám phá mô hình và kết quả thực nghiệm chi tiết.

• Tác giả: Đỗ Tuấn Khải
• Người hướng dẫn: TS. Nguyễn Thị Oanh
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Phương Pháp Phân Đoạn Ngữ Nghĩa Ảnh Cho Bài Toán Gán Nhãn Vùng Trên Ảnh Món Ăn
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Tóm tắt

I. Khái niệm về Phân đoạn Ngữ nghĩa Ảnh

Phân đoạn ngữ nghĩa ảnh là một kỹ thuật quan trọng trong xử lý ảnh và thị giác máy tính, giúp phân loại từng pixel trong ảnh thành các vùng có ý nghĩa. Đối với ảnh món ăn, kỹ thuật này cho phép máy tính nhận diện và phân biệt các thành phần khác nhau như thịt, rau, nước sốt và các nguyên liệu khác. Phương pháp này sử dụng mạng nơ-ron tích chập sâu (Deep Convolutional Neural Networks - DCNN) để học các đặc trưng từ dữ liệu huấn luyện. Phân đoạn ngữ nghĩa không chỉ xác định vị trí mà còn gán nhãn ý nghĩa cho từng vùng, giúp ứng dụng thực tế trong công nghệ thực phẩm, ẩm thực và tự động hóa nhà bếp trở nên khả thi hơn bao giờ hết.

1.1. Định nghĩa và Tầm quan trọng

Phân đoạn ngữ nghĩa là quá trình gán nhãn cho từng pixel dựa trên lớp đối tượng mà nó thuộc về. Với ảnh thực phẩm, điều này cho phép xác định chính xác các thành phần riêng biệt. Tầm quan trọng nằm ở khả năng hỗ trợ các ứng dụng như phân tích dinh dưỡng tự động, kiểm chất lượng thực phẩm và hệ thống gợi ý menu thông minh.

1.2. Sự khác biệt với các phương pháp khác

Khác với phát hiện vật thể chỉ vẽ hộp giới hạn, phân đoạn ngữ nghĩa cung cấp ranh giới pixel chính xác cho từng thành phần. Phân đoạn thể hiện thêm phân biệt từng cá thể riêng lẻ, nhưng đối với món ăn, phân đoạn ngữ nghĩa thường đủ hiệu quả và tiết kiệm tính toán hơn.

II. Phương pháp và Kiến trúc Mạng Nơ ron

Các phương pháp phân đoạn ngữ nghĩa ảnh hiện đại sử dụng kiến trúc mạng nơ-ron tiên tiến. Mạng Fully Convolutional Networks (FCN) là nền tảng ban đầu, sau đó được cải tiến bằng U-Net, DeepLab và PSPNet (Pyramid Scene Parsing Network). Đối với bài toán phân đoạn ảnh món ăn, các phương pháp này sử dụng encoder-decoder architecture để rút trích đặc trưng và tái thiết lập ảnh ngữ nghĩa. Mạng nơ-ron tích chập với các lớp cuộc lại (convolution layers) và pooling giúp bắt nắm thông tin từ các mức độ khác nhau. Các công nghệ như Atrous Spatial Pyramid Pooling (ASPP) tăng cường khả năng tiếp nhận ngữ cảnh đa tỷ lệ, vô cùng hữu ích cho việc nhận diện các thành phần thực phẩm có kích thước đa dạng.

2.1. Kiến trúc FCN và U Net

FCN (Fully Convolutional Networks) loại bỏ lớp fully connected, cho phép xử lý ảnh kích thước bất kỳ. U-Net thêm các đường kết nối bỏ qua (skip connections) giữa encoder và decoder, cải thiện khả năng bảo toàn chi tiết ranh giới. Đặc biệt hiệu quả cho các ảnh y tế và thực phẩm có yêu cầu độ chính xác cao.

2.2. DeepLab và PSPNet

DeepLab sử dụng convolution giãn (dilated convolution) để mở rộng trường tiếp nhận mà không tăng tham số. PSPNet áp dụng pyramid pooling để nắm bắt ngữ cảnh đa tỷ lệ. Cả hai mô hình đều vượt trội trong phân đoạn ngữ nghĩa ảnh đồ ăn, cho độ chính xác lên đến 90% trên các bộ dữ liệu tiêu chuẩn.

III. Xây dựng Dữ liệu và Huấn luyện Mô hình

Việc xây dựng bộ dữ liệu chất lượng cao là bước quan trọng nhất cho phân đoạn ngữ nghĩa ảnh thực phẩm. Dữ liệu huấn luyện phải bao gồm hình ảnh đa dạng về điều kiện ánh sáng, góc chụp và các loại món ăn khác nhau. Mỗi ảnh cần được gán nhãn thủ công (ground truth) với độ chính xác cao, xác định ranh giới của từng thành phần. Quá trình huấn luyện mạng bao gồm lựa chọn các siêu tham số như batch size, tỷ lệ học (learning rate) và output stride. Việc điều chỉnh các tham số này ảnh hưởng trực tiếp đến chất lượng mô hình. Hàm mất mát thường sử dụng cross-entropy hoặc dice loss để đo lường sai khác giữa dự đoán và nhãn thực tế, giúp tối ưu hóa hiệu suất mô hình.

3.1. Chuẩn bị và Gán nhãn Dữ liệu

Dữ liệu huấn luyện cho phân đoạn ảnh món ăn cần bao gồm ít nhất 1000-2000 ảnh được gán nhãn chi tiết. Ground truth được tạo bằng cách vẽ tay các đường ranh giới hoặc sử dụng công cụ bán tự động. Độ phân giải ảnh nên từ 512x512 pixel trở lên để bảo toàn chi tiết các thành phần nhỏ của thức ăn.

3.2. Tối ưu hóa Tham số Huấn luyện

Batch size ảnh hưởng đến tốc độ hội tụ và bộ nhớ; giá trị 8-16 thường phù hợp. Tỷ lệ học (0.0001-0.01) cần được điều chỉnh cẩn thận để tránh underfitting hoặc overfitting. Output stride (16 hoặc 8) quyết định độ phân giải bản đồ đặc trưng, ảnh hưởng trực tiếp đến chất lượng phân đoạn ngữ nghĩa.

IV. Ứng dụng và Đánh giá Kết quả

Phân đoạn ngữ nghĩa ảnh không chỉ có giá trị học thuật mà còn ứng dụng rộng rãi trong công nghiệp thực phẩm. Các ứng dụng thực tế bao gồm hệ thống phân tích dinh dưỡng tự động, giúp tính toán calo và thành phần dinh dưỡng chính xác. Kiểm soát chất lượng thực phẩm sử dụng kỹ thuật này để phát hiện khuyết tật hoặc thành phần không mong muốn. Ứng dụng nhà bếp thông minh có thể gợi ý công thức dựa trên các thành phần được nhận diện. Đánh giá mô hình thường dùng các chỉ số như Intersection over Union (IoU), Pixel Accuracy và Mean Intersection over Union (mIoU). Các nghiên cứu gần đây cho thấy mô hình đạt mIoU từ 85-92% trên các bộ dữ liệu tiêu chuẩn, chứng tỏ phân đoạn ngữ nghĩa đã đạt mức độ sử dụng thực tiễn cao.

4.1. Ứng dụng Thực tế trong Công nghiệp Thực phẩm

Ứng dụng phân đoạn ngữ nghĩa trong nhà máy thực phẩm giúp tự động phân loại và kiểm chất lượng sản phẩm với tốc độ cao. Các hệ thống camera kết nối AI có thể xác định thành phần, kích thước portion và phát hiện tạp chất. Ứng dụng di động cho người tiêu dùng giúp theo dõi lượng calo và dưỡng chất thực phẩm tiêu thụ.

4.2. Tiêu chí Đánh giá và Kết quả Hiện tại

IoU (Intersection over Union) đo tỷ lệ giao điểm trên hợp giữa dự đoán và nhãn thực. Pixel Accuracy tính tỷ lệ pixel đúng. mIoU (Mean IoU) là trung bình IoU trên tất cả lớp. Các mô hình DeepLab v3+ đạt mIoU 88-92% trên ảnh thực phẩm, đủ để triển khai ứng dụng thương mại.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu bài loan 11 Dạtvễnđể.2 _ Phân đoạn ngữ nghĩa anh là gi 1⁄3 Các vẫn đề cân giải quyết trang bải toán. Chương 2: Cơ sẻ lý thuyết và một số phương pháp phân đoạn ngữ nghĩa ảnh. Tiêu chỉ đánh giá kết quả phân đoạn ngữ nghữa.2 Một số kiến trúc mạng nơ-ron tích: chập,.5 So sánh các kiên rúc mạng CNN. 23 Cáo kỹ thuật upsampling 231 Unpooling 33.2 Giải tích chập (đeconvohtion) 3.3 Ky thndl ndi suy tuyén tink 2 chigu (bilinear inteporation).

i) 24 Các kỹ thuật kết hợp thông tin ngữ cảnh 41 Mô hình để thị xác xuất CRE' k9 A. Tích chập giãn (atrous/diated convolution). be 25 Một số mô hình phân doạn ngữ nghĩa ảnh.1 Mô hình mạng nơxon tích chập đẩy đủ.3 Môhinhmạng CNN-CRF. cà si 3 + Đổi với tham số tỷ lê học và output stride, thực hiện quá trình huấn luyện với các giả trị khác mô hình đề xuất đề đảnh giả vả lựa chọn tham số tết nhất.

Sửa một số lỗi chính tà. Tà Nội, ngày 26 tháng 11 năm 2018 Giáo viên hướng dẫn Tác giả luận văn 'TS Nguyễn Thị Oanh Dỗ Tuấn Khải CHỦ TỊCH HỘI ĐÔNG PGS.TS Trần Đình Khang LOT CAM ON ‘Trude tiên, tôi xin gửi lời căm ơn sâu sắc tới T8 Nguyễn Thị Oanh lộ môn Hệ thống thông tin, Viện Công nghệ thông tin và truyền thang, Pai hoe Bach khoa. Hà Nội, người đã tân tình hướng dẫn tôi từ những bước nghiên cứu đầu tiên cho đến hi han thank lun van nay. 'Tôi xin chân thành cắm ơn các thấy cõ trong bộ mòn Hệ thông thông tin Đại học Bách khoa TIà Nội đã hễ trợ tôi rất nhiều vê kiến thức chuyên môn trong quá trình thực hiện, hoàn thành dễ tài Cuối cùng, xin gửi lời cảm ơn tới gia đình và bạn bẻ, nguồn dộng viên tình thân to lớn với tôi, luôn cễ vũ và tin tưỡng tôi.

1à Nội, tháng 10/2018 Đỗ Tuấn Khải TỚI CAM BOAN Tôi xin cam đoan luận văn “Nghiên cúu phương pháp phân đoạn ngữ nghĩa ảnh cho bài luân gản nhấn vùng trên ảnh món ăn” là công trình nghiên cứu của riêng tôi. Các số liều được công bỏ trong luận văn là hoàn toàn trung thực và chưa từng được công bỏ trong công trình khoa học nao khác. Tôi đã trích dan day đủ các tải liệu tham khảo, cảng trinh nghiên cứu có liên. quan lrong nước và quốc lễ, Tôi cam đoán không sao chép, sử dụng lại bất cứ số liệu, kết quả nghiền cứu khác má không ghủ rõ tải liệu tham khảo.

Ngoài các tải liệu tham khảo có liên quan thì luận văn này là kết quả nghiên cứu của cá nhân tôi. Tà Nặi, tháng 10/2018 Đỗ Tuấn Khải w Danh muc bang láng 2.1 - Dộ chính xác phên đoạn ngữ nghĩa của các mạng FCN .2 - So simh két qua phân đoạn của các nô hình.1 - Cac lop déi tuong trong tap dé ligu tui nghiém.2 -So sanh két qua thit nghiém wén cae mé hinh cải đặt LOT CAM ON ‘Trude tiên, tôi xin gửi lời căm ơn sâu sắc tới T8 Nguyễn Thị Oanh lộ môn Hệ thống thông tin, Viện Công nghệ thông tin và truyền thang, Pai hoe Bach khoa. Hà Nội, người đã tân tình hướng dẫn tôi từ những bước nghiên cứu đầu tiên cho đến hi han thank lun van nay. 'Tôi xin chân thành cắm ơn các thấy cõ trong bộ mòn Hệ thông thông tin Đại học Bách khoa TIà Nội đã hễ trợ tôi rất nhiều vê kiến thức chuyên môn trong quá trình thực hiện, hoàn thành dễ tài Cuối cùng, xin gửi lời cảm ơn tới gia đình và bạn bẻ, nguồn dộng viên tình thân to lớn với tôi, luôn cễ vũ và tin tưỡng tôi.

1à Nội, tháng 10/2018 Đỗ Tuấn Khải 3.4 Mô hình mạng PSPNG.5 Cáo mồ hình I2eeplab.6 So sảnh cac mô hình Chương 3: Mô hình thứ nghiệm và đánh giá.1 Tựa chọn mô hình thử nghiệm 3. Xây dựng lập dữ liệu thử nghiệm 33.1 Môi trường cải đặt.2 Bước huấn luyện mạng 33. Danh giá kết quả thứ nghiệm. Chương 4: Kết luận và hướng phát triển.3 Hưởng phát triển TÀI LIỆU THAM KHẢO.

nhe eerdee + Đổi với tham số tỷ lê học và output stride, thực hiện quá trình huấn luyện với các giả trị khác mô hình đề xuất đề đảnh giả vả lựa chọn tham số tết nhất. Sửa một số lỗi chính tà. Tà Nội, ngày 26 tháng 11 năm 2018 Giáo viên hướng dẫn Tác giả luận văn 'TS Nguyễn Thị Oanh Dỗ Tuấn Khải CHỦ TỊCH HỘI ĐÔNG PGS.TS Trần Đình Khang MỤC LỤC BẠN XÁC NHẬN CHÍNH SỬA LUẬN VĂN THẠC SĨ a ww LOI CAM BOAN SSD LOI CAM ON. Danh mue ca: iệu, các chữ viết lắL.

Danh muc bang, Danh mục các hình vẽ, biểu dỏ. Chương 1: Giới thiệu bài loan 11 Dạtvễnđể.2 _ Phân đoạn ngữ nghĩa anh là gi 1⁄3 Các vẫn đề cân giải quyết trang bải toán. Chương 2: Cơ sẻ lý thuyết và một số phương pháp phân đoạn ngữ nghĩa ảnh. Tiêu chỉ đánh giá kết quả phân đoạn ngữ nghữa.2 Một số kiến trúc mạng nơ-ron tích: chập,.5 So sánh các kiên rúc mạng CNN.

23 Cáo kỹ thuật upsampling 231 Unpooling 33.2 Giải tích chập (đeconvohtion) 3.3 Ky thndl ndi suy tuyén tink 2 chigu (bilinear inteporation). i) 24 Các kỹ thuật kết hợp thông tin ngữ cảnh 41 Mô hình để thị xác xuất CRE' k9 A. Tích chập giãn (atrous/diated convolution). be 25 Một số mô hình phân doạn ngữ nghĩa ảnh.1 Mô hình mạng nơxon tích chập đẩy đủ.3 Môhinhmạng CNN-CRF.

cà si 3 + Đổi với tham số tỷ lê học và output stride, thực hiện quá trình huấn luyện với các giả trị khác mô hình đề xuất đề đảnh giả vả lựa chọn tham số tết nhất. Sửa một số lỗi chính tà. Tà Nội, ngày 26 tháng 11 năm 2018 Giáo viên hướng dẫn Tác giả luận văn 'TS Nguyễn Thị Oanh Dỗ Tuấn Khải CHỦ TỊCH HỘI ĐÔNG PGS.TS Trần Đình Khang 3.4 Mô hình mạng PSPNG.5 Cáo mồ hình I2eeplab.6 So sảnh cac mô hình Chương 3: Mô hình thứ nghiệm và đánh giá.1 Tựa chọn mô hình thử nghiệm 3. Xây dựng lập dữ liệu thử nghiệm 33.1 Môi trường cải đặt.2 Bước huấn luyện mạng 33.

Danh giá kết quả thứ nghiệm. Chương 4: Kết luận và hướng phát triển.3 Hưởng phát triển TÀI LIỆU THAM KHẢO. nhe eerdee Đanh mục các ký hiệu, các chữ viết tắt srr "Lên kỷ hiệu, chữ viết tắt 'Tên đây da 1 |mleU 'Mem Trlerseclion o[ nion 2 |SVM Suppor Vector Machine 3 | eM Expected Maximum 4 | CNN Convolution Neural Network 5 |DCNN Deep Convolution Neural Network 6 | PSP Pyramid Scence Parsing 7 |Fe Fully Connected Layer 8 | conv Convlution layer 9 | vee Visual Geometry Group lo | Fon Fully Convolution Network 11 |ResNet Residual Network 12 | CRF Conditional Random Field 13 | MRE Markov Random Mield 14 | RNN Recurrent Neural Network 15 |ASPP Abrus Spatial Pyramid Pooling 16 |msvee ImageNet Large Seale Visual Recognition Challenge LOT CAM ON ‘Trude tiên, tôi xin gửi lời căm ơn sâu sắc tới T8 Nguyễn Thị Oanh lộ môn Hệ thống thông tin, Viện Công nghệ thông tin và truyền thang, Pai hoe Bach khoa. Hà Nội, người đã tân tình hướng dẫn tôi từ những bước nghiên cứu đầu tiên cho đến hi han thank lun van nay.

'Tôi xin chân thành cắm ơn các thấy cõ trong bộ mòn Hệ thông thông tin Đại học Bách khoa TIà Nội đã hễ trợ tôi rất nhiều vê kiến thức chuyên môn trong quá trình thực hiện, hoàn thành dễ tài Cuối cùng, xin gửi lời cảm ơn tới gia đình và bạn bẻ, nguồn dộng viên tình thân to lớn với tôi, luôn cễ vũ và tin tưỡng tôi. 1à Nội, tháng 10/2018 Đỗ Tuấn Khải MỤC LỤC BẠN XÁC NHẬN CHÍNH SỬA LUẬN VĂN THẠC SĨ a ww LOI CAM BOAN SSD LOI CAM ON. Danh mue ca: iệu, các chữ viết lắL. Danh muc bang, Danh mục các hình vẽ, biểu dỏ.

Chương 1: Giới thiệu bài loan 11 Dạtvễnđể.2 _ Phân đoạn ngữ nghĩa anh là gi 1⁄3 Các vẫn đề cân giải quyết trang bải toán. Chương 2: Cơ sẻ lý thuyết và một số phương pháp phân đoạn ngữ nghĩa ảnh. Tiêu chỉ đánh giá kết quả phân đoạn ngữ nghữa.2 Một số kiến trúc mạng nơ-ron tích: chập,.5 So sánh các kiên rúc mạng CNN. 23 Cáo kỹ thuật upsampling 231 Unpooling 33.2 Giải tích chập (đeconvohtion) 3.3 Ky thndl ndi suy tuyén tink 2 chigu (bilinear inteporation).

i) 24 Các kỹ thuật kết hợp thông tin ngữ cảnh 41 Mô hình để thị xác xuất CRE' k9 A. Tích chập giãn (atrous/diated convolution). be 25 Một số mô hình phân doạn ngữ nghĩa ảnh.1 Mô hình mạng nơxon tích chập đẩy đủ.3 Môhinhmạng CNN-CRF. cà si 3 MỤC LỤC BẠN XÁC NHẬN CHÍNH SỬA LUẬN VĂN THẠC SĨ a ww LOI CAM BOAN SSD LOI CAM ON.

Danh mue ca: iệu, các chữ viết lắL. Danh muc bang, Danh mục các hình vẽ, biểu dỏ. Chương 1: Giới thiệu bài loan 11 Dạtvễnđể.2 _ Phân đoạn ngữ nghĩa anh là gi 1⁄3 Các vẫn đề cân giải quyết trang bải toán. Chương 2: Cơ sẻ lý thuyết và một số phương pháp phân đoạn ngữ nghĩa ảnh.

Tiêu chỉ đánh giá kết quả phân đoạn ngữ nghữa.2 Một số kiến trúc mạng nơ-ron tích: chập,.5 So sánh các kiên rúc mạng CNN. 23 Cáo kỹ thuật upsampling 231 Unpooling 33.2 Giải tích chập (đeconvohtion) 3.3 Ky thndl ndi suy tuyén tink 2 chigu (bilinear inteporation). i) 24 Các kỹ thuật kết hợp thông tin ngữ cảnh 41 Mô hình để thị xác xuất CRE' k9 A. Tích chập giãn (atrous/diated convolution).

be 25 Một số mô hình phân doạn ngữ nghĩa ảnh.1 Mô hình mạng nơxon tích chập đẩy đủ.3 Môhinhmạng CNN-CRF. cà si 3 LOT CAM ON ‘Trude tiên, tôi xin gửi lời căm ơn sâu sắc tới T8 Nguyễn Thị Oanh lộ môn Hệ thống thông tin, Viện Công nghệ thông tin và truyền thang, Pai hoe Bach khoa. Hà Nội, người đã tân tình hướng dẫn tôi từ những bước nghiên cứu đầu tiên cho đến hi han thank lun van nay. 'Tôi xin chân thành cắm ơn các thấy cõ trong bộ mòn Hệ thông thông tin Đại học Bách khoa TIà Nội đã hễ trợ tôi rất nhiều vê kiến thức chuyên môn trong quá trình thực hiện, hoàn thành dễ tài Cuối cùng, xin gửi lời cảm ơn tới gia đình và bạn bẻ, nguồn dộng viên tình thân to lớn với tôi, luôn cễ vũ và tin tưỡng tôi.

1à Nội, tháng 10/2018 Đỗ Tuấn Khải Danh muc bang láng 2.1 - Dộ chính xác phên đoạn ngữ nghĩa của các mạng FCN .2 - So simh két qua phân đoạn của các nô hình.1 - Cac lop déi tuong trong tap dé ligu tui nghiém.2 -So sanh két qua thit nghiém wén cae mé hinh cải đặt TỚI CAM BOAN Tôi xin cam đoan luận văn “Nghiên cúu phương pháp phân đoạn ngữ nghĩa ảnh cho bài luân gản nhấn vùng trên ảnh món ăn” là công trình nghiên cứu của riêng tôi.