Phân Tích Độ Lành Mạnh Của Thực Phẩm Qua Hình Ảnh

Phân tích độ lành mạnh của thực phẩm qua hình ảnh là một lĩnh vực đang phát triển… 107 trang · Ho Chi Minh City University of Technology and Education · 2023.

• Tác giả: Hồ Đăng Tiên
• Người hướng dẫn: PhD. Trần Nhật Quang
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Information Technology
• Đề tài: Phân Tích Độ Lành Mạnh Của Thực Phẩm Qua Hình Ảnh
• Loại tài liệu: graduation project
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENT
• ABSTRACT
• 1. CHAPTER 1: INTRODUCTION
• 2. CHAPTER 2: LITERATURE REVIEW AND THEORY BASIS

Tóm tắt

I. Tổng Quan Về Phân Tích Độ Lành Mạnh Của Thực Phẩm Qua Hình Ảnh

Phân tích độ lành mạnh của thực phẩm qua hình ảnh là một lĩnh vực đang phát triển nhanh chóng, kết hợp giữa công nghệ nhận diện hình ảnh và dinh dưỡng. Việc sử dụng hình ảnh để đánh giá chất lượng thực phẩm không chỉ giúp người tiêu dùng có thông tin chính xác mà còn hỗ trợ các nhà nghiên cứu trong việc phát triển các phương pháp mới. Hệ thống đánh giá độ lành mạnh của thực phẩm dựa trên hình ảnh có thể cung cấp thông tin dinh dưỡng cần thiết cho người tiêu dùng.

1.1. Định Nghĩa Độ Lành Mạnh Của Thực Phẩm

Độ lành mạnh của thực phẩm được xác định dựa trên các yếu tố dinh dưỡng như vitamin, khoáng chất và calo. Các nghiên cứu cho thấy rằng thực phẩm lành mạnh có thể giúp ngăn ngừa nhiều bệnh tật.

1.2. Tầm Quan Trọng Của Hình Ảnh Trong Phân Tích Thực Phẩm

Hình ảnh thực phẩm không chỉ giúp nhận diện loại thực phẩm mà còn cung cấp thông tin về cách chế biến và thành phần dinh dưỡng. Công nghệ nhận diện hình ảnh đang ngày càng trở nên quan trọng trong việc phân tích thực phẩm.

II. Vấn Đề Trong Phân Tích Độ Lành Mạnh Của Thực Phẩm

Mặc dù có nhiều tiến bộ trong công nghệ phân tích hình ảnh, nhưng vẫn tồn tại nhiều thách thức trong việc đánh giá độ lành mạnh của thực phẩm. Một trong những vấn đề lớn nhất là độ chính xác của các mô hình nhận diện hình ảnh. Nhiều mô hình hiện tại vẫn gặp khó khăn trong việc phân loại chính xác các loại thực phẩm khác nhau.

2.1. Độ Chính Xác Của Mô Hình Nhận Diện Hình Ảnh

Độ chính xác của mô hình nhận diện hình ảnh phụ thuộc vào chất lượng dữ liệu đầu vào. Việc thu thập và xử lý hình ảnh thực phẩm là rất quan trọng để đảm bảo độ chính xác cao.

2.2. Thiếu Dữ Liệu Để Huấn Luyện Mô Hình

Nhiều mô hình nhận diện thực phẩm gặp khó khăn do thiếu dữ liệu huấn luyện. Việc xây dựng các tập dữ liệu lớn và đa dạng là cần thiết để cải thiện độ chính xác của mô hình.

III. Phương Pháp Phân Tích Độ Lành Mạnh Của Thực Phẩm Qua Hình Ảnh

Có nhiều phương pháp khác nhau để phân tích độ lành mạnh của thực phẩm qua hình ảnh. Một trong những phương pháp phổ biến là sử dụng học sâu (deep learning) để phát triển các mô hình nhận diện thực phẩm. Các mô hình này có thể học từ dữ liệu lớn và cải thiện độ chính xác theo thời gian.

3.1. Sử Dụng Machine Learning Trong Phân Tích Thực Phẩm

Machine learning cho phép các mô hình tự động học hỏi từ dữ liệu và cải thiện khả năng phân loại thực phẩm. Các thuật toán như CNN (Convolutional Neural Networks) thường được sử dụng trong lĩnh vực này.

3.2. Phát Triển Thuật Toán Đánh Giá Độ Lành Mạnh

Việc phát triển các thuật toán đánh giá độ lành mạnh dựa trên các tiêu chí dinh dưỡng cụ thể là rất quan trọng. Hệ thống Health Star Rating là một ví dụ điển hình cho phương pháp này.

IV. Ứng Dụng Thực Tiễn Của Phân Tích Độ Lành Mạnh Của Thực Phẩm

Phân tích độ lành mạnh của thực phẩm qua hình ảnh có nhiều ứng dụng thực tiễn trong đời sống hàng ngày. Người tiêu dùng có thể sử dụng các ứng dụng di động để quét mã vạch hoặc hình ảnh thực phẩm để nhận thông tin dinh dưỡng ngay lập tức.

4.1. Ứng Dụng Trong Ngành Thực Phẩm

Ngành thực phẩm có thể sử dụng công nghệ này để cải thiện chất lượng sản phẩm và cung cấp thông tin chính xác cho người tiêu dùng. Điều này giúp tăng cường niềm tin của khách hàng.

4.2. Hỗ Trợ Người Tiêu Dùng Trong Lựa Chọn Thực Phẩm

Người tiêu dùng có thể dễ dàng lựa chọn thực phẩm lành mạnh hơn thông qua các ứng dụng phân tích hình ảnh. Điều này góp phần nâng cao sức khỏe cộng đồng.

V. Kết Luận Về Tương Lai Của Phân Tích Độ Lành Mạnh Của Thực Phẩm

Tương lai của phân tích độ lành mạnh của thực phẩm qua hình ảnh rất hứa hẹn. Với sự phát triển của công nghệ nhận diện hình ảnh và machine learning, khả năng phân tích sẽ ngày càng chính xác và hiệu quả hơn. Điều này sẽ giúp người tiêu dùng có thông tin tốt hơn về thực phẩm họ tiêu thụ.

5.1. Xu Hướng Phát Triển Công Nghệ

Công nghệ nhận diện hình ảnh sẽ tiếp tục phát triển, giúp cải thiện độ chính xác và khả năng phân loại thực phẩm. Các mô hình mới sẽ được phát triển để đáp ứng nhu cầu ngày càng cao của người tiêu dùng.

5.2. Tác Động Đến Sức Khỏe Cộng Đồng

Việc cung cấp thông tin chính xác về độ lành mạnh của thực phẩm sẽ góp phần nâng cao sức khỏe cộng đồng. Người tiêu dùng sẽ có khả năng đưa ra quyết định tốt hơn về chế độ ăn uống của mình.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong những thập kỷ gần đây, béo phì đã trở thành một vấn đề sức khỏe cộng đồng nghiêm trọng trên quy mô toàn cầu. Theo Tổ chức Y tế Thế giới (WHO), tỷ lệ người mắc bệnh béo phì trên toàn thế giới đã tăng gần gấp ba lần trong giai đoạn từ năm 1975 đến năm 2016. Tình trạng này không còn giới hạn ở các quốc gia có thu nhập cao mà đang gia tăng nhanh chóng tại các quốc gia có thu nhập thấp và trung bình, đặc biệt là tại các khu vực đô thị. Béo phì là yếu tố nguy cơ hàng đầu dẫn đến các bệnh không lây nhiễm nguy hiểm như tiểu đường, tim mạch và viêm khớp; trong đó, béo phì ở trẻ em làm tăng nguy cơ tàn tật và tử vong sớm khi trưởng thành. WHO nhấn mạnh rằng việc xây dựng một môi trường và cộng đồng hỗ trợ nhằm giúp người dân dễ dàng tiếp cận và lựa chọn các thực phẩm lành mạnh là giải pháp căn bản để phòng ngừa tình trạng này.

Xuất phát từ thực tế đó, đề tài đồ án tốt nghiệp "Analysis of the Healthiness of Food Through Images" (Phân tích độ lành mạnh của thực phẩm qua hình ảnh) được thực hiện với mục tiêu xây dựng một ứng dụng cung cấp cho người dùng khả năng tiếp cận nhanh chóng thông tin dinh dưỡng và mức độ lành mạnh của thực phẩm trực tiếp hoặc thông qua nhận diện hình ảnh.

Nhiệm vụ nghiên cứu của đồ án được chia thành hai mục tiêu chính:

1. Mục tiêu 1: Nghiên cứu về dinh dưỡng thực phẩm và các phương pháp định lượng mức độ lành mạnh; lựa chọn và xây dựng thuật toán đánh giá độ lành mạnh dựa trên hệ thống Health Star Rating (HSR); thu thập dữ liệu dinh dưỡng của các loại thực phẩm để tính toán xếp hạng độ lành mạnh theo thuật toán đã xây dựng.
2. Mục tiêu 2: Nghiên cứu các khái niệm, kiến trúc và phương pháp triển khai học sâu (Deep Learning); thu thập và xây dựng tập dữ liệu hình ảnh thực phẩm để huấn luyện mô hình; xây dựng và đánh giá các mô hình phân loại hình ảnh; phát triển giao diện người dùng tích hợp kết quả nhận diện với cơ sở dữ liệu dinh dưỡng, đồng thời bổ sung tính năng ghi nhật ký và theo dõi khẩu phần ăn uống hàng ngày.

• Đối tượng nghiên cứu: Cơ sở dữ liệu dinh dưỡng thực phẩm, hệ thống định lượng điểm dinh dưỡng Health Star Rating (HSR), tập dữ liệu hình ảnh các món ăn Việt Nam và quốc tế, cùng các kiến trúc mạng nơ-ron tích chập học chuyển giao (ResNet50V2, ResNet101V2, ResNet152V2, InceptionV3, InceptionResNetV2, Xception).
• Phạm vi nghiên cứu: Đồ án được thực hiện bởi nhóm sinh viên ngành Công nghệ Thông tin tại Trường Đại học Sư phạm Kỹ thuật TP.HCM trong khoảng thời gian từ ngày 11/09/2023 đến ngày 25/12/2023. Phạm vi dữ liệu bao gồm hơn 400 sản phẩm thực phẩm/đồ uống phục vụ tính điểm HSR và 40 lớp hình ảnh món ăn đặc trưng.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết định lượng độ lành mạnh thực phẩm

Đề tài sử dụng hệ thống xếp hạng sao sức khỏe Health Star Rating (HSR) do Chính phủ Úc và New Zealand ban hành làm cơ sở lý thuyết chính để định lượng độ lành mạnh của thực phẩm. Hệ thống HSR phân loại thực phẩm thành 6 nhóm danh mục:

• Category 1: Đồ uống không từ sữa, thạch và kem đá làm từ nước (Non-dairy beverages, jellies and water-based ice confections).
• Category 1D: Sữa và đồ uống từ sữa hoặc đồ uống thay thế từ sữa đáp ứng tiêu chuẩn canxi/đạm quy định.
• Category 2: Tất cả các loại thực phẩm thông thường khác không thuộc các nhóm 1, 1D, 2D, 3, 3D.
• Category 2D: Thực phẩm từ sữa (sữa chua, phô mai có canxi $\le 320\text{ mg/100g}$, món tráng miệng từ sữa) chứa $\ge 75%$ thành phần sữa.
• Category 3: Dầu ăn và các loại bơ phết thực vật/động vật (Oils and spreads).
• Category 3D: Phô mai (bao gồm phô mai ủ chín bề mặt và phô mai chế biến) có hàm lượng canxi $> 320\text{ mg/100g}$ và chứa $\ge 75%$ thành phần sữa.

Quy trình tính điểm HSR dựa trên sự kết hợp giữa hai nhóm điểm:

• Điểm cơ sở (Baseline points): Tính toán dựa trên 4 thành phần dinh dưỡng làm tăng nguy cơ mắc bệnh mãn tính gồm Năng lượng (Energy tính bằng kJ), Chất béo bão hòa (Saturated fat tính bằng g), Tổng lượng đường (Total sugars tính bằng g) và Natri (Sodium tính bằng mg) trên 100g hoặc 100mL sản phẩm (riêng Category 1 chỉ tính Năng lượng và Tổng lượng đường).
• Điểm điều chỉnh (Modifying points): Tính toán dựa trên các thành phần có lợi gồm điểm FVNL (HSR V points: tỷ lệ phần trăm trái cây, rau củ, quả hạch và cây họ đậu), điểm Đạm (HSR P points: Protein tính bằng g) và điểm Chất xơ (HSR F points: Dietary fibre tính bằng g).
• Điểm tổng kết: $\text{Điểm HSR cuối cùng} = \text{Điểm cơ sở} - \text{Điểm điều chỉnh } (V + P + F)$. Sau đó, điểm số này được đối chiếu với bảng quy đổi để gán mức xếp hạng từ 0.5 sao đến 5.0 sao.

Hệ thống quy định các trường hợp gán sao tự động (Automatic HSR):

• Nước lọc tinh khiết (Plain water): Đạt 5.0 sao.
• Nước hương liệu không đường (Unsweetened flavoured water): Đạt 4.5 sao.
• Rau củ quả, nấm và cây họ đậu tươi hoặc chế biến tối thiểu không thêm đường, muối, chất béo: Đạt 5.0 sao.

Hệ thống cũng quy định các sản phẩm bị nghiêm cấm gắn nhãn HSR: Sữa công thức cho trẻ sơ sinh và trẻ nhỏ, thực phẩm bổ sung cho trẻ em, thực phẩm y tế đặc biệt (FSMP), đồ uống có cồn $> 0.5%$ cồn theo thể tích và các sản phẩm đồ uống không cồn/tách cồn mô phỏng đồ uống có cồn.

Lý thuyết học sâu và học chuyển giao (Transfer Learning)

Để giải quyết bài toán nhận diện món ăn từ hình ảnh khi nguồn dữ liệu huấn luyện có giới hạn, nghiên cứu áp dụng kỹ thuật học chuyển giao (Transfer Learning) dựa trên các mạng nơ-ron tích chập (CNN) đã được huấn luyện trước trên tập dữ liệu ImageNet (với hơn 1 triệu hình ảnh thuộc 1.000 danh mục khác nhau). Các kiến trúc mô hình được khảo sát bao gồm:

• Họ mạng ResNet (ResNet50V2, ResNet101V2, ResNet152V2): Ứng dụng khối phần dư (Residual Block) với các kết nối tắt (Skip Connections) nhằm giải quyết triệt để hiện tượng tiêu biến đạo hàm (Vanishing Gradient) khi tăng độ sâu mạng. Phiên bản ResNetV2 chuẩn hóa Batch Normalization và hàm kích hoạt ReLU trước mỗi tầng trọng số giúp dòng gradient lan truyền mượt mà hơn.
• Họ mạng Inception và biến thể (InceptionV3, InceptionResNetV2, Xception): InceptionV3 sử dụng các khối tích chập song song với kích thước bộ lọc đa dạng kết hợp kỹ thuật phân tích nhân tích chập bất đối xứng ($1\times 3$ và $3\times 1$). InceptionResNetV2 kết hợp kiến trúc Inception và khối phần dư Residual. Xception thay thế hoàn toàn các khối Inception bằng các phép tích chập tách biệt theo chiều sâu (Depthwise Separable Convolutions) nhằm tối ưu hóa hiệu quả sử dụng tham số.

Phương pháp nghiên cứu và nguồn dữ liệu

• Thu thập dữ liệu dinh dưỡng: Tổng hợp dữ liệu thành phần dinh dưỡng của hơn 400 món ăn và đồ uống phổ biến từ các nguồn công bố, phân loại theo 6 danh mục của HSR để làm đầu vào cho thuật toán tính sao.
• Thu thập dữ liệu hình ảnh: Sử dụng thư viện tự động hóa Selenium để thu thập hình ảnh của 40 món ăn (gồm 20 món ăn Việt Nam và 20 món ăn quốc tế phổ biến).
• Xử lý dữ liệu hình ảnh: Loại bỏ ảnh trùng lặp bằng thuật toán băm ảnh (Image Hash); sàng lọc loại bỏ các ảnh nhiễu (ảnh chứa chữ chèn bên ngoài, ảnh chứa quá nhiều món ăn hỗn hợp, ảnh chỉ chụp nguyên liệu thô, ảnh ghép từ nhiều khung hình nhỏ); thực hiện tăng cường dữ liệu (Data Augmentation).
• Kỹ thuật huấn luyện: Sử dụng framework TensorFlow/Keras, tối ưu hóa bằng hàm mất mát Categorical Cross-Entropy, huấn luyện qua hai giai đoạn (đóng băng tầng cơ sở và mở khóa một số tầng sâu để Fine-tuning).

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu (Introduction)

Chương 1 trình bày bối cảnh thực tiễn về sự gia tăng của bệnh béo phì và các bệnh không lây nhiễm theo các báo cáo của WHO. Tác giả nhấn mạnh tầm quan trọng của việc xây dựng môi trường hỗ trợ người dùng đưa ra quyết định dinh dưỡng đúng đắn. Chương này xác định rõ hai mục tiêu trọng tâm của đề tài: xây dựng thuật toán lượng hóa độ lành mạnh dựa trên HSR và xây dựng hệ thống nhận diện món ăn từ hình ảnh bằng học sâu, đồng thời giới thiệu tổng quan về sản phẩm cuối cùng kèm giao diện người dùng.

Chương 2: Tổng quan tài liệu và cơ sở lý thuyết (Literature Review and Theory Basis)

Chương 2 tổng hợp các công trình nghiên cứu và tài liệu học thuật liên quan trên hai phương diện dinh dưỡng và thị giác máy tính:

• Khảo cứu dinh dưỡng và nhãn thực phẩm: Đánh giá các nghiên cứu về tác động của chế độ ăn đến tuổi thọ (Fadnes et al.), ảnh hưởng của nhãn thông tin dinh dưỡng đối với hành vi mua sắm của người tiêu dùng, và các báo cáo đánh giá hiệu quả của hệ thống HSR tại Úc và New Zealand theo khung RE-AIM cùng những tranh luận về cách tiếp cận dinh dưỡng dạng rút gọn (reductionist nutrient approach).
• Khảo cứu các mô hình phân loại ảnh thực phẩm: Phân tích các nghiên cứu phân loại thực phẩm sử dụng học chuyển giao như tập dữ liệu Food-101 và tập dữ liệu 30VNFoods (gồm 25.136 hình ảnh của 30 món ăn Việt Nam với độ chính xác đạt 77,54% và top-5 accuracy đạt 96%).
• Cơ sở thuật toán HSR: Trình bày chi tiết toàn bộ các bước tính toán theo hướng dẫn chính thức của HSR, bao gồm tiêu chí phân loại 6 nhóm thực phẩm, công thức xác định điểm Baseline, điều kiện tính điểm Modifying (FVNL, Protein, Chất xơ), các trường hợp gán sao tự động và bảng quy đổi điểm số ra mức sao từ 0.5 đến 5.0.
• Cơ sở lý thuyết học chuyển giao và mạng nơ-ron: Trình bày các hình thức học chuyển giao (Inductive, Transductive, Unsupervised; Instance, Feature, Parameter, Relational Transfer); phân tích chi tiết cấu trúc toán học và kiến trúc khối của ResNet (V1, V2, các biến thể 50, 101, 152 tầng), InceptionNet (V1, V2, V3, V4, InceptionResNetV2, Xception); giới thiệu các công cụ hỗ trợ như Selenium và TensorFlow.

Chương 3: Phương pháp luận (Methodology)

Chương 3 mô tả chi tiết quy trình thực nghiệm và xây dựng hệ thống:

• Hiện thực hóa thuật toán HSR: Phân tích các thách thức khi chuyển đổi tài liệu hướng dẫn HSR thành logic lập trình. Do các điều kiện tra bảng phức tạp, nhóm tác giả đã thiết kế giải thuật duyệt dữ liệu theo mô hình hàng/cột (tương tự bảng tính Excel) để xác định chính xác điểm Baseline và Modifying, giải quyết các điều kiện ràng buộc như tỷ lệ FVNL cô đặc/không cô đặc và điều kiện điểm Protein khi Baseline $\ge 13$.
• Xây dựng bộ dữ liệu: Xây dựng tập dữ liệu dinh dưỡng cho hơn 400 loại thực phẩm/đồ uống; thu thập và tinh lọc tập dữ liệu hình ảnh cho 40 lớp món ăn (20 món Việt Nam, 20 món quốc tế).
• Quy trình tiền xử lý và huấn luyện: Trình bày các bước làm sạch dữ liệu ảnh bằng Image Hash và bộ lọc thủ công/bán tự động; thiết lập các đường cong mất mát/độ chính xác (Loss and Accuracy curves), quá trình Fine-tuning và đánh giá hiệu năng của 6 mô hình học sâu thông qua ma trận nhầm lẫn (Confusion Matrix).

---

Thiết kế và triển khai

Hiện thực hóa thuật toán định lượng Health Star Rating

Quy trình tính toán mức độ lành mạnh của một sản phẩm thực phẩm được chuẩn hóa qua các bước logic cụ thể:

Bước	Nhiệm vụ	Chi tiết kỹ thuật / Ràng buộc
Bước 1	Kiểm tra gán sao tự động	Áp dụng 5.0 sao cho nước lọc và rau củ quả tươi/chế biến tối thiểu; 4.5 sao cho nước hương liệu không đường.
Bước 2	Xác định nhóm danh mục	Phân loại vào một trong 6 nhóm: Category 1, 1D, 2, 2D, 3, 3D dựa trên bản chất sản phẩm và hàm lượng Canxi/Đạm.
Bước 3	Xác định trạng thái sản phẩm	Tính toán theo trạng thái "bán trên kệ" (as sold) hoặc "sau chế biến" (as prepared) đối với sản phẩm cần hoàn nguyên/pha loãng.
Bước 4	Tính điểm cơ sở (Baseline Points)	Tính điểm từ Năng lượng, Chất béo bão hòa, Đường tổng số và Natri trên 100g/100mL (Category 1 chỉ tính Năng lượng và Đường).
Bước 5	Tính điểm điều chỉnh (Modifying Points)	- Điểm V (FVNL): Tối đa 10 điểm (Cat 1) hoặc 8 điểm (các nhóm còn lại). - Điểm P (Protein): Tối đa 15 điểm; nếu Baseline $\ge 13$ thì chỉ được tính điểm P khi điểm V $\ge 5$. - Điểm F (Chất xơ): Tối đa 15 điểm (không áp dụng cho Cat 1 và 1D).
Bước 6	Tính điểm HSR cuối cùng	$\text{HSR Score} = \text{Baseline Points} - (\text{V Points} + \text{P Points} + \text{F Points})$.
Bước 7	Quy đổi và gán sao	Tra bảng HSR Score theo danh mục sản phẩm để gán mức xếp hạng từ 0.5 đến 5.0 sao.

Quy trình tiền xử lý ảnh và huấn luyện mô hình học sâu

1. Thu thập dữ liệu: Sử dụng Selenium để tải tự động hình ảnh từ các công cụ tìm kiếm và trang web ẩm thực theo 40 nhãn món ăn đã định nghĩa.
2. Làm sạch dữ liệu:
   • Sử dụng giải thuật Image Hash để so sánh giá trị băm của các tệp ảnh, loại bỏ các hình ảnh bị trùng lặp.
   • Loại bỏ các ảnh không đạt tiêu chuẩn phân loại: ảnh có chứa chữ viết lớn chèn đè, ảnh chụp mâm cỗ/bàn tiệc có nhiều món khác nhau, ảnh chụp các gói nguyên liệu thô trước khi nấu, và ảnh ghép dạng collage.
3. Tăng cường dữ liệu (Data Augmentation): Áp dụng các phép biến đổi hình học (xoay, lật, thay đổi tỷ lệ) để mở rộng không gian đặc trưng và hạn chế hiện tượng quá khớp (Overfitting).
4. Huấn luyện mô hình (Transfer Learning & Fine-tuning):
   • Nạp các mô hình ResNet50V2, ResNet101V2, ResNet152V2, InceptionV3, InceptionResNetV2, Xception đã huấn luyện trên ImageNet.
   • Thay thế tầng phân loại cuối cùng bằng tầng phân loại 40 lớp phù hợp với tập dữ liệu.
   • Huấn luyện giai đoạn 1 với các tầng cơ sở bị đóng băng (Frozen).
   • Huấn luyện giai đoạn 2 (Fine-tuning) bằng cách mở khóa (Unfreeze) một số tầng nơ-ron sâu phía trên để tinh chỉnh trọng số phù hợp với đặc trưng hình ảnh món ăn.

Kiến trúc tích hợp ứng dụng người dùng

Hệ thống phần mềm được thiết kế với luồng xử lý khép kín:

• Người dùng tải lên hoặc chụp ảnh món ăn thông qua giao diện ứng dụng.
• Mô hình thị giác máy tính đã huấn luyện thực hiện trích xuất đặc trưng và phân loại hình ảnh vào một trong các nhãn lớp món ăn.
• Hệ thống sử dụng nhãn lớp dự đoán để truy vấn cơ sở dữ liệu dinh dưỡng, lấy ra các thông số thành phần và kết quả đánh giá số sao HSR đã được tính toán sẵn.
• Giao diện hiển thị tên món ăn, hình ảnh, thông số dinh dưỡng chi tiết và số sao đánh giá độ lành mạnh; đồng thời cho phép người dùng ghi nhận món ăn vào nhật ký theo dõi khẩu phần dinh dưỡng hàng ngày.

---

Kết quả và đóng góp

Kết quả nghiên cứu thực nghiệm

• Xây dựng thuật toán tính điểm HSR hoàn chỉnh: Đã chuyển đổi thành công toàn bộ hệ thống quy chuẩn tính điểm của Chính phủ Úc/New Zealand thành thuật toán xử lý dữ liệu logic, xử lý chính xác 6 nhóm sản phẩm cùng các điều kiện biên phức tạp.
• Xây dựng cơ sở dữ liệu dinh dưỡng: Tổng hợp và tính toán chỉ số lành mạnh cho hơn 400 loại thực phẩm và đồ uống phổ biến.
• Xây dựng tập dữ liệu hình ảnh: Hoàn thiện bộ dữ liệu hình ảnh gồm 40 lớp món ăn (20 món ăn Việt Nam và 20 món ăn quốc tế) được tiền xử lý và gán nhãn chuẩn xác.
• Đánh giá và so sánh mô hình học sâu: Thực hiện huấn luyện, tinh chỉnh và so sánh hiệu năng của 6 kiến trúc mạng nơ-ron học chuyển giao (ResNet50V2, ResNet101V2, ResNet152V2, InceptionV3, InceptionResNetV2, Xception) trên tập kiểm thử (Test split) và tập xác thực (Validate split) thông qua đồ thị hàm mất mát và ma trận nhầm lẫn.

Nhóm kiến trúc	Các mô hình thử nghiệm	Cơ chế đặc trưng
Residual Networks (ResNet-V2)	ResNet50V2, ResNet101V2, ResNet152V2	Sử dụng Skip Connections và cấu trúc tiền kích hoạt (Pre-activation) Batch Normalization trước tầng trọng số.
Inception Networks	InceptionV3	Phân tích nhân tích chập đa kích thước, tích chập bất đối xứng ($1\times 3, 3\times 1$), tối ưu RMSprop và Label Smoothing.
Hybrid & Separable Networks	InceptionResNetV2, Xception	InceptionResNetV2 kết hợp khối Inception và phần dư; Xception áp dụng Depthwise Separable Convolutions.

Đóng góp của đề tài

1. Kết hợp liên ngành giữa khoa học dinh dưỡng (hệ thống tiêu chuẩn quốc tế HSR) và công nghệ thông tin (thị giác máy tính và học sâu).
2. Hiện thực hóa một quy trình từ thu thập, làm sạch dữ liệu hình ảnh/dinh dưỡng đến huấn luyện mô hình và tích hợp vào một ứng dụng hoàn chỉnh có giao diện người dùng phục vụ theo dõi sức khỏe cá nhân.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

• Quy mô tập dữ liệu nhận diện hình ảnh còn dừng lại ở 40 lớp món ăn (20 món Việt Nam và 20 món quốc tế), chưa bao phủ toàn bộ sự đa dạng của các món ăn trong thực tế.
• Việc tính toán tỷ lệ phần trăm FVNL (%) và thành phần dinh dưỡng đối với các món ăn chế biến phức hợp phụ thuộc vào dữ liệu dinh dưỡng định mức sẵn có trong cơ sở dữ liệu, chưa thể phân tích động các biến thể nguyên liệu khác nhau của cùng một món ăn qua ảnh chụp.
• Quy trình thu thập dữ liệu ảnh từ internet vẫn đòi hỏi các công đoạn lọc nhiễu thủ công để loại bỏ ảnh ghép, ảnh chữ và ảnh nhiều món ăn.

Hướng nghiên cứu tiếp

• Mở rộng quy mô tập dữ liệu hình ảnh với số lượng lớp món ăn đa dạng hơn, bổ sung thêm nhiều món ăn đặc trưng vùng miền.
• Nghiên cứu áp dụng các mô hình phân đoạn hình ảnh (Image Segmentation) hoặc phát hiện vật thể (Object Detection) để có thể nhận diện đồng thời nhiều món ăn khác nhau trong cùng một bữa ăn/khay thức ăn.
• Nghiên cứu phát triển các thuật toán ước lượng khối lượng hoặc khẩu phần thực phẩm từ hình ảnh để đưa ra định lượng calo và dinh dưỡng chính xác hơn cho từng bữa ăn cá nhân.

---

Giá trị tham khảo

Tài liệu khóa luận này mang lại giá trị tham khảo hữu ích cho các nhóm đối tượng:

• Sinh viên và người nghiên cứu ngành Công nghệ Thông tin / Khoa học Dữ liệu: Tham khảo phương pháp xây dựng pipeline thị giác máy tính thực tế, quy trình làm sạch dữ liệu ảnh thu thập từ web bằng Image Hash, kỹ thuật Transfer Learning và phương pháp Fine-tuning trên các kiến trúc mạng CNN phổ biến (ResNet, Inception, Xception).
• Các nhà phát triển ứng dụng y tế thông minh / Chăm sóc sức khỏe: Tham khảo phương pháp chuyển đổi quy chuẩn định lượng dinh dưỡng quốc tế phức tạp (như Health Star Rating) thành các thuật toán logic trong phần mềm và xây dựng chức năng theo dõi dinh dưỡng hàng ngày.

---

Câu hỏi thường gặp

1. Hệ thống Health Star Rating (HSR) phân chia thực phẩm thành những nhóm danh mục nào?

Hệ thống HSR phân loại thực phẩm thành 6 danh mục chính:

• Category 1: Đồ uống không từ sữa, thạch và kem đá làm từ nước.
• Category 1D: Sữa và đồ uống từ sữa (hoặc sản phẩm thay thế đáp ứng tiêu chuẩn canxi/đạm).
• Category 2: Tất cả các loại thực phẩm thông thường khác.
• Category 2D: Thực phẩm từ sữa (sữa chua, phô mai có canxi $\le 320\text{ mg/100g}$) chứa $\ge 75%$ thành phần sữa.
• Category 3: Dầu ăn và các loại bơ phết.
• Category 3D: Phô mai có hàm lượng canxi $> 320\text{ mg/100g}$ chứa $\ge 75%$ thành phần sữa.

2. Những sản phẩm nào được tự động gán điểm xếp hạng sao HSR mà không cần tính toán qua công thức?

Các sản phẩm được tự động gán điểm HSR bao gồm:

• Nước lọc tinh khiết (Plain water): Đạt 5.0 sao.
• Nước hương liệu không đường (Unsweetened flavoured water) đáp ứng tiêu chuẩn thành phần: Đạt 4.5 sao.
• Trái cây, rau củ, nấm và cây họ đậu tươi hoặc chế biến tối thiểu không bổ sung thêm chất béo, đường hoặc muối: Đạt 5.0 sao.

3. Những mô hình học sâu nào đã được thử nghiệm và so sánh trong đồ án?

Đề tài đã tiến hành huấn luyện và so sánh 6 mô hình học chuyển giao (Transfer Learning) dựa trên nền tảng TensorFlow: ResNet50V2, ResNet101V2, ResNet152V2, InceptionV3, InceptionResNetV2 và Xception.

4. Quy mô của tập dữ liệu dinh dưỡng và tập dữ liệu hình ảnh trong đồ án là bao nhiêu?

• Tập dữ liệu dinh dưỡng bao gồm hơn 400 loại thực phẩm và đồ uống được phân loại và tính toán điểm HSR.
• Tập dữ liệu hình ảnh bao gồm 40 lớp món ăn riêng biệt (gồm 20 món ăn Việt Nam và 20 món ăn quốc tế phổ biến) được thu thập từ internet và tinh lọc qua các thuật toán băm ảnh và bộ lọc dữ liệu.

5. Điểm cơ sở (Baseline points) và điểm điều chỉnh (Modifying points) trong HSR được xác định từ những thành phần dinh dưỡng nào?

• Điểm cơ sở (Baseline points): Xác định dựa trên 4 thành phần dinh dưỡng tiềm ẩn nguy cơ sức khỏe gồm Năng lượng (Energy), Chất béo bão hòa (Saturated fat), Tổng lượng đường (Total sugars) và Natri (Sodium) trên 100g/100mL sản phẩm (Category 1 chỉ xét Năng lượng và Đường).
• Điểm điều chỉnh (Modifying points): Xác định dựa trên các thành phần có lợi cho sức khỏe gồm tỷ lệ Trái cây, rau củ quả, hạt và cây họ đậu (FVNL points), hàm lượng Đạm (Protein points) và Chất xơ (Fibre points).

---

Kết luận

Đồ án tốt nghiệp "Analysis of the Healthiness of Food Through Images" của nhóm sinh viên Hồ Đăng Tiên và Lê Hồ Hải Dương đã giải quyết thành công bài toán tích hợp giữa khoa học dinh dưỡng và kỹ thuật thị giác máy tính. Nghiên cứu đã chuyển hóa hệ thống định lượng Health Star Rating (HSR) của Úc và New Zealand thành thuật toán đánh giá độ lành mạnh cho hơn 400 thực phẩm, đồng thời xây dựng bộ dữ liệu và huấn luyện 6 mô hình học chuyển giao để nhận diện 40 lớp món ăn đặc trưng. Sản phẩm cuối cùng là một hệ thống ứng dụng hoàn chỉnh có giao diện người dùng, cho phép tự động nhận diện món ăn từ hình ảnh, truy xuất thông số dinh dưỡng, hiển thị số sao lành mạnh và hỗ trợ người dùng theo dõi khẩu phần ăn uống hàng ngày.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS INFORMATION TECHNOLOGY ANALYSIS OF THE HEALTHINESS OF FOOD THROUGH IMAGES LECTURER: TRẦN NHẬT QUANG, PhD. STUDENT: HO DANG TIEN LE HO HAI DUONG SKL012405 Ho Chi Minh City, December 2023 HO CHI MINH UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION ---------- GRADUATION PROJECT ANALYSIS OF THE HEALTHINESS OF FOOD THROUGH IMAGES Students: HO DANG TIEN 19110059 LE HO HAI DUONG 19110073 Major: INFORMATION TECHNOLOGY Supervisor: TRẦN NHẬT QUANG, PhD. Ho Chi Minh city, December 2023 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, December 25, 2023 GRADUATION PROJECT ASSIGNMENT Student name: Hồ Đăng Tiên Student ID: 19110059 Student name: Lê Hồ Hải Dương Student ID: 19110073 Major: Information Technology Class: 19110CLA2, 19110CLA5 Supervisor: PhD. Trần Nhật Quang Phone number: 0378487371 Date of assignment: 11/09/2023 Date of submission: 25/12/2023 1.

Project title: ANALYSIS OF THE HEALTHINESS OF FOOD THROUGH IMAGES 2. Initial objectives provided by supervisor:  Objective 1. Study food healthiness and its quantification methods. Apply machine learning to analyze food images: identify the type of food and evaluate its healthiness.

Content of the project Objective 1:  Understand food nutrition.  Understand food healthiness and its quantification methods.  Build a food healthiness evaluation algorithm based on the chosen quantification method.  Collect food nutrition data to calculate healthiness rating with the built algorithm.

Objective 2:  Understand different deep learning concepts, models and implementation.  Collect food images to build a dataset for models training.  Build and evaluate the models to identify the type of food.  Create user interface to implement the accomplishments of both objectives.

Final product: An analysis of healthiness of food through images system with user interface. CHAIR OF THE PROGRAM SUPERVISOR (Sign with full name) (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- ---- SUPERVISOR’S EVALUATION SHEET Student name: Hồ Đăng Tiên Student ID: 19110059 Student name: Lê Hồ Hải Dương Student ID: 19110073 Major: Information Technology Project title: ANALYSIS OF THE HEALTHINESS OF FOOD THROUGH IMAGES Supervisor: PhD. Trần Nhật Quang EVALUATION 1. Content of the project:.

Approval for oral defense? (Approved or denied). Ho Chi Minh City, month day, year SUPERVISOR (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- PRE-DEFENSE EVALUATION SHEET Student name: Hồ Đăng Tiên Student ID: 19110059 Student name: Lê Hồ Hải Dương Student ID: 19110073 Major: Information Technology Project title: ANALYSIS OF THE HEALTHINESS OF FOOD THROUGH IMAGES Name of Examiner:. Content and workload of the project. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day, year EXAMINER (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER Student name: Hồ Đăng Tiên Student ID: 19110059 Student name: Lê Hồ Hải Dương Student ID: 19110073 Major: Information Technology Project title: ANALYSIS OF THE HEALTHINESS OF FOOD THROUGH IMAGES Name of Defense Committee Member:.

Content and workload of the project .) Ho Chi Minh City, month day, year COMMITTEE MEMBER (Sign with full name) ACKNOWLEDGEMENT First and foremost, with all of our uttermost appreciation, we would like to express gratitude towards our supervisor, Mr. Tran Nhat Quang. Throughout the progress of our capstone project, you have guided us with nothing but dedication and sincerity. You have provided us with a comprehensive perspective, which has helped me broaden my thinking to explore various interesting and innovative aspects that we have never taken into consideration before.

Thanks to that, we have come up with many new ideas which have been implemented to enrich the project. Moreover, you have imparted us practical wisdom accumulated during your life and career. As a consequence, we have learned many new fascinating things. Second, we are forever grateful to our families, who have been a solid foundation for us during the time we have been working on this project.

Finally, we want to show our gratitude to the teachers who have taught us in the previous courses.