Ứng dụng AI trong nhận diện dược liệu bằng hình ảnh - Khóa luận Lại Thị Ngọc Mai

Khóa luận nghiên cứu ứng dụng trí tuệ nhân tạo trong nhận diện dược liệu qua hình ảnh, góp phần nâng cao hiệu quả kiểm định chất lượng dược phẩm.

• Tác giả: Lại Thị Ngọc Mai
• Người hướng dẫn: PGS.TS Nguyễn Thu Hằng
• Trường học: Trường Đại học Dược Hà Nội
• Chuyên ngành: Dược
• Đề tài: Ứng dụng trí tuệ nhân tạo trong nhận diện dược liệu bằng hình ảnh
• Loại tài liệu: Khóa luận tốt nghiệp Dược sĩ
• Năm xuất bản: 2025
• Địa điểm: Hà Nội

Tóm tắt

I. Khái niệm và ứng dụng của trí tuệ nhân tạo trong nhận diện dược liệu

Trí tuệ nhân tạo (AI) và học sâu (Deep Learning) đã trở thành công cụ hữu ích trong lĩnh vực nhận diện dược liệu bằng hình ảnh. Khóa luận này tập trung vào ứng dụng thị giác máy tính (Computer Vision) để phân loại và xác định các loại dược liệu từ ảnh số. Qua đó, người dùng có thể nhanh chóng nhận diện các loại cây thuốc thông qua ứng dụng kỹ thuật số. Công nghệ này giúp cải thiện độ chính xác, tiết kiệm thời gian và giảm sai sót trong quá trình nhận diện dược liệu. Đặc biệt, mạng nơ ron tích chập (CNN) và Vision Transformer (ViT) là những mô hình tiên tiến được sử dụng để xây dựng hệ thống này. Ứng dụng AI trong dược liệu có ý nghĩa lớn trong đào tạo, kiểm tra chất lượng và sản xuất dược phẩm.

1.1. Khái niệm về thị giác máy tính và học sâu

Thị giác máy tính (CV) là lĩnh vực nghiên cứu cho phép máy tính hiểu, phân tích và xử lý hình ảnh. Học sâu (DL) là một nhánh của học máy (ML) sử dụng các mạng nơ ron nhân tạo có nhiều lớp để nhận dạng các mẫu phức tạp. Từ hình ảnh dược liệu, các mô hình Deep Learning có khả năng tự động trích xuất các đặc trưng và thực hiện phân loại với độ chính xác cao.

1.2. Các mô hình học sâu phổ biến trong nhận diện hình ảnh

Các mô hình như CNN, ResNet, EfficientNet và Vision Transformer được sử dụng rộng rãi trong phân loại hình ảnh dược liệu. Mỗi mô hình có những ưu điểm riêng: CNN nhanh và hiệu quả, Vision Transformer xử lý các đặc trưng toàn cục tốt. Việc lựa chọn mô hình phù hợp ảnh hưởng trực tiếp đến độ chính xác của hệ thống nhận diện.

II. Phương pháp nghiên cứu và xây dựng mô hình nhận diện

Khóa luận sử dụng phương pháp tiếp cận dữ liệu (data-driven approach) để xây dựng hệ thống nhận diện dược liệu tự động. Quá trình bao gồm các bước: thu thập ảnh dược liệu, tiền xử lý dữ liệu, huấn luyện mô hình, đánh giá hiệu suất và triển khai trên nền tảng web. Tập dữ liệu được thu thập từ các loại dược liệu phổ biến, sau đó được tăng cường dữ liệu (data augmentation) để cải thiện khả năng tổng quát của mô hình. Các chỉ số đánh giá như Accuracy, Precision, Recall, F1-score được sử dụng để đo lường hiệu suất. Cuối cùng, mô hình được triển khai thành một ứng dụng web cho phép người dùng tải ảnh và nhận kết quả nhận diện ngay lập tức.

2.1. Thu thập và tiền xử lý dữ liệu

Dữ liệu là nền tảng của mô hình học sâu. Khóa luận thu thập ảnh từ các loại dược liệu thực tế, sắp xếp theo từng lớp. Giai đoạn tiền xử lý bao gồm chuẩn hóa kích thước ảnh, cân bằng dữ liệu giữa các lớp và tăng cường dữ liệu bằng các kỹ thuật xoay, lật, thay đổi độ sáng. Điều này giúp mô hình học tốt hơn từ dữ liệu hạn chế.

2.2. Huấn luyện và đánh giá mô hình

Mô hình được huấn luyện (training) trên tập dữ liệu với các siêu tham số được tối ưu hóa. Quá trình sử dụng validation set để kiểm tra hiệu suất và test set để đánh giá cuối cùng. Các chỉ số TP, TN, FP, FN được tính toán để xác định độ chính xác (Accuracy), độ chuẩn xác (Precision) và độ nhạy (Recall) của mô hình trên các loại dược liệu khác nhau.

III. Kết quả thực nghiệm và khả năng ứng dụng

Mô hình nhận diện dược liệu đã được xây dựng và kiểm thử với kết quả khả quan. Mô hình đạt độ chính xác cao trong việc phân loại các loại dược liệu khác nhau, đặc biệt là các loại phổ biến trong dân gian và y học cổ truyền. Kết quả cho thấy Vision Transformer đạt hiệu suất tốt hơn so với các mô hình CNN truyền thống. Hệ thống được triển khai dưới dạng ứng dụng web cho phép người dùng tải ảnh dược liệu và nhận được kết quả nhận diện tức thời. Ứng dụng này có tiềm năng lớn trong đào tạo dược sĩ, kiểm tra chất lượng dược liệu tại các cơ sở sản xuất và hỗ trợ bán lẻ tại các nhà thuốc.

3.1. Kết quả hiệu suất mô hình

Các chỉ số đánh giá cho thấy mô hình ViT đạt Accuracy cao nhất so với các mô hình khác. Mô hình có khả năng phân biệt tốt giữa các loại dược liệu có hình dáng tương tự. Tuy nhiên, kết quả cũng chỉ ra những lớp dược liệu mà mô hình khó phân biệt, đó là cơ sở để cải tiến trong tương lai bằng cách thu thập thêm dữ liệu hoặc điều chỉnh kiến trúc mô hình.

3.2. Ứng dụng thực tế trong lĩnh vực dược học

Hệ thống nhận diện này có thể được ứng dụng trong nhiều bối cảnh: hỗ trợ sinh viên Dược sĩ học tập, kiểm tra chất lượng nguyên liệu dược liệu, hỗ trợ bán lẻ tại các quầy thuốc. Ngoài ra, ứng dụng web-based giúp người dùng dễ dàng truy cập mà không cần cài đặt phần mềm phức tạp. Các cải tiến tương lai có thể bao gồm mở rộng tập dụng liệu, thêm tính năng phát hiện bệnh lý, hoặc tích hợp với cơ sở dữ liệu dược liệu toàn diện.

IV. Những thách thức hạn chế và hướng phát triển tương lai

Mặc dù mô hình nhận diện dược liệu bằng AI cho thấy kết quả tích cực, nhưng vẫn còn một số thách thức cần vượt qua. Thứ nhất, dữ liệu huấn luyện hiện tại vẫn hạn chế về số lượng và đa dạng hình ảnh trong các điều kiện chiếu sáng, góc độ chụp khác nhau. Thứ hai, một số loại dược liệu có hình dáng rất giống nhau, làm khó khăn cho quá trình phân loại. Thứ ba, mô hình có thể gặp khó khăn khi xử lý ảnh bị lẫn, che phủ hoặc có chất lạ. Để cải tiến hiệu suất, các hướng phát triển tương lai bao gồm: mở rộng tập dữ liệu, ứng dụng few-shot learning để nhận diện dược liệu mới, tích hợp các mô hình hybrid kết hợp nhiều kiến trúc khác nhau, và phát triển ứng dụng di động để tăng tính tiện dụng.

4.1. Những hạn chế của mô hình hiện tại

Mô hình nhận diện hiện tại vẫn còn một số hạn chế: khó phân biệt dược liệu có đặc trưng hình ảnh tương tự, độ chính xác giảm khi ảnh có chất lượng thấp hoặc chụp từ góc độ lạ. Ngoài ra, mô hình cần dữ liệu huấn luyện lớn để đạt hiệu suất tốt, điều này đôi khi khó thực hiện trong thực tế. Thời gian suy luận (inference time) cũng là một yếu tố cần được tối ưu hóa để phù hợp với ứng dụng thực tế.

4.2. Hướng phát triển và cải tiến mô hình tương lai

Các hướng cải tiến tương lai bao gồm: (1) mở rộng tập dữ liệu với các loại dược liệu mới và điều kiện chụp đa dạng, (2) ứng dụng transfer learning từ các mô hình được huấn luyện trên tập dữ liệu lớn, (3) phát triển ensemble learning kết hợp nhiều mô hình, (4) tích hợp semi-supervised learning để tận dụng dữ liệu chưa gán nhãn, (5) xây dựng ứng dụng di động cho phép người dùng sử dụng bất kỳ lúc nào, ở đâu.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Nằm trong khu vực đa dạng sinh học Indo-Burma, Việt Nam sở hữu nguồn tài nguyên dược liệu tự nhiên phong phú và có giá trị cao trong cả y học cổ truyền lẫn y học hiện đại. Dược liệu đóng vai trò là nguồn nguyên liệu thiết yếu cho sản xuất thuốc và chăm sóc sức khỏe. Để đảm bảo chất lượng, hiệu quả điều trị và tính an toàn, khâu nhận diện và phân loại chính xác dược liệu là bước kiểm soát chất lượng tiên quyết.

Tuy nhiên, phương pháp nhận diện truyền thống chủ yếu dựa trên đánh giá cảm quan hình thái và kinh nghiệm của các chuyên gia. Đối với dược liệu đã qua sơ chế hoặc phơi sấy khô, hình dạng, màu sắc và cấu trúc bề mặt thường bị biến đổi đáng kể so với trạng thái tươi. Thị trường dược liệu hiện nay cũng xuất hiện tình trạng dược liệu không rõ nguồn gốc, bị nhầm lẫn, trà trộn hoặc làm giả giữa các loài có hình thái tương đồng nhưng khác biệt về hoạt chất và dược tính. Đối với người học hoặc người không có chuyên môn sâu, việc phân loại thủ công tốn nhiều thời gian và dễ xảy ra sai sót. Trước thực trạng đó, việc ứng dụng các giải pháp thị giác máy tính và trí tuệ nhân tạo (AI) nhằm tự động hóa quy trình phân loại dược liệu khô trở thành một nhu cầu cấp thiết.

Khóa luận tốt nghiệp Dược sĩ của sinh viên Lại Thị Ngọc Mai (Trường Đại học Dược Hà Nội, năm 2025) thực hiện đề tài "Ứng dụng trí tuệ nhân tạo trong nhận diện dược liệu bằng hình ảnh" nhằm giải quyết các nhiệm vụ cụ thể sau:

1. Xây dựng mô hình học sâu (Deep Learning) có khả năng nhận diện 78 loại dược liệu khô phổ biến tại Việt Nam.
2. Triển khai mô hình đã huấn luyện lên giao diện website trực tuyến, hỗ trợ nhận diện ảnh tải lên và cung cấp các thông tin cơ bản phục vụ tra cứu dược liệu.

• Đối tượng nghiên cứu: 78 loại dược liệu khô được cung cấp bởi Bộ môn Dược liệu, Khoa Dược liệu – Dược học cổ truyền, Trường Đại học Dược Hà Nội.
• Phạm vi nghiên cứu: Xử lý dữ liệu ảnh chụp quang học của 78 loại dược liệu khô, huấn luyện mô hình phân loại đa lớp trên môi trường máy tính và triển khai thử nghiệm hệ thống web tương tác trong năm 2025.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình ứng dụng

Nghiên cứu ứng dụng các nguyên lý của thị giác máy tính (Computer Vision - CV) và học sâu (Deep Learning - DL), tập trung vào bài toán phân loại hình ảnh (Image Classification). Khóa luận chuyển dịch từ việc xem xét các mạng nơ-ron tích chập truyền thống (CNN) sang kiến trúc hiện đại Vision Transformer (ViT). Khác với CNN trích xuất đặc trưng cục bộ thông qua các cửa sổ trượt tích chập, ViT chia hình ảnh thành các mảnh nhỏ (patches) và sử dụng cơ chế tự chú ý (self-attention) để mô hình hóa mối quan hệ không gian toàn cục giữa các vùng ảnh.

Để huấn luyện và tối ưu hóa mô hình, nghiên cứu sử dụng hàm mất mát Cross Entropy Loss cùng thuật toán tối ưu hóa AdamW thông qua Trainer API của thư viện Hugging Face Transformers trên nền tảng ngôn ngữ Python 3.

Phương pháp nghiên cứu thực nghiệm

Quy trình nghiên cứu được triển khai theo các bước thực nghiệm chuẩn hóa:

1. Thu thập dữ liệu: Ảnh chụp thực tế của 78 mẫu dược liệu khô được thực hiện bằng điện thoại Samsung Galaxy A51 (vi xử lý Exynos 9611, RAM 6GB) và máy tính bảng iPad Mini 4 (chip Apple A8, RAM 2GB). Dữ liệu được chụp ở nhiều góc độ, khoảng cách và điều kiện ánh sáng khác nhau với tiêu chuẩn tối thiểu 85 ảnh cho mỗi loại dược liệu.
2. Tiền xử lý và tăng cường dữ liệu:
   • Đồng nhất hóa toàn bộ ảnh về định dạng .jpg và kích thước chuẩn 224x224 pixel.
   • Chuẩn hóa giá trị điểm ảnh theo phân phối chuẩn của tập dữ liệu ImageNet (giá trị trung bình: 0,485, 0,456, 0,406; độ lệch chuẩn: 0,229, 0,224, 0,225 cho ba kênh màu RGB).
   • Áp dụng 2 kỹ thuật tăng cường dữ liệu: Cắt ngẫu nhiên và thay đổi kích thước (Random Resized Crop - RRC) nhằm giúp mô hình tập trung vào các đặc trưng nhỏ như vân, gân rễ; Lật ngang ngẫu nhiên (Random Horizontal Flip - RHF) nhằm mô phỏng góc chụp đa hướng mà không làm sai lệch cấu trúc hay màu sắc.
   • Nghiên cứu loại bỏ các phương pháp làm mất thông tin nhận dạng đặc thù của dược liệu khô gồm: Gaussian Blur (làm mờ chi tiết gân sợi như ở Đỗ trọng), Grayscale (làm mất đặc trưng màu sắc cốt lõi như màu đỏ cam của Tô mộc) và Color Jitter (làm sai lệch màu đốm trắng nhận diện trên lá Chè dây).
3. Phân chia dữ liệu: Tổng cộng 16.156 ảnh được chia ngẫu nhiên bằng hàm seed cố định theo tỷ lệ:
   • Tập huấn luyện (Train set): 70% (11.310 ảnh).
   • Tập kiểm định (Validation set): 15% (2.423 ảnh).
   • Tập kiểm tra (Test set): 15% (2.423 ảnh).
4. Tiêu chuẩn đánh giá: Sử dụng 4 chỉ số thống kê gồm Độ chính xác (Accuracy), Độ đúng (Precision), Độ phủ (Recall), Điểm F1-score và hàm mất mát (Loss).

---

Thiết kế và triển khai hệ thống nhận diện

Hệ thống được thiết kế hoàn chỉnh từ khâu tiếp nhận dữ liệu ảnh đến suy luận mô hình và hiển thị thông tin học thuật cho người dùng:

Thành phần hệ thống	Công nghệ / Nền tảng sử dụng	Chức năng thực hiện
Môi trường huấn luyện	Laptop HP 348 G7 (Core i5-10210U, RAM 8GB), Hugging Face Transformers	Huấn luyện mạng Vision Transformer (ViT) phân loại 78 lớp
Kho lưu trữ mã nguồn	GitHub	Quản lý phiên bản mã nguồn ứng dụng và mã xử lý dữ liệu
Lưu trữ & Phục vụ mô hình	Hugging Face Spaces	Lưu trữ trọng số mô hình ViT và cung cấp API suy luận trực tiếp
Giao diện Web	Streamlit Cloud (https://nhanthucduochup2025.app/)	Xây dựng giao diện tương tác người dùng, tải ảnh và hiển thị kết quả
Dữ liệu chuyên môn	Trích xuất từ giáo trình Thực tập Dược liệu (ĐH Dược Hà Nội)	Cung cấp tên khoa học, đặc điểm nhận thức, công dụng và cách dùng

Cấu trúc website bao gồm 2 phân hệ chính:

• Trang Chủ: Cho phép người dùng tải ảnh dược liệu cần kiểm tra. Mô hình ViT xử lý và đưa ra danh sách dự đoán Top 5 loài có độ tương đồng cao nhất kèm tỷ lệ phần trăm xác suất tương ứng. Người dùng có thể nhấp chọn từng tên dược liệu trong Top 5 để mở nhanh thông tin mô tả chi tiết.
• Trang Đối Chiếu: Cung cấp thanh công cụ tìm kiếm và danh mục tra cứu 78 loại dược liệu xếp theo thứ tự bảng chữ cái. Kết quả trả về gồm hình ảnh mẫu chuẩn, tên khoa học, đặc điểm nhận thức hình thái, thành phần hóa học chính và công dụng chữa bệnh dựa trên tài liệu chuẩn của Bộ môn Dược liệu.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 hệ thống hóa cơ sở lý thuyết về thị giác máy tính và các bài toán cốt lõi: Phân loại hình ảnh (Image Classification), Phân đoạn hình ảnh (Image Segmentation), Phát hiện đối tượng (Object Detection), Theo dõi đối tượng (Object Tracking) và Nhận dạng ký tự quang học (OCR). Tác giả so sánh chi tiết sự khác biệt giữa học máy truyền thống (cần trích xuất đặc trưng thủ công) và học sâu (tự động trích xuất đặc trưng đa tầng).

Bên cạnh đó, chương tổng quan phân tích các nghiên cứu nhận diện thực vật và dược liệu trong và ngoài nước (như nghiên cứu của Grinblat năm 2016, Paulson năm 2020, HerbMet năm 2024). Tác giả chỉ ra rằng đa số các nghiên cứu trước đây chủ yếu tập trung vào cây thuốc tươi hoặc lá tươi bằng các mô hình CNN thông thường, thiếu các nghiên cứu chuyên sâu về dược liệu khô – vốn bị biến đổi mạnh về hình thái do quá trình bào chế, bảo quản.

Chương 2: Đối tượng và phương pháp nghiên cứu

Trình bày chi tiết thông số kỹ thuật phần cứng, công cụ phần mềm và quy trình thu thập bộ dữ liệu gồm 78 loại dược liệu tại Trường Đại học Dược Hà Nội. Chương này mô tả kỹ thuật cấu trúc thư mục dữ liệu Stt_Tenduoclieu, quy trình gán nhãn tự động thông qua ImageFolder, phương pháp chuyển đổi ma trận tensor, chuẩn hóa giá trị điểm ảnh và thiết lập tham số tối ưu hóa cho Vision Transformer qua Hugging Face Trainer API. Tác giả cũng giải thích chi tiết lý do lựa chọn hoặc loại bỏ từng kỹ thuật tiền xử lý hình ảnh dựa trên tính chất bảo tồn đặc trưng nhận thức của dược liệu.

Chương 3: Thực nghiệm, kết quả và bàn luận

Chương 3 công bố toàn bộ dữ liệu thực nghiệm trên 16.156 ảnh. Tác giả trình bày kết quả đánh giá mô hình ViT trên tập kiểm định, tập kiểm tra và so sánh định lượng với các kiến trúc CNN phổ biến khác (ResNet50, DenseNet, MobileNetV3, ShuffleNetV2, EfficientNet-B0).

Chương này cũng thực hiện đánh giá độc lập mô hình trên bộ dữ liệu kiểm thử ngoài gồm 100 ảnh chụp bằng iPhone 11 Pro Max, phân tích chi tiết nguyên nhân gây ra các trường hợp dự đoán sai sót và so sánh đối chứng khả năng nhận diện thực tế giữa mô hình chuyên biệt với công cụ tìm kiếm Google Lens.

Chương 4: Kết luận và đề xuất

Tổng kết mức độ hoàn thành hai mục tiêu đề ra về mặt xây dựng mô hình AI và triển khai ứng dụng web. Tác giả đưa ra các đề xuất kỹ thuật cụ thể nhằm nâng cao độ chính xác của mô hình và mở rộng các tính năng tương tác của website trong tương lai.

---

Kết quả và đóng góp

1. Kết quả huấn luyện và đánh giá mô hình

Mô hình Vision Transformer (ViT) cho thấy khả năng phân loại tốt trên tập dữ liệu 78 loại dược liệu khô, vượt trội hơn các kiến trúc mạng nơ-ron tích chập truyền thống được thử nghiệm đối chứng.

Bảng so sánh hiệu năng giữa các kiến trúc học sâu trên tập kiểm tra:

Mô hình học sâu	Độ chính xác (Accuracy)	Điểm F1-score	Hàm mất mát kiểm tra (Test Loss)
Vision Transformer (ViT)	89,31%	89,30%	0,3806
ShuffleNetV2	79,46%	79,00%	—
EfficientNet-B0	79,25%	—	—
ResNet50	78,38%	—	—
DenseNet	72,94%	—	—
MobileNetV3	72,84%	—	1,0513

Trên tập kiểm định (Validation set), mô hình ViT đạt độ chính xác 89,88% với hàm mất mát 0,376 - 0,380. Trên tập kiểm tra độc lập (Test set), các chỉ số đạt được lần lượt là: Accuracy = 89,31%, Precision = 90,02% (0,9002), Recall = 89,31% (0,8931) và F1-score = 89,30% (0,893).

2. Kết quả kiểm thử trên bộ dữ liệu ngoài (100 ảnh)

Khi thử nghiệm trên 100 ảnh chụp ngẫu nhiên trong điều kiện thực tế (chụp bằng thiết bị iPhone 11 Pro Max), mô hình đạt tỷ lệ nhận diện chính xác 95/100 ảnh (95%).

Phân tích 5 trường hợp nhận diện nhầm lẫn trên bộ dữ liệu ngoài:

Mẫu dược liệu thực tế	Dự đoán nhầm thành	Tỷ lệ dự đoán sai	Tỷ lệ dự đoán đúng	Thứ hạng kết quả đúng
Táo nhân	Chi tử	20,91%	—	Ngoài Top 5
Thông thảo	Bạch thược	66,67%	19,21%	Top 2
Đương quy	Nhân sâm	61,76%	9,75%	Top 3
Đảng sâm	Ngưu tất	36,80%	33,43%	Top 2
Nhân trần	Nhọ nồi	76,39%	7,57%	Top 3

Phân tích cho thấy 4/5 trường hợp dự đoán sai thì kết quả đúng vẫn nằm trong Top 2 hoặc Top 3 dự đoán của hệ thống.

3. Đóng góp của đề tài

• Xây dựng thành công bộ dữ liệu chuẩn hóa gồm 16.156 ảnh của 78 loại dược liệu khô tại Việt Nam – đối tượng vốn có độ biến thiên hình thái phức tạp và hiếm có tập dữ liệu mở.
• Chứng minh tính hiệu quả vượt trội của kiến trúc Vision Transformer (ViT) so với các mạng CNN truyền thống trong việc học các đặc trưng toàn cục của dược liệu khô.
• Xây dựng hoàn chỉnh ứng dụng website trực tuyến miễn phí tích hợp hệ thống tra cứu chuẩn học thuật, phục vụ trực tiếp cho hoạt động giảng dạy và học tập môn Dược liệu.
• Làm rõ ưu thế của mô hình chuyên biệt so với các công cụ đa năng như Google Lens (Google Lens thường trả về kết quả nhiễu, sản phẩm thương mại hoặc bị ảnh hưởng do nhãn sai từ người dùng tải lên).

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được tác giả chỉ ra

1. Sự mất cân bằng dữ liệu: Số lượng ảnh giữa các loại dược liệu còn chênh lệch (dao động từ 85 ảnh như Linh chi đến 419 ảnh như Xuyên tâm liên) do một số mẫu phòng thí nghiệm bị mốc, hư hỏng hoặc thiếu mẫu.
2. Chất lượng và điều kiện chụp ảnh: Một số hình ảnh còn bị mờ, chụp qua túi nilon gây phản quang, hoặc điều kiện ánh sáng chưa đồng nhất, làm suy giảm khả năng trích xuất đặc trưng.
3. Dạng bào chế chưa đồng nhất: Sự khác biệt giữa mẫu dược liệu nguyên thể và mẫu phiến cắt lát (ví dụ: tập huấn luyện của Đương quy chủ yếu là phiến cắt trong khi ảnh kiểm tra là nguyên củ) dẫn đến sai lệch nhận diện.
4. Hạn chế phần cứng: Quá trình huấn luyện thực hiện trên máy tính cá nhân bị giới hạn tài nguyên tính toán, chưa thể kéo dài số lượng epoch để tối ưu hóa triệt để trọng số mạng.

Đề xuất phát triển tiếp theo

• Cải tiến mô hình: Tăng số lượng epoch huấn luyện trên hệ thống có GPU chuyên dụng; mở rộng bộ dữ liệu chụp đa dạng cả hai trạng thái nguyên mẫu và lát cắt cho từng loài dược liệu; áp dụng thêm các kỹ thuật chụp ảnh trong điều kiện ánh sáng yếu hoặc môi trường bao bì phức tạp.
• Mở rộng chức năng ứng dụng: Tích hợp tính năng lưu trữ lịch sử nhận diện tạo thư viện cá nhân hóa; bổ sung tính năng chia sẻ cộng đồng; phát triển phân hệ kết nối trực tiếp với chuyên gia y dược học cổ truyền để tư vấn trực tuyến.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho:

• Sinh viên ngành Dược và Y học cổ truyền: Sử dụng công cụ web và tài liệu khóa luận như một cẩm nang nhận thức hình thái, tra cứu tên khoa học và công dụng của 78 vị thuốc phổ biến trong chương trình đào tạo.
• Nghiên cứu sinh/Học viên ngành Công nghệ thông tin và Khoa học dữ liệu: Tham khảo quy trình tiền xử lý dữ liệu ảnh y sinh, phương pháp lựa chọn kỹ thuật tăng cường dữ liệu đặc thù (Data Augmentation), cách thiết lập Trainer API của Hugging Face cho mô hình Vision Transformer và quy trình đóng gói triển khai giao diện qua Streamlit Cloud.
• Các đơn vị kiểm nghiệm và kinh doanh dược liệu: Tham khảo phương pháp xây dựng hệ sinh thái nhận diện tự động phục vụ công tác sàng lọc sơ bộ chất lượng nguyên liệu đầu vào.

---

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại lựa chọn mô hình Vision Transformer (ViT) thay vì các kiến trúc mạng CNN quen thuộc?

Vision Transformer sử dụng cơ chế tự chú ý (self-attention) trên toàn bộ các mảnh ảnh (patches), cho phép nắm bắt mối quan hệ không gian toàn cục và cấu trúc tổng thể tốt hơn so với các cửa sổ trượt tích chập cục bộ của CNN. Kết quả thực nghiệm tại khóa luận cho thấy ViT đạt độ chính xác 89,31% và hàm mất mát thấp nhất (0,3806), vượt trội rõ rệt so với ResNet50 (78,38%), EfficientNet-B0 (79,25%) hay MobileNetV3 (72,84%).

2. Vì sao các kỹ thuật tăng cường dữ liệu như Gaussian Blur, Grayscale và Color Jitter bị loại bỏ trong nghiên cứu này?

Các kỹ thuật này làm triệt tiêu các đặc trưng phân loại sống còn của dược liệu khô:

• Gaussian Blur: Làm mờ các chi tiết sắc nét như đường gân hoặc cấu trúc sợi (ví dụ làm mất các sợi trắng đặc trưng trên Đỗ trọng).
• Grayscale: Làm mất hoàn toàn thông tin màu sắc – yếu tố phân biệt then chốt của nhiều loài (ví dụ màu đỏ cam của Tô mộc bị biến thành màu xám).
• Color Jitter: Làm biến đổi sắc độ ngẫu nhiên, làm mất các dấu hiệu nhận dạng màu đặc thù (như đốm trắng nhận dạng trên lá Chè dây).

3. Bộ dữ liệu của khóa luận bao gồm bao nhiêu ảnh và được phân chia theo tỷ lệ nào?

Bộ dữ liệu gồm 16.156 ảnh chụp quang học của 78 loại dược liệu khô được cung cấp bởi Bộ môn Dược liệu – Trường Đại học Dược Hà Nội. Dữ liệu được phân chia ngẫu nhiên cố định bằng seed theo tỷ lệ: 70% tập huấn luyện (11.310 ảnh), 15% tập kiểm định (2.423 ảnh) và 15% tập kiểm tra (2.423 ảnh).

4. Khi thử nghiệm trên 100 ảnh chụp ngoài thực tế, kết quả nhận diện đạt mức độ nào?

Mô hình nhận diện chính xác 95/100 ảnh (tỷ lệ 95%). Trong số 5 ảnh nhận diện sai ở vị trí số 1, có 4 trường hợp kết quả chính xác vẫn xuất hiện trong Top 2 hoặc Top 3 dự đoán của hệ thống (Thông thảo, Đương quy, Đảng sâm, Nhân trần).

5. So với công cụ Google Lens, mô hình của khóa luận có ưu điểm gì nổi bật?

Google Lens có cơ sở dữ liệu rộng nhưng chứa nhiều dữ liệu nhiễu, dựa vào nhãn do người dùng Internet tự gán nên dễ sai lệch và thường trả về các sản phẩm thương mại không liên quan. Mô hình của khóa luận được huấn luyện chuyên biệt trên tập dữ liệu học thuật chuẩn hóa, trả về chính xác Top 5 kèm tỷ lệ phần trăm xác suất và liên kết trực tiếp với dữ liệu dược học chính thống từ giáo trình của Trường Đại học Dược Hà Nội.

---

Kết luận

Khóa luận tốt nghiệp Dược sĩ của sinh viên Lại Thị Ngọc Mai đã xây dựng thành công mô hình học sâu ứng dụng kiến trúc Vision Transformer (ViT) để nhận diện 78 loại dược liệu khô với độ chính xác trên tập kiểm tra đạt 89,31% và khả năng nhận diện thực tế đạt 95%. Hệ thống đã được triển khai hoàn chỉnh dưới dạng website tương tác trực tuyến tích hợp cơ sở dữ liệu tra cứu chuyên môn chuẩn mực. Đề tài mở ra hướng ứng dụng công nghệ số và trí tuệ nhân tạo thiết thực trong công tác đào tạo, học tập và kiểm soát chất lượng dược liệu tại Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 : TỔNG QUAN 1. Thị giác máy tính 1. Khái niệm về thị giác máy tính Thị giác là một trong những giác quan mạnh mẽ nhất của con người cũng như nhiều loài sinh vật [7]. Các nhà khoa học thuộc nhiều lĩnh vực khác nhau, từ thần kinh học, tâm lý học đến kĩ thuật và trí tuệ nhân tạo đều cố gắng tìm hiểu bản chất của thị giác.

Trong khi các nhà khoa học thần kinh quan tâm đến cách bộ não xử lý hình ảnh, thì các nhà nghiên cứu trí tuệ nhân tạo lại đặt ra câu hỏi: “ Làm thế nào để máy tính có thể nhìn và hiểu thế giới như con người ?”. Chính từ nhu cầu đó thị giác máy tính (Computer vision - CV) ra đời như một nhánh quan trọng của AI, với mục tiêu giúp máy móc có khả năng thu nhận, phân tích và hiểu nội dung hình ảnh hoặc video. Nếu như con người có hệ thống thị giác sinh học dựa trên mắt và não bộ, thì máy tính sử dụng cảm biến hình ảnh và thuật toán để xử lý thông tin trực quan. Nói cách khác, thị giác máy tính là một loại AI sử dụng video kĩ thuật số hoặc chuỗi hình ảnh với mục tiêu đào tạo máy tính để trích xuất thông tin hình ảnh, cho phép máy tính có thể “ nhìn”, “hiểu”, từ đó có thể nhận dạng nội dung [8-9].

CV cũng có thể được hiểu là một tập hợp các phương pháp và kỹ thuật nhằm mô phỏng khả năng nhận thức hình ảnh của con người bằng cách sử dụng các thuật toán và mô hình toán học. Bằng cách kết hợp các phương pháp xử lý hình ảnh số, CV có thể mô phỏng cách con người nhận diện đối tượng, phân loại hình ảnh và trích xuất thông tin từ môi trường xung quanh. Sự phát triển của thị giác máy tính đã mở ra hàng loạt các ứng dụng quan trọng, từ nhận diện khuôn mặt, xe tự lái, giám sát an ninh cho đến chuẩn đoán y khoa. Các lĩnh vực nghiên cứu của thị giác máy tính Thị giác máy tính không chỉ đơn thuần là việc máy tính "nhìn" thấy hình ảnh, mà còn là quá trình giúp hệ thống hiểu và suy luận về thế giới xung quanh thông qua dữ liệu thị giác.

Dưới đây là những lĩnh vực thị giác máy tính phổ biến, mỗi dạng đóng một vai trò quan trọng trong việc xử lý và phân tích hình ảnh, video: Phân loại hình ảnh (Image Classification): Đây là một trong những bài toán cơ bản của thị giác máy tính, trong đó hệ thống xác định xem một hình ảnh thuộc về danh mục nào. Chẳng hạn, một mô hình có thể tự động phân biệt giữa ảnh chụp chó, mèo, xe hơi hay cây cối. Phân loại hình ảnh là nền tảng cho nhiều ứng dụng thực tế như nhận diện sản phẩm trong thương mại điện tử [10] hay sàng lọc hình ảnh trong y tế [11]. Phân đoạn hình ảnh (Image Segmentation): Không chỉ dừng lại ở việc nhận diện tổng thể, phân đoạn hình ảnh chia hình ảnh thành các vùng nhỏ hơn, giúp mô hình 2 hiểu rõ hơn về cấu trúc của đối tượng.

Ví dụ, trong y tế, công nghệ này giúp phát hiện và khoanh vùng chính xác khối u trong ảnh chụp X-quang hoặc MRI [12], hỗ trợ bác sĩ trong việc chẩn đoán bệnh lý. Phát hiện đối tượng (Object Detection): Nếu như phân loại hình ảnh chỉ xác định nội dung của một bức ảnh, thì phát hiện đối tượng còn tiến xa hơn khi xác định vị trí chính xác của các vật thể trong hình ảnh hoặc video. Công nghệ này được ứng dụng rộng rãi trong giám sát an ninh, hỗ trợ xe tự hành nhận diện phương tiện trên đường [13], hoặc quản lý hàng hóa trong chuỗi cung ứng [14]. Theo dõi đối tượng (Object Tracking): Khi một đối tượng đã được phát hiện, hệ thống có thể theo dõi chuyển động của nó qua các khung hình liên tiếp trong video.

Chẳng hạn, trong thể thao, công nghệ theo dõi đối tượng giúp phân tích chuyển động của cầu thủ trên sân [15]. Trong lĩnh vực giao thông, nó giúp xe tự lái dự đoán hướng di chuyển của người đi bộ để đưa ra quyết định an toàn [16]. Trích xuất đặc trưng (Feature Extraction): Một hình ảnh chứa rất nhiều thông tin, nhưng không phải tất cả đều quan trọng. Trích xuất đặc trưng giúp hệ thống lọc ra những yếu tố then chốt, chẳng hạn như các điểm nhận diện trên khuôn mặt trong hệ thống nhận diện khuôn mặt [17], hoặc các đặc trưng của vải trong kiểm tra chất lượng sản phẩm dệt may [18].

Nhận dạng ký tự quang học (Optical Character Recognition, OCR): Công nghệ này giúp máy tính đọc và hiểu văn bản từ hình ảnh, cho phép chuyển đổi dữ liệu từ tài liệu giấy sang định dạng số [19]. OCR được ứng dụng rộng rãi trong nhận diện biển số xe [20], số hóa tài liệu, hay tự động xử lý hóa đơn và chứng từ trong doanh nghiệp. Mỗi dạng thị giác máy tính không hoạt động độc lập mà thường kết hợp với nhau để tạo ra các hệ thống thông minh hơn, ứng dụng trong y tế, sản xuất, an ninh, thương mại và nhiều lĩnh vực khác, giúp máy móc không chỉ "thấy" mà còn "hiểu" thế giới theo cách gần giống con người hơn. Học sâu trong lĩnh vực thị giác máy tính 1.

Từ học máy đến học sâu Trong sơ đồ cấu tạo của hệ thống Data Science (Hình 1.1), có thể thấy trí tuệ nhân tạo nằm trong phạm vi khoa học dữ liệu và bao gồm lập trình cổ điển và học máy (Machine Learning – ML). ML chứa nhiều mô hình và phương pháp, bao gồm học sâu và mạng nơ-ron nhân tạo (Artificial Neutral Network). Cấu trúc của hệ thống Data Science [1] Như vậy, mặc dù học sâu (Deep learning – DL) thực chất là một nhánh của học máy, nhưng khi nhắc đến ML trong bối cảnh thị giác máy tính, người ta thường mặc định đề cập đến các phương pháp ML truyền thống (Traditional Machine Learning - TML), thay vì các mô hình DL hiện đại. Trong giai đoạn đầu phát triển của thị giác máy tính, các phương pháp dựa trên ML truyền thống đóng vai trò chủ đạo do hạn chế về tài nguyên tính toán (bộ nhớ, CPU và GPU).

Các thuật toán ML phổ biến trong CV thời kỳ này bao gồm K-means, Naive Bayes, Decision Tree, Boosting, Random Forest, Expectation-Maximization (EM), K- Nearest Neighbor (KNN) và Support Vector Machine (SVM). Tuy nhiên, khi xử lý dữ liệu hình ảnh bằng ML, người ta nhận ra những hạn chế lớn như: thuật toán phụ thuộc nhiều vào trích xuất các đặc trưng thủ công, yêu cầu chuyên gia phải thiết kế các đặc trưng phù hợp cho bài toán cụ thể. Khi kích thước dữ liệu và độ phức tạp tăng lên, hiệu suất của các phương pháp này dần trở nên kém hiệu quả, đặt ra nhu cầu về một hướng tiếp cận mới. Sự ra đời của học sâu đã đánh dấu một bước ngoặt trong lĩnh vực thị giác máy tính.

Không giống như TML, DL cho phép mô hình tự động trích xuất đặc trưng mà không cần sự can thiệp của con người. Đặc biệt, năm 2012, mô hình AlexNet đã chiến thắng cuộc thi ImageNet với độ chính xác vượt trội, chứng minh khả năng của DL trong việc xử lý hình ảnh ở quy mô lớn. Thành công của mô hình này là một bước mở đường cho hàng loạt các kiến trúc DL tiên tiến hơn như VGGNet (2014) [21], ResNet (2015) [22], DenseNet (2017) [23] và Vision Transformer (ViT) (2020) [24]. So với TML , DL có lợi thế về khả năng học đặc trưng tự động và xử lý lượng dữ liệu lớn, nhưng đòi hỏi tài nguyên tính toán mạnh mẽ hơn.

Do đó, việc lựa chọn giữa ML và DL trong CV phụ thuộc vào yêu cầu cụ thể của bài toán, quy mô dữ liệu và điều kiện triển khai thực tế 4 [25]. Những điểm khác biệt chính giữa phương pháp học máy truyền thống với học sâu được thể hiện trong Bảng 1.1 dưới đây: Bảng 1. So sánh giữa Machine Learning và Deep Learning Khía cạnh Machine Learning Deep Learning DL là một tập con của ML, dựa trên việc học ML là nghiên cứu về các biểu diễn của dữ liệu. các thuật toán máy tính Điều này cho phép nó tự Định nghĩa có khả năng tự cải thiện động học các đặc trưng, thông qua kinh nghiệm.

thay vì yêu cầu con người [26] thiết kế đặc trưng thủ công [27] Con người can thiệp Sự can thiệp của con trong lúc thực hiện Ít sự can thiệp của con người nhiệm vụ để đạt kết quả người hơn tốt hơn Nhẹ nhàng hơn, phù Tài nguyên phải mạnh, hợp xử lý mô hình có xử lý được các mô hình Phần cứng kích thước nhỏ, có thể có kích thước lớn, chạy chạy trên CPU trên GPU Vận hành nhanh nhưng Mất thời gian thực hiện Thời gian kết quả bị chậm nhưng trả kết quả nhanh Sử dụng dữ liệu lớn, Hàng nghìn điểm dữ Cách tiếp cận nhiều thuật toán, hàng liệu triệu điểm dữ liệu Ô tô tự lái, robot phẫu Ứng dụng Phát hiện spam mail… thuật, nhận dạng ảnh, khuôn mặt. Deep Learning đã cách mạng hóa lĩnh vực thị giác máy tính, đưa độ chính xác của các thuật toán lên một tầm cao mới trong các nhiệm vụ như phân loại ảnh, nhận diện đối tượng và phân đoạn ảnh. Trong số đó, hai dòng mô hình nổi bật nhất thường được ứng dụng trong lĩnh vực này là mạng nơ-ron tích chập (CNN - Convolutional Neural Networks), vốn là nền tảng của thị giác máy tính truyền thống, và Transformer, một hướng tiếp cận mới đang dần khẳng định vị thế nhờ khả năng nắm bắt mối quan hệ toàn cục trong ảnh. Các mô hình học sâu trong CV DL đã mang lại những bước tiến vượt bậc trong lĩnh vực thị giác máy tính, giúp cải thiện đáng kể khả năng nhận diện, phân loại và phân tích hình ảnh.

Hiện nay, các mô hình DL trong CV chủ yếu dựa trên hai hướng tiếp cận chính: Mạng nơ-ron tích chập CNN và mô hình Transformer dành cho hình ảnh - ViT. CNN là nền tảng cốt lõi của nhiều hệ thống xử lý ảnh hiện đại. Dựa trên nguyên lý tích chập, CNN có khả năng tự động trích xuất các đặc trưng quan trọng từ hình ảnh, thay vì phải dựa vào các kỹ thuật tiền xử lý thủ công như trước đây. Nhờ khả năng học trực tiếp từ dữ liệu, CNN đã mang lại hiệu suất vượt trội trong các nhiệm vụ như phân loại ảnh, nhận diện đối tượng và phân đoạn ảnh.

Theo thời gian, CNN đã được phát triển thành nhiều biến thể khác nhau để tối ưu hóa hiệu suất và giảm chi phí tính toán.