Bối cảnh và vấn đề nghiên cứu

Trong các ngành công nghệ hóa học, sinh học và công nghệ dược phẩm, kích thước hạt của các sản phẩm dạng bột và hạt đóng vai trò quyết định cùng với độ tinh khiết. Kích thước hạt ảnh hưởng trực tiếp đến tốc độ hòa tan của dược chất cũng như quy trình gia công tạo viên nén trong sản xuất thuốc. Việc xác định kích thước hạt chính xác và nhanh chóng mang ý nghĩa thực tiễn quan trọng, tuy nhiên đang đối mặt với các thách thức kỹ thuật:

  • Về số lượng hạt khảo sát: Kích thước của hệ đa phân tán chỉ đạt ý nghĩa thống kê khi khảo sát trên một tập hợp mẫu đủ lớn, từ hàng trăm, hàng nghìn đến hàng triệu hạt, thường được biểu diễn dưới dạng lược đồ phân bố kích thước hạt (Particle Size Distribution - PSD).
  • Về phương pháp thực hiện: Phương pháp đo thủ công truyền thống (lấy mẫu định kỳ và pha loãng mẫu) đòi hỏi nhiều công đoạn thủ công, tốn thời gian, phát sinh sai số thô lớn và có độ trễ hồi tiếp kéo dài. Phương pháp này không đáp ứng được yêu cầu theo dõi các hệ động học diễn ra với tốc độ cao như quá trình sinh mầm tinh thể hoặc hình thành giọt lỏng trong hệ nhũ tương.
  • Về độ chính xác: Trong quá trình kết tinh, các tinh thể dễ bị nứt vỡ do sốc nhiệt, kết dính hoặc chồng lấn lên nhau, dẫn đến hiện tượng che khuất một phần. Thực tế này đòi hỏi giải pháp thị giác máy tính có khả năng nhận dạng hình thái tinh thể toàn phần (bao gồm cả phần nhìn thấy và phần bị che khuất hoặc khuyết tật).

Đề tài đặt mục tiêu nghiên cứu các kỹ thuật học máy trong thị giác máy tính, cụ thể là mạng nơ-ron tích chập (CNN) và các mô hình phân đoạn đối tượng toàn phần (Amodal Instance Segmentation) nhằm nhận diện hình thái tinh thể từ ảnh chụp kính hiển vi và xây dựng lược đồ phân bố kích thước hạt PSD.

Nhiệm vụ nghiên cứu được văn bản xác định gồm 4 nội dung:

  1. Tìm hiểu về hình thái học tinh thể, phương pháp thu thập dữ liệu thủ công, tiêu chuẩn xác định tinh thể đạt yêu cầu; xây dựng tập dữ liệu nội bộ (in-house dataset) về hình thái tinh thể bị che khuất bằng công cụ LabelMe.
  2. Nghiên cứu, thử nghiệm các mô hình phân đoạn đối tượng toàn phần (BCNet, AISFormer) để nhận diện và phân đoạn tinh thể toàn phần trên ảnh; đánh giá và so sánh hiệu suất giữa các mô hình dựa trên chi phí huấn luyện, độ chính xác và thời gian suy luận.
  3. Lựa chọn mô hình phù hợp để xây dựng hệ thống nhận diện, đo kích thước tinh thể và vẽ lược đồ phân bố kích thước hạt PSD phục vụ thu thập kích thước tinh thể trong thực tế.
  4. Đánh giá hiệu suất và hiệu quả của mô hình trong bối cảnh thực tế về độ chính xác, hiệu quả và khả năng mở rộng.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Ảnh chụp hệ tinh thể muối kép dưới kính hiển vi; cơ sở lý thuyết về học máy, học sâu, phân đoạn đối tượng toàn phần; các phương pháp đo kích thước và đánh giá mô hình phân đoạn đối tượng toàn phần.
  • Phạm vi không gian và thời gian: Đề tài thực hiện tại Khoa Công nghệ Thông tin phối hợp cùng Khoa Công nghệ Hóa học và Thực phẩm - Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh; thời gian thực hiện từ ngày 20/03/2024 đến ngày 10/07/2024.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các phân ngành chính của trí tuệ nhân tạo và thị giác máy tính:

  • Khung lý thuyết học máy: Hệ thống hóa các khái niệm điểm dữ liệu (observation $X$), nhãn dán (label $y$), mô hình ($f(x)$), tham số ($\theta$), siêu tham số (hyperparameter), hàm mất mát ($L(\hat{y}, y)$) và các chỉ số đánh giá (metrics). Phân loại 3 nhóm học máy chính gồm học có giám sát (supervised learning), học không giám sát (unsupervised learning) và học củng cố (reinforcement learning).
  • Thị giác máy tính và phân đoạn đối tượng toàn phần: Khảo sát các tác vụ phân loại hình ảnh, phát hiện vật thể và phân đoạn hình ảnh (FCN, U-Net, DeepLab). Định nghĩa 3 loại mặt nạ trong phân đoạn toàn phần: mặt nạ khả kiến (visible/modal mask), mặt nạ không khả kiến (invisible mask) và mặt nạ toàn phần (amodal mask).
  • Mô hình kiến trúc chuyên sâu:
    • BCNet (Bilayer Convolutional Network): Mô hình 2 giai đoạn từ trên xuống (top-down), sử dụng mạng đường trục (backbone) ResNet-50 hoặc ResNet-101 kết hợp Feature Pyramid Network (FPN). Cấu trúc Bilayer Occlusion Modeling gồm 2 lớp mạng tích chập đồ thị (GCN) kết hợp mạng tích chập đầy đủ (FCN) nhằm tách biệt ranh giới và xử lý tương tác giữa đối tượng che khuất (occluder) và đối tượng bị che khuất (occludee).
    • AISFormer (Amodal Instance Segmentation with Transformer): Mô hình phân đoạn dựa trên truy vấn (query-based) kế thừa từ DETR, gồm 4 module: (i) Mã hóa đặc trưng (Feature encoding với ResNet và Transformer encoder), (ii) Giải mã Transformer mặt nạ (Mask transformer decoding sử dụng cơ chế amodal self-attention và amodal cross-attention trên 3 truy vấn học được), (iii) Nhúng mặt nạ bị che khuất (Invisible mask embedding xử lý qua các lớp ẩn MLP), và (iv) Dự đoán mặt nạ (Mask predicting tính tích vô hướng để trích xuất đồng thời 4 loại mặt nạ: occluding, visible, amodal và invisible).

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình:

  • Nguồn dữ liệu: Dữ liệu ảnh chụp hệ tinh thể muối kép dưới kính hiển vi quang học trong điều kiện đang kết tinh. Tinh thể có đặc điểm cấu trúc dạng khối cầu với các mặt ngũ giác và tứ giác xen kẽ, mật độ trung bình từ 50 đến 100 tinh thể trong mỗi khung hình. Quy chuẩn chuyên môn do TS. Lê Minh Tâm (Khoa Công nghệ Hóa học và Thực phẩm) hướng dẫn.
  • Phương pháp thu thập và gán nhãn: Sử dụng công cụ LabelMe để đánh nhãn đa giác thủ công cho 8 ảnh gốc, tạo các vùng nhãn mặt nạ khả kiến (màu xanh) và mặt nạ toàn phần (màu đỏ).
  • Tiền xử lý và tăng cường ảnh số: Ứng dụng thư viện OpenCV và NumPy thực hiện chuyển đổi ảnh xám (Grayscale), cân bằng lược đồ độ sáng cục bộ thích nghi (CLAHE: clipLimit=2.0, tileGridSize=(8, 8)), làm mịn giảm nhiễu Gaussian Blur (kernel (5, 5)), phân ngưỡng nhị phân thích nghi (Adaptive Thresholding), biến đổi hình thái học (Morphology Close và Open), trích xuất đường viền (findContours) và lọc diện tích (min_contour_area = 1000). Áp dụng kỹ thuật tăng cường dữ liệu (lật ngang, lật dọc, xoay 90 độ) để mở rộng tập dữ liệu từ 8 ảnh gốc lên 40 ảnh (kích thước chuẩn hóa 640x640 pixels).
Phương pháp phân đoạn Tiếp cận Đại diện tiêu biểu Cơ chế xử lý che khuất
Một giai đoạn (One-stage) Dựa trên điểm neo / Không neo YOLACT, BlendMask, CenterMask Trích xuất mặt nạ trực tiếp từ nhánh ngữ nghĩa
Hai giai đoạn (Two-stage CNN) Từ trên xuống (Top-down) Mask R-CNN, ORCNN, BCNet Sử dụng 2 lớp GCN tách lớp đối tượng che khuất và bị che khuất
Dựa trên Transformer Dựa trên truy vấn (Query-based) DETR, QueryInst, AISFormer Tự chú ý và chú ý chéo trên 3 vector truy vấn mặt nạ học được

Thiết kế và triển khai hệ thống

Khóa luận tiến hành thiết kế hệ thống phần mềm nhằm tự động hóa quy trình phân tích và đo đạc kích thước tinh thể từ hình ảnh hiển vi:

  • Kiến trúc và công nghệ: Hệ thống được xây dựng trên nền tảng framework NextJS, tích hợp các module xử lý logic và giao diện người dùng. Phần xử lý trí tuệ nhân tạo tích hợp các mô hình học sâu (AISFormer, BCNet) đã được huấn luyện cùng các thuật toán đo đạc hình học.
  • Luồng hoạt động của hệ thống:
    1. Tiếp nhận dữ liệu: Người dùng tải lên ảnh chụp hệ tinh thể từ kính hiển vi qua giao diện web.
    2. Tiền xử lý và nhận dạng: Hệ thống thực hiện chuẩn hóa ảnh và đưa qua mô hình phân đoạn đối tượng toàn phần để phát hiện ranh giới từng tinh thể, bóc tách vùng khả kiến và vùng bị che lấp.
    3. Đo đạc hình học: Hệ thống tính toán kích thước từng tinh thể dựa trên quy tắc xác định số đo dài nhất của bề mặt tinh thể đã được nhận diện.
    4. Biểu diễn trực quan: Giao diện xuất ra hình ảnh phân đoạn đối tượng kèm các lớp mặt nạ màu sắc, đồng thời tự động tổng hợp số liệu và kết xuất biểu đồ phân bố kích thước hạt (PSD).

Nội dung chính theo từng chương

Chương 1: Tổng quan về học máy

Chương 1 giới thiệu khái quát về trí tuệ nhân tạo và học máy. Tác giả định nghĩa các thành phần cốt lõi của bài toán học máy: tập quan sát ($X$), tập nhãn ($y$), mô hình hàm số ($f(X) \approx y$), bộ tham số nội tại ($\theta$) và siêu tham số ngoại lai. Chương này phân tích chi tiết 3 mô hình học máy: học có giám sát (supervised learning) với mục tiêu xấp xỉ hàm ánh xạ từ dữ liệu gán nhãn; học không giám sát (unsupervised learning) tập trung vào phân cụm và giảm chiều dữ liệu (PCA); học củng cố (reinforcement learning) vận hành trên cơ chế tương tác thử - sai để tối ưu hóa hàm phần thưởng.

Chương 2: Tổng quan về thị giác máy tính

Chương 2 trình bày các nhiệm vụ cơ bản của thị giác máy tính bao gồm: phân loại hình ảnh (image classification), phát hiện vật thể (object detection với hộp giới hạn bounding box) và phân đoạn hình ảnh (image segmentation gồm FCN, U-Net, DeepLab). Bên cạnh đó, chương tổng kết các hướng ứng dụng thực tế của thị giác máy tính trong đời sống như theo dõi đối tượng trong chuỗi khung hình video, nhận dạng khuôn mặt và ước tính tư thế 3D.

Chương 3: Tổng quan về phân đoạn đối tượng toàn phần

Chương 3 tập trung vào cơ sở lý thuyết của bài toán phân đoạn đối tượng toàn phần (Amodal Instance Segmentation). Tác giả làm rõ các thách thức kỹ thuật: thiếu hụt các bộ dữ liệu gán nhãn toàn phần, dữ liệu phụ thuộc vào trực giác suy đoán của con người và bài toán nhận thức độ sâu (depth ordering) khi có nhiều lớp che khuất chồng chéo. Chương phân loại 2 hướng tiếp cận: giám sát hoàn toàn (ORCNN, VQ-VAE, VRSP-Net, BCNet) và giám sát yếu (PCNet, ASBU, Bayesian-Amodal). Đồng thời, tác giả phân tích chi tiết kiến trúc của 2 mô hình trọng tâm: mô hình 2 lớp GCN của BCNet và mô hình 4 module dựa trên Transformer của AISFormer.

Chương 4: Tổng quan các nghiên cứu liên quan

Chương 4 tổng hợp và đánh giá 14 công trình khoa học tiêu biểu trong giai đoạn 2016–2024 về phân đoạn đối tượng toàn phần và xử lý che khuất:

STT Tên công trình Tác giả Năm Điểm trọng tâm
1 Amodal Instance Segmentation Li, K., & Malik, J. 2016 Phương pháp đầu tiên cho phân đoạn toàn phần dùng CNN và mở rộng hộp bao lặp
2 AISFormer: Amodal Instance Segmentation with Transformer Yamazaki, K. và cs. 2022 Sử dụng Transformer và query-based xử lý liên kết giữa 3 loại mặt nạ
3 Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers Ke, L. và cs. 2021 Mô hình BCNet 2 lớp phân biệt occluder và occludee
4 Amodal Intra-class Instance Segmentation Ao, J., & Ehinger, K. 2024 Bộ dữ liệu 267K ảnh xử lý che khuất nội bộ cùng lớp đối tượng
5 Amodal Instance Segmentation via Prior-Guided Expansion Chen, J. và cs. 2023 Mở rộng mặt nạ dựa trên ngân hàng thông tin hình dạng có trước
6 WALT: Watch And Learn 2D amodal representation Reddy, N. và cs. 2022 Học biểu diễn toàn phần từ dữ liệu ảnh time-lapse camera cố định
7 Unseen Object Amodal Instance Segmentation Back, S. và cs. 2022 Mô hình UOAIS-Net phân cấp độ che khuất trên dữ liệu RGB-D
8 Segmentation Based on Visible Segmentation and Shape Prior Zhong, Z. và cs. 2021 Tinh chỉnh mặt nạ toàn phần từ mặt nạ khả kiến và thông tin hình dạng trước
9 Self-supervised scene de-occlusion Zhan, X. và cs. 2020 Phương pháp tự giám sát dùng mạng PCNet-M và PCNet-C
10 Semantic Amodal Segmentation Zhu, Y. và cs. 2017 Công bố bộ dữ liệu amodal trên BSDS (500 ảnh) và COCO (5000 ảnh)
11 Amodal Instance Segmentation With KINS Dataset Qi, L. và cs. 2019 Công bố tập dữ liệu KINS hơn 14.000 ảnh và mô hình mã hóa đa mức (MLC)
12 Learning to See the Invisible Follmann, P. và cs. 2018 Mô hình ORCNN dự đoán đồng thời 3 đầu mặt nạ trong một lần xử lý
13 A weakly supervised amodal segmenter with boundary uncertainty Nguyen, K., & Todorovic, S. 2021 Mô hình ASBU ước tính độ không chắc chắn ranh giới với giám sát yếu
14 ShapeFormer Bounsavy, W. và cs. 2024 Chuyển đổi một chiều từ visible sang amodal dựa trên truy xuất hình dạng

Chương 5: Xử lý dữ liệu và huấn luyện mô hình

Chương 5 trình bày chi tiết thực nghiệm xây dựng tập dữ liệu và huấn luyện mô hình:

  • Quy chuẩn dữ liệu: 40 ảnh chụp hiển vi tinh thể muối kép (50–100 tinh thể/ảnh). Tiêu chuẩn chọn mẫu gồm: tinh thể hình khối cầu hoàn chỉnh, không nứt vỡ; chỉ dán nhãn mặt nhìn rõ, không dán nhãn mặt bên; kích thước xác định theo số đo dài nhất của bề mặt dán nhãn.
  • Xử lý ảnh: Thực hiện dán nhãn 8 ảnh gốc qua LabelMe; áp dụng pipeline xử lý OpenCV (Grayscale, CLAHE, GaussianBlur, Adaptive Thresholding, Morphology Close/Open, Contour Filtering diện tích > 1000 pixel); tăng cường dữ liệu tạo thành 40 ảnh (chia 30 ảnh tập huấn luyện, 10 ảnh tập kiểm thử).
  • Thực nghiệm huấn luyện: Cấu hình và huấn luyện 4 biến thể mô hình gồm BCNet-ResNet50, BCNet-ResNet101, AISFormer-ResNet50 và AISFormer-ResNet101; theo dõi hàm mất mát trên mặt nạ toàn phần và mặt nạ nhìn thấy để đánh giá độ hội tụ.

Chương 6: Hệ thống thu thập dữ liệu kích thước tinh thể

Chương 6 mô tả chi tiết việc xây dựng ứng dụng hoàn chỉnh bằng NextJS. Tác giả thiết kế giao diện tiếp nhận ảnh vi mô đầu vào, kích hoạt pipeline tiền xử lý và suy luận của mô hình học sâu, xuất kết quả mặt nạ trực quan trên từng hạt tinh thể và tự động tạo biểu đồ phân bố kích thước hạt PSD phục vụ công tác nghiên cứu thực tế.

Kết quả và đóng góp

Khóa luận đạt được các kết quả thực nghiệm và giải pháp cụ thể:

  • Kết quả thực nghiệm:
    • Xây dựng thành công tập dữ liệu nội bộ (in-house dataset) về hình thái tinh thể muối kép bị che khuất dưới kính hiển vi gồm 40 ảnh kích thước 640x640 pixels được gán nhãn đa giác hai lớp (mặt nạ khả kiến và mặt nạ toàn phần).
    • Hoàn thành quy trình tiền xử lý ảnh kết hợp bộ lọc CLAHE và biến đổi hình thái học, giúp loại bỏ nhiễu nền và làm nổi bật biên dạng tinh thể có diện tích lớn hơn 1000 pixel.
    • Huấn luyện thành công các mô hình phân đoạn đối tượng toàn phần trên 2 họ kiến trúc khác nhau (BCNet với backbone ResNet-50/ResNet-101 và AISFormer với backbone ResNet-50/ResNet-101).
  • Giải pháp đề xuất:
    • Đề xuất quy trình tự động hóa thay thế phương pháp đo đạc thủ công truyền thống, cho phép thu thập kích thước tinh thể trực tiếp từ ảnh hiển vi mà không cần qua các bước pha loãng hay lấy mẫu vật lý phức tạp.
    • Xây dựng phần mềm ứng dụng web trên nền tảng NextJS tích hợp trực tiếp mô hình phân đoạn toàn phần, hỗ trợ tải ảnh và tự động biểu diễn phân bố kích thước hạt (PSD).
  • Đóng góp của đề tài:
    • Ứng dụng thành công kỹ thuật phân đoạn đối tượng toàn phần (Amodal Instance Segmentation) vào bài toán kết tinh hóa học và dược phẩm, giải quyết vấn đề sai số do hiện tượng tinh thể chồng lấn, kết dính hoặc nứt vỡ.
    • Cung cấp dữ liệu thực nghiệm và tài liệu phân tích đối sánh chuyên sâu giữa hai hướng tiếp cận phân đoạn toàn phần: mạng nơ-ron tích chập đồ thị 2 lớp (BCNet) và mạng nơ-ron Transformer dựa trên truy vấn (AISFormer).

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra các hạn chế thực tế và đề xuất định hướng phát triển:

  • Hạn chế:
    • Quy mô tập dữ liệu còn hạn chế (8 ảnh gốc được gán nhãn thủ công, mở rộng lên 40 ảnh sau tăng cường), chỉ mới tập trung trên một dạng tinh thể muối kép cụ thể.
    • Quá trình dán nhãn thủ công mặt nạ toàn phần vẫn mang tính ước lượng chủ quan của người thực hiện đối với các vùng bị che khuất hoàn toàn.
    • Mô hình chưa xử lý triệt để bài toán phân tầng độ sâu phức tạp khi có nhiều lớp tinh thể xếp chồng liên tiếp.
  • Hướng nghiên cứu tiếp:
    • Mở rộng quy mô tập dữ liệu với nhiều hệ tinh thể đa dạng về hình thái học, kích thước và mật độ phân tán khác nhau.
    • Tối ưu hóa kiến trúc mạng để cải thiện tốc độ suy luận (inference time), hướng tới tích hợp xử lý video hiển vi theo thời gian thực (real-time) trực tiếp tại các buồng kết tinh.
    • Nghiên cứu tích hợp các cơ chế nhận thức thứ tự độ sâu (depth ordering) nhằm nâng cao độ chính xác khi phân đoạn các hệ tinh thể có mật độ che phủ cao.

Giá trị tham khảo

Báo cáo khóa luận mang giá trị tài liệu học thuật và ứng dụng thực tiễn cho các nhóm đối tượng:

  • Sinh viên và học viên ngành Công nghệ thông tin / Khoa học máy tính: Cung cấp tài liệu tổng quan toàn diện và có hệ thống về bài toán Amodal Instance Segmentation; phân tích chi tiết cơ chế toán học và cấu trúc mạng của BCNet (GCN/FCN) và AISFormer (Mask Transformer Decoding); cung cấp mã nguồn tiền xử lý ảnh vi mô bằng thư viện OpenCV.
  • Nghiên cứu viên ngành Kỹ thuật Hóa học và Công nghệ Dược phẩm: Tài liệu tham khảo về phương pháp ứng dụng thị giác máy tính thay thế đo đạc thủ công trong khảo sát động học kết tinh và phân tích phân bố kích thước hạt (PSD).
  • Kỹ sư phát triển phần mềm ứng dụng AI: Cung cấp mô hình tham chiếu về việc tích hợp pipeline học sâu nhận dạng hình ảnh vào ứng dụng web thực tế sử dụng NextJS.

Câu hỏi thường gặp

1. Tại sao bài toán đo kích thước tinh thể lại cần đến phân đoạn đối tượng toàn phần (Amodal Segmentation) thay vì phân đoạn thông thường?

Trong môi trường kết tinh, mật độ tinh thể dày đặc dẫn đến hiện tượng các hạt chồng lấn, dính kết hoặc nứt vỡ do sốc nhiệt. Phân đoạn thông thường chỉ nhận diện phần bề mặt nhìn thấy (visible mask), dẫn đến việc đo đạc sai lệch kích thước thực của hạt. Phân đoạn đối tượng toàn phần cho phép mô hình dự đoán và khôi phục toàn bộ ranh giới hình học của tinh thể (bao gồm cả phần bị che khuất), giúp việc xác định kích thước và tính toán lược đồ PSD đạt độ chính xác cao.

2. Tiêu chuẩn xác định tinh thể đạt điều kiện khảo sát trong đề tài được quy định như thế nào?

Theo hướng dẫn của chuyên gia hóa học (TS. Lê Minh Tâm), việc lựa chọn và dán nhãn tinh thể tuân thủ 3 nguyên tắc: (i) Tinh thể phải có hình dạng khối cầu hoàn chỉnh, không bị nứt vỡ; (ii) Chỉ thực hiện dán nhãn các mặt tinh thể nhìn thấy rõ ràng, không dán nhãn mặt bên; (iii) Kích thước của tinh thể được xác định bằng số đo dài nhất của bề mặt đã dán nhãn.

3. Quy trình tiền xử lý ảnh vi mô trước khi đưa vào mô hình học sâu gồm những bước nào?

Quy trình tiền xử lý được xây dựng bằng OpenCV qua 8 bước: Đọc ảnh -> Chuyển sang ảnh xám (Grayscale) -> Tăng tương phản thích nghi bằng CLAHE (clipLimit=2.0, tileGridSize=(8, 8)) -> Làm mịn giảm nhiễu GaussianBlur (5, 5) -> Phân ngưỡng nhị phân thích nghi (Adaptive Thresholding) -> Biến đổi hình thái học Morphology Close và Open -> Tìm đường viền (findContours) và lọc các contour có diện tích lớn hơn 1000 pixel -> Áp mặt nạ giữ lại vùng tinh thể quan trọng và chuẩn hóa kích thước 640x640 pixels.

4. Điểm khác biệt cốt lõi về mặt cấu trúc giữa mô hình BCNet và AISFormer là gì?

BCNet sử dụng mạng nơ-ron tích chập 2 giai đoạn với cấu trúc 2 lớp GCN (Graph Convolutional Network) chồng lặp: lớp thứ nhất phát hiện đường viền/mặt nạ của vật thể che khuất (occluder), lớp thứ hai sử dụng đặc trưng này để phân đoạn vật thể bị che khuất (occludee). Ngược lại, AISFormer hoạt động dựa trên Transformer không dùng neo (query-based), sử dụng cơ chế tự chú ý toàn phần (amodal self-attention) và chú ý chéo (amodal cross-attention) trên 3 truy vấn mặt nạ học được để dự đoán đồng thời 4 loại mặt nạ đầu ra (occluding, visible, amodal, invisible).

5. Hệ thống phần mềm hoàn chỉnh trong đồ án được xây dựng bằng công nghệ gì và cung cấp tính năng gì?

Hệ thống được phát triển bằng framework NextJS. Phần mềm cung cấp giao diện web cho phép người dùng tải lên hình ảnh chụp tinh thể từ kính hiển vi, tự động gọi mô hình AI để nhận diện phân đoạn toàn phần các hạt tinh thể, trích xuất kích thước dài nhất của từng hạt và vẽ lược đồ phân bố kích thước hạt (PSD) trực quan.

Kết luận

Khóa luận tốt nghiệp của sinh viên Phạm Phúc Bình và Hứa Lộc Sơn đã giải quyết bài toán đo kích thước tinh thể trong công nghệ hóa - dược bằng cách ứng dụng kỹ thuật phân đoạn đối tượng toàn phần (Amodal Instance Segmentation). Đề tài đã hệ thống hóa cơ sở lý thuyết, xây dựng tập dữ liệu tinh thể muối kép gán nhãn chuyên dụng, đồng thời huấn luyện và đánh giá thực nghiệm hai kiến trúc học sâu tiên tiến là BCNet và AISFormer. Kết quả nghiên cứu đã được hiện thực hóa thành hệ thống phần mềm NextJS hoàn chỉnh, hỗ trợ tự động hóa việc nhận diện ranh giới hạt bị che khuất và kết xuất biểu đồ phân bố kích thước hạt PSD trong thực tế.