Xây Dựng Ứng Dụng Tách Đối Tượng Từ Ảnh: Khóa Luận Tốt Nghiệp Ngành Hệ Thống Thông Tin

Trong kỷ nguyên số, xử lý ảnh và thị giác máy tính (computer vision) đã trở thành nền tảng cho nhiều đột phá… 71 trang · Trường Đại Học Công Nghệ Thông Tin.

• Trường học: Trường Đại Học Công Nghệ Thông Tin
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Xây Dựng Ứng Dụng Tách Đối Tượng Từ Ảnh
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI MỞ ĐẦU
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.2.1. Mục tiêu chính
• 1.2.2. Mục tiêu phụ
• 1.3. Bố cục khóa luận
• 2. CHƯƠNG 2: MÔ HÌNH SAM - SEGMENT ANYTHING MODEL
• 2.1. Giới thiệu mô hình SAM
• 2.2. Hoạt động của mô hình SAM
• 2.2.1. Kiến trúc mô hình
• 2.3. Tập dữ liệu
• 2.3.1. Data engine
• 3. CHƯƠNG 3: ỨNG DỤNG TÁCH ĐỐI TƯỢNG TỪ ẢNH
• 3.1. Tổng quan ứng dụng
• 3.1.1. Công nghệ và ngôn ngữ lập trình
• 3.1.2. Thư viện và công cụ hỗ trợ
• 3.2. Kiến trúc ứng dụng
• 3.3. Luồng hoạt động
• 3.4. Mô tả chức năng
• 3.4.1. Tải ảnh lên ứng dụng
• 3.4.2. Xử lý ảnh và tạo masks
• 3.4.3. Chỉnh sửa đối tượng
• 3.4.4. Tải ảnh về máy
• 3.4.5. Thao tác Hộp chứa ảnh
• 3.5. Giao diện người dùng
• 3.5.1. Tải ảnh lên ứng dụng
• 3.5.2. Gửi ảnh lên server
• 3.5.3. Sau khi hoàn tất xử lý
• 3.5.4. Chọn và tách đối tượng trong ảnh
• 3.5.5. Chỉnh sửa đối tượng được tách
• 3.6. Đánh giá ứng dụng
• 3.6.1. Ứng dụng đối chiếu và nhận mask để tách đối tượng
• 3.6.2. Chỉnh sửa đối tượng
• 3.6.3. Đánh giá và nhận định
• 4. CHƯƠNG 4: KẾT LUẬN
• 4.1. Tóm tắt kết quả đạt được
• 4.2. Hướng phát triển
• 4.2.1. Áp dụng Matte để Tăng chất lượng tách các Chi tiết nhỏ của đối tượng
• 4.2.2. Cải tiến Ứng dụng để Tách đối tượng đúng ý người dùng hơn
• 4.2.3. Tích hợp ứng dụng với một số mô hình xử lý ảnh khác để cho ra sản phẩm hoàn thiện với đa dạng tính năng hơn
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan khóa luận xây dựng ứng dụng tách đối tượng từ ảnh

Trong kỷ nguyên số, xử lý ảnh và thị giác máy tính (computer vision) đã trở thành nền tảng cho nhiều đột phá công nghệ. Khóa luận tốt nghiệp ngành Hệ Thống Thông Tin với chủ đề “Xây dựng ứng dụng tách đối tượng từ ảnh” giải quyết một nhu cầu cấp thiết trong nhiều lĩnh vực như y tế, thương mại điện tử và an ninh. Mục tiêu chính của nghiên cứu là phát triển một công cụ hiệu quả, cho phép người dùng tách biệt các đối tượng cụ thể ra khỏi nền ảnh một cách chính xác và nhanh chóng. Lĩnh vực xử lý ảnh kỹ thuật số không còn giới hạn trong các phòng thí nghiệm mà đã trở thành công cụ mạnh mẽ, ứng dụng từ việc chẩn đoán bệnh qua hình ảnh y khoa đến việc tạo ra các trải nghiệm thực tế tăng cường. Việc phát triển một ứng dụng chuyên dụng không chỉ thể hiện năng lực vận dụng kiến thức đã học mà còn đóng góp một giải pháp thực tiễn, đáp ứng nhu cầu ngày càng cao của thị trường. Nghiên cứu này tập trung vào việc khảo sát các mô hình học sâu (deep learning) hiện đại, đặc biệt là các thuật toán phân vùng ảnh, để tìm ra phương pháp tối ưu. Từ đó, xây dựng một ứng dụng hoàn chỉnh với giao diện thân thiện, quy trình xử lý mượt mà, và kết quả đầu ra có độ chính xác (accuracy) cao. Khóa luận này không chỉ là một bài tập học thuật mà còn là một sản phẩm tiềm năng, có khả năng mở rộng và cải tiến trong tương lai, góp phần vào sự phát triển của công nghệ trí tuệ nhân tạo (AI) tại Việt Nam. Quá trình thực hiện bao gồm các giai đoạn từ nghiên cứu lý thuyết, lựa chọn công nghệ, thiết kế kiến trúc hệ thống, đến huấn luyện mô hình (model training) và đánh giá mô hình (model evaluation) một cách khoa học.

1.1. Bối cảnh và tầm quan trọng của lĩnh vực xử lý ảnh kỹ thuật số

Nhu cầu trích xuất thông tin từ hình ảnh đang tăng cao. Trong y tế, việc phân vùng các khối u hay cơ quan nội tạng từ ảnh MRI, CT-scan giúp bác sĩ chẩn đoán chính xác hơn. Trong thương mại điện tử, tách nền sản phẩm tự động giúp tối ưu hóa hình ảnh hiển thị. Các hệ thống giám sát an ninh cũng dựa vào object detection để theo dõi đối tượng. Sự phát triển mạnh mẽ này đặt ra yêu cầu về các công cụ thông minh, tự động và chính xác, tạo tiền đề cho các đồ án tốt nghiệp xử lý ảnh mang tính ứng dụng cao.

1.2. Mục tiêu nghiên cứu Xây dựng ứng dụng tách đối tượng hiệu quả

Mục tiêu chính của khóa luận là thiết kế và triển khai một ứng dụng web hoàn chỉnh có khả năng tách các đối tượng khác nhau từ ảnh đầu vào. Mục tiêu phụ bao gồm: (1) Nghiên cứu và so sánh các mô hình image segmentation tiên tiến. (2) Lựa chọn mô hình phù hợp nhất với yêu cầu về tốc độ và độ chính xác. (3) Xây dựng giao diện người dùng trực quan, dễ sử dụng. (4) Kiểm chứng hiệu quả của ứng dụng thông qua các kịch bản thực tế, sử dụng các chỉ số như IoU (Intersection over Union) để đo lường.

II. Thách thức phân vùng ảnh và hạn chế của các phương pháp cũ

Bài toán tách đối tượng từ ảnh, hay image segmentation, luôn là một thách thức lớn trong ngành computer vision. Các phương pháp truyền thống như phân ngưỡng (thresholding), phát hiện biên (edge detection) hay phân cụm (clustering) thường chỉ hiệu quả với các ảnh có độ tương phản cao và đối tượng đơn giản. Khi gặp các bối cảnh phức tạp, ánh sáng thay đổi hoặc đối tượng bị che khuất, các thuật toán này bộc lộ nhiều hạn chế về độ chính xác. Sự ra đời của học máy (machine learning) và sau đó là học sâu (deep learning) đã mang lại những bước tiến vượt bậc. Tuy nhiên, các mô hình đời đầu như R-CNN hay YOLO (You Only Look Once) dù rất mạnh trong việc phát hiện đối tượng (object detection) nhưng vẫn gặp khó khăn trong việc tạo ra một mặt nạ (mask) phân vùng chính xác đến từng pixel. Ví dụ, mô hình YOLOv8, một phiên bản rất mạnh mẽ, có thể nhận diện tốt các đối tượng phổ biến đã được huấn luyện trước. Nhưng theo thực nghiệm trong tài liệu gốc, YOLOv8 không thể phân vùng các đối tượng trong tranh vẽ hoặc các ký tự chữ Nôm. Điều này cho thấy sự phụ thuộc lớn vào tập dữ liệu (dataset) huấn luyện và hạn chế trong khả năng tổng quát hóa với các đối tượng chưa từng thấy. Các mô hình như Mask R-CNN đã cải thiện điều này bằng cách thêm một nhánh dự đoán mask song song với nhánh phát hiện bounding box, nhưng vẫn đòi hỏi một quá trình gán nhãn dữ liệu (data labeling) tốn kém và phức tạp.

2.1. Phân tích các thuật toán phân vùng ảnh truyền thống

Các thuật toán truyền thống hoạt động dựa trên các đặc trưng cấp thấp của ảnh như màu sắc, cường độ sáng và kết cấu. Các phương pháp như Haar Cascade và HOG (Histogram of Oriented Gradients) tuy nhanh nhưng độ chính xác thấp, đặc biệt khi đối tượng có hình dạng phức tạp hoặc bị che khuất một phần. Chúng không có khả năng 'hiểu' ngữ cảnh của ảnh, dẫn đến kết quả phân vùng thường bị nhiễu và không chính xác ở các đường biên.

2.2. Hạn chế của mô hình học sâu như R CNN và YOLOv8

Các mô hình dựa trên mạng nơ-ron tích chập (CNN) như R-CNN, YOLOv8 đã cải thiện đáng kể độ chính xác. Tuy nhiên, chúng được thiết kế chủ yếu cho việc nhận diện và định vị đối tượng bằng hộp giới hạn (bounding box). Khả năng phân vùng chi tiết (pixel-level segmentation) của chúng bị giới hạn. Hơn nữa, chúng yêu cầu một lượng lớn dữ liệu được gán nhãn cho từng loại đối tượng cụ thể. Điều này khiến việc mở rộng mô hình để nhận diện các đối tượng mới trở nên tốn kém và mất thời gian, không phù hợp cho một ứng dụng phân vùng đa năng.

III. Giải pháp đột phá Mô hình Segment Anything Model SAM

Để vượt qua những hạn chế của các phương pháp trước, khóa luận đã lựa chọn và ứng dụng Segment Anything Model (SAM), một mô hình nền tảng do Meta AI phát triển. SAM được xem là một cuộc cách mạng trong lĩnh vực image segmentation vì khả năng tổng quát hóa vượt trội. Thay vì được huấn luyện để nhận diện một danh sách đối tượng hữu hạn, SAM được thiết kế để có thể phân vùng 'bất cứ thứ gì' trong một tấm ảnh mà không cần huấn luyện lại. Mô hình này hoạt động dựa trên cơ chế 'promptable', nghĩa là người dùng có thể tương tác bằng cách chỉ vào một điểm, vẽ một hộp bao quanh đối tượng, và SAM sẽ ngay lập tức trả về một mặt nạ phân vùng chất lượng cao. Kiến trúc của SAM bao gồm ba thành phần chính: một bộ mã hóa ảnh (Image Encoder) mạnh mẽ dựa trên Vision Transformer, một bộ mã hóa prompt (Prompt Encoder) linh hoạt, và một bộ giải mã mặt nạ (Mask Decoder) siêu nhẹ, cho phép xử lý theo thời gian thực. Để đạt được khả năng này, SAM được huấn luyện trên một tập dữ liệu (dataset) khổng lồ mang tên SA-1B, chứa hơn 1.1 tỷ mặt nạ trên 11 triệu hình ảnh. Nhờ đó, SAM có thể phân vùng các đối tượng và hình ảnh mới mà nó chưa từng thấy trong quá trình huấn luyện, một khả năng được gọi là 'zero-shot generalization'. Điều này làm cho SAM trở thành một lựa chọn lý tưởng cho việc xây dựng ứng dụng tách đối tượng từ ảnh đa năng và hiệu quả.

3.1. Giới thiệu kiến trúc và nguyên lý hoạt động của mô hình SAM

SAM có kiến trúc độc đáo, tách biệt việc mã hóa ảnh nặng nề ra khỏi quá trình tạo mask nhanh chóng. Bộ mã hóa ảnh (Image Encoder) xử lý ảnh một lần duy nhất để tạo ra một biểu diễn nhúng (embedding). Khi người dùng cung cấp một prompt (điểm, hộp), bộ mã hóa prompt (Prompt Encoder) sẽ mã hóa nó và kết hợp với embedding của ảnh. Cuối cùng, bộ giải mã mặt nạ (Mask Decoder) cực kỳ hiệu quả sẽ dự đoán mặt nạ chỉ trong vài mili giây. Cấu trúc này, tương tự như các mô hình ngôn ngữ lớn, cho phép tương tác linh hoạt và tức thời.

3.2. So sánh hiệu quả SAM với YOLOv8 trong bài toán thực tế

Thực nghiệm được trình bày trong khóa luận cho thấy sự vượt trội của SAM. Với các ảnh phức tạp như tranh vẽ hay chữ Nôm, YOLOv8 không thể nhận diện được đối tượng nào. Ngược lại, SAM có thể phân vùng chi tiết từng thành phần. Ngay cả với ảnh thông thường, SAM cũng cho ra số lượng mặt nạ chi tiết hơn, từ các bộ phận trên khuôn mặt người đến từng chiếc lá trên cây. Điều này chứng minh SAM là một công cụ phân vùng tổng quát, mạnh mẽ hơn nhiều so với các mô hình chuyên biệt.

IV. Hướng dẫn xây dựng ứng dụng tách đối tượng từ ảnh thực tế

Việc triển khai một mô hình AI mạnh mẽ như SAM thành một sản phẩm thực tế đòi hỏi một kiến trúc ứng dụng vững chắc. Khóa luận này trình bày chi tiết quá trình xây dựng ứng dụng tách đối tượng từ ảnh với kiến trúc client-server. Phía backend được xây dựng bằng Python và microframework Flask, chịu trách nhiệm xử lý các yêu cầu API, lưu trữ tệp tin và quan trọng nhất là thực thi mô hình SAM. Python cho xử lý ảnh là lựa chọn tối ưu nhờ hệ sinh thái thư viện phong phú như thư viện OpenCV và Pillow để thao tác ảnh, cùng với PyTorch để chạy mô hình SAM. Phía frontend được xây dựng bằng thư viện ReactJS, tạo ra một giao diện người dùng (UI) hiện đại, tương tác và phản hồi nhanh. Luồng hoạt động của ứng dụng được thiết kế một cách logic: (1) Người dùng tải ảnh lên từ client. (2) Frontend gửi ảnh đến backend qua API. (3) Backend lưu ảnh và chạy mô hình SAM để tạo ra toàn bộ các mask metadata. (4) Metadata được gửi lại cho client. (5) Người dùng nhấp vào một vùng trên ảnh, client xác định mask tương ứng và hiển thị đối tượng đã được tách. Đặc biệt, ứng dụng còn tích hợp mô hình Stable Diffusion Inpainting, cho phép người dùng chỉnh sửa hoặc thay thế đối tượng đã tách bằng cách nhập mô tả văn bản, mở ra khả năng sáng tạo không giới hạn.

4.1. Lựa chọn công nghệ Python Flask cho backend và ReactJS

Việc lựa chọn công nghệ là yếu tố then chốt. Backend sử dụng Python vì sự hỗ trợ mạnh mẽ cho học máy và các thư viện như PyTorch và TensorFlow. Flask được chọn vì tính gọn nhẹ, linh hoạt và dễ triển khai. Frontend sử dụng ReactJS để xây dựng giao diện người dùng dạng single-page application (SPA), mang lại trải nghiệm mượt mà, cho phép người dùng tương tác với ảnh và các mask được tạo ra một cách trực quan mà không cần tải lại trang.

4.2. Tích hợp Stable Diffusion Inpainting để chỉnh sửa đối tượng

Đây là một tính năng nâng cao và độc đáo của ứng dụng. Sau khi một đối tượng được tách ra, người dùng có thể sử dụng vùng mask của nó để chỉ định khu vực cần chỉnh sửa. Bằng cách nhập một prompt văn bản (ví dụ: 'a red car'), mô hình Stable Diffusion Inpainting sẽ tái tạo lại khu vực đó theo mô tả, trong khi vẫn giữ nguyên phần còn lại của ảnh. Chức năng này biến ứng dụng từ một công cụ tách đối tượng đơn thuần thành một công cụ biên tập ảnh thông minh.

V. Kết quả thực nghiệm và các ứng dụng thực tiễn của đề tài

Quá trình đánh giá mô hình (model evaluation) và ứng dụng cho thấy kết quả rất tích cực. Ứng dụng đã chứng minh khả năng phân vùng và tách đối tượng hiệu quả trên nhiều loại ảnh khác nhau, từ ảnh chân dung, ảnh phong cảnh, ảnh hoạt hình, đến các ảnh chuyên ngành có độ phức tạp cao như ảnh y học. Trong các thử nghiệm, ứng dụng có thể tách rõ ràng các chi tiết nhỏ như tóc người, các bộ phận trên cơ thể trong ảnh chụp y khoa, hay các vật thể nhỏ trong một khung cảnh rộng lớn. Giao diện người dùng được thiết kế thân thiện, cho phép người dùng dễ dàng thực hiện các thao tác tải ảnh, chọn đối tượng và tải kết quả về máy. Chức năng chỉnh sửa đối tượng bằng Stable Diffusion hoạt động tốt, cho phép tạo ra những hình ảnh mới đầy sáng tạo với độ chính xác (accuracy) cao. Các kết quả này khẳng định rằng việc xây dựng ứng dụng tách đối tượng từ ảnh dựa trên mô hình SAM là một hướng đi đúng đắn và hiệu quả. Ứng dụng thực tiễn của đề tài rất rộng lớn: hỗ trợ các nhà thiết kế đồ họa trong việc tách nền, giúp các bác sĩ phân tích hình ảnh y tế, hoặc phục vụ trong ngành thương mại điện tử để xử lý ảnh sản phẩm hàng loạt. Mặc dù vẫn còn một số hạn chế về tốc độ xử lý và yêu cầu phần cứng, đây là một nền tảng vững chắc cho các phát triển trong tương lai.

5.1. Đánh giá khả năng phân vùng trên ảnh y tế và ảnh chất lượng thấp

Một trong những bài kiểm tra quan trọng là khả năng xử lý ảnh chuyên ngành. Ứng dụng đã tách thành công các chi tiết quan trọng trong ảnh y học, cho thấy tiềm năng hỗ trợ chẩn đoán. Đối với ảnh có độ phân giải thấp, một thách thức phổ biến, ứng dụng vẫn có thể nhận diện và tách được các đối tượng chính, chứng tỏ sự bền bỉ của mô hình SAM ngay cả khi chất lượng đầu vào không lý tưởng.

5.2. Phân tích ưu điểm và hạn chế của ứng dụng khi triển khai

Ưu điểm chính của ứng dụng là chất lượng tách đối tượng vượt trội, giao diện trực quan và tính năng chỉnh sửa ảnh độc đáo. Tuy nhiên, hạn chế cố hữu là yêu cầu hiệu năng phần cứng cao, đặc biệt là GPU, để chạy các mô hình học sâu. Tốc độ xử lý, dù đã được tối ưu, vẫn có thể chậm với các ảnh có độ phân giải rất cao. Vùng chọn đối tượng đôi khi quá chi tiết, có thể gây khó khăn cho người dùng muốn chọn một đối tượng lớn tổng thể.

VI. Tổng kết khóa luận và định hướng phát triển trong tương lai

Khóa luận “Xây dựng ứng dụng tách đối tượng từ ảnh” đã hoàn thành xuất sắc các mục tiêu đề ra. Nghiên cứu đã đi sâu vào lĩnh vực xử lý ảnh kỹ thuật số, phân tích các mô hình image segmentation, và ứng dụng thành công mô hình tiên tiến SAM vào một sản phẩm thực tế. Kết quả đạt được không chỉ là một ứng dụng hoạt động hiệu quả mà còn là những kinh nghiệm quý báu trong việc phát triển các hệ thống trí tuệ nhân tạo (AI). Ứng dụng đã chứng minh được tính khả thi và tiềm năng to lớn, mở ra nhiều cơ hội ứng dụng trong đa dạng các ngành nghề. Tuy nhiên, công nghệ luôn vận động và luôn có không gian để cải tiến. Tài liệu gốc đã đề xuất một số hướng phát triển quan trọng để nâng cấp ứng dụng trong tương lai. Những cải tiến này không chỉ giúp tăng chất lượng sản phẩm mà còn mở rộng thêm các tính năng, biến nó thành một bộ công cụ xử lý ảnh toàn diện hơn, đáp ứng tốt hơn nữa nhu cầu ngày càng cao của người dùng trong thời đại số. Đây là một khóa luận AI tiêu biểu cho việc kết hợp giữa nghiên cứu lý thuyết và phát triển sản phẩm ứng dụng.

6.1. Hướng phát triển 1 Áp dụng kỹ thuật Matte để tăng chất lượng chi tiết

Để cải thiện chất lượng tách các chi tiết nhỏ và phức tạp như tóc, lông thú, hay các vật thể trong suốt, hướng phát triển tiếp theo là tích hợp kỹ thuật 'Image Matting'. Kỹ thuật này giúp tính toán độ trong suốt (alpha channel) cho từng pixel ở vùng biên, tạo ra một sự chuyển tiếp mượt mà và tự nhiên hơn giữa đối tượng và nền, cho kết quả tách chuyên nghiệp và chân thực hơn.

6.2. Hướng phát triển 2 Tích hợp các mô hình xử lý ảnh khác

Để tạo ra một công cụ toàn diện, ứng dụng có thể được tích hợp thêm các mô hình AI khác. Ví dụ, mô hình Super Resolution để nâng cao độ phân giải của ảnh sau khi tách, mô hình Colorization để tô màu cho ảnh đen trắng, hoặc các mô hình object detection chuyên biệt để tự động gợi ý các đối tượng quan trọng cần tách. Việc kết hợp nhiều mô hình sẽ tạo ra một sản phẩm đa năng và mạnh mẽ hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực thị giác máy tính và xử lý ảnh số, bài toán phân vùng và tách đối tượng giữ vai trò then chốt trong nhiều ứng dụng thực tiễn như y tế (phân tích ảnh chụp MRI, CT, X-quang), an ninh (nhận diện và theo dõi đối tượng trong camera giám sát), giao thông (theo dõi phương tiện, phát hiện vi phạm), thương mại điện tử (tự động phân loại và quản lý hình ảnh sản phẩm), cùng các hiệu ứng kỹ xảo điện ảnh và thực tế ảo tăng cường (AR).

Các phương pháp trích xuất truyền thống như Haar Cascade và HOG có ưu điểm về tốc độ nhưng độ chính xác suy giảm rõ rệt khi xử lý đối tượng phức tạp hoặc ảnh chụp trong điều kiện ánh sáng không thuận lợi. Sự ra đời của các mạng học sâu (Deep Learning) như R-CNN, YOLO và Mask R-CNN đã mang lại bước tiến lớn trong phân loại và phân đoạn đối tượng. Tuy nhiên, các mô hình này vẫn bộc lộ hạn chế: R-CNN tiêu tốn nhiều thời gian tính toán, YOLO chủ yếu nhận diện theo khung bao (bounding box), còn Mask R-CNN đòi hỏi tập dữ liệu gán nhãn chuyên biệt cho từng miền cụ thể.

Nhằm giải quyết bài toán phân vùng tổng quát không cần huấn luyện lại trên từng loại đối tượng, khóa luận tốt nghiệp ngành Hệ thống thông tin của tác giả Nguyễn Minh Trí (Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, 2024) tập trung nghiên cứu mô hình nền tảng Segment Anything Model (SAM) do Meta phát triển và xây dựng một ứng dụng hoàn chỉnh cho phép tách và chỉnh sửa đối tượng từ ảnh số.

Mục tiêu nghiên cứu của khóa luận được phân định cụ thể:

• Mục tiêu chính:
  1. Phát triển ứng dụng có khả năng tách đối tượng từ hình ảnh một cách hiệu quả và chính xác dựa trên mô hình SAM.
  2. Thiết kế và phát triển giao diện người dùng thân thiện, dễ sử dụng, hỗ trợ tương tác trực quan.
  3. Sử dụng các ngôn ngữ lập trình và thư viện chuyên dụng để phát triển, kết nối và triển khai mô hình xử lý hình ảnh trên hệ thống web.
• Mục tiêu phụ:
  1. Tìm hiểu, nghiên cứu các khái niệm cơ bản, cơ sở lý thuyết và các kỹ thuật phân vùng ảnh (Image Segmentation).
  2. Khảo sát, đánh giá và đối chiếu các mô hình phân vùng ảnh đương đại (cụ thể giữa SAM và YOLOv8).
  3. Vận dụng kiến thức đã học vào triển khai thực nghiệm phần mềm nhằm kiểm chứng tính khả thi và hiệu quả ứng dụng.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các mô hình học sâu cho bài toán phân vùng đối tượng (SAM, YOLOv8), mô hình khuếch tán chỉnh sửa ảnh (Stable Diffusion Inpainting), và kiến trúc hệ thống ứng dụng web tương tác.
• Phạm vi dữ liệu và công nghệ: Khóa luận sử dụng tập dữ liệu SA-1B (11 triệu hình ảnh, 1,1 tỷ mặt nạ phân vùng) để tìm hiểu nguyên lý của SAM; thực hiện đánh giá thực nghiệm trên 6 loại hình ảnh thử nghiệm đa dạng (ảnh hỗn hợp, chân dung, phương tiện giao thông, tranh vẽ nghệ thuật, cảnh thiên nhiên, bảng chữ Nôm); phát triển hệ thống trên nền tảng Python, Flask, ReactJS và PyTorch.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên mô hình nền tảng SAM (Segment Anything Model) và phương pháp đánh giá thực nghiệm đối sánh.

1. Khung lý thuyết và mô hình học sâu

Mô hình SAM hoạt động như một mô hình nền tảng (Foundation Model) cho phân vùng ảnh, có khả năng tiếp nhận lời nhắc (prompt-driven) và tổng quát hóa zero-shot mà không cần huấn luyện lại trên dữ liệu đặc thù. Kiến trúc của SAM bao gồm ba thành phần kết nối:

• Image Encoder (Bộ mã hóa hình ảnh): Sử dụng cấu trúc Vision Transformer (ViT) được tiền huấn luyện bằng phương pháp Masked Auto-Encoder (MAE) nhằm chuyển đổi ảnh đầu vào thành các vector nhúng (image embedding).
• Prompt Encoder (Bộ mã hóa đề xuất/lời nhắc): Xử lý các dạng đề xuất từ người dùng: biểu diễn tọa độ điểm (points) và hộp giới hạn (bounding boxes) bằng positional encodings, biểu diễn văn bản (text prompt) thông qua mô hình CLIP, và biểu diễn mặt nạ (mask prompt) thông qua các phép tích chập (convolutions) cộng trực tiếp vào image embedding.
• Mask Decoder (Bộ giải mã mặt nạ): Thành phần có kiến trúc nhẹ sử dụng biến thể khối giải mã Transformer với cơ chế self-attention và cross-attention hai chiều (giữa đề xuất và ảnh) để cập nhật embedding, sau đó dùng mạng MLP và bộ phân loại tuyến tính để dự đoán các mặt nạ phân vùng cùng điểm tin cậy IoU tương ứng.

Bộ dữ liệu nền tảng SA-1B được Meta xây dựng thông qua quy trình Data Engine gồm 3 giai đoạn:

• Giai đoạn thủ công (Manual stage): Tạo 4,3 triệu mặt nạ trên 120.000 ảnh qua 6 chu kỳ chỉnh sửa bởi chuyên gia gán nhãn.
• Giai đoạn bán tự động (Semi-automated stage): Chuyên gia gán nhãn bổ sung các đối tượng chưa được nhận diện, tạo 10,2 triệu mặt nạ trên 300.000 ảnh qua 5 chu kỳ.
• Giai đoạn tự động hoàn toàn (Fully automated stage): Sử dụng lưới điểm 32x32 và mô-đun lọc IoU để tự động tạo ra 1,1 tỷ mặt nạ trên 11 triệu ảnh. Thử nghiệm trên 500 ảnh mẫu (khoảng 50.000 mặt nạ) xác nhận 94% các cặp mặt nạ đạt chỉ số IoU lớn hơn 90%.

Bên cạnh đó, tác giả sử dụng mô hình Stable Diffusion Inpainting (thuộc nhóm Diffusion Models) để tái tạo và chỉnh sửa vùng ảnh đã tách dựa trên cơ chế khử nhiễu tuần hoàn từ văn bản mô tả.

2. Phương pháp nghiên cứu và môi trường thực nghiệm

Tác giả áp dụng phương pháp thực nghiệm đối sánh định tính giữa mô hình SAM và YOLOv8 (phiên bản mô hình phân đoạn đối tượng phổ biến) trên 6 mẫu ảnh có đặc trưng khác biệt. Môi trường triển khai thực nghiệm trên Google Colab có cấu hình:

• Phần cứng: GPU tối thiểu 8GB VRAM (khuyến nghị NVIDIA GTX 1080 Ti), CPU đa nhân, RAM tối thiểu 16GB.
• Phần mềm: Python phiên bản $\ge$ 3.8, thư viện PyTorch, CUDA, OpenCV (opencv-python-headless), ultralytics (chạy YOLOv8), segment-anything (chạy SAM).

---

Thiết kế và triển khai hệ thống

Hệ thống được tổ chức theo kiến trúc phân tách Client – Server (Front-end và Back-end) với quy trình xử lý dữ liệu khép kín:

Thành phần	Công nghệ / Thư viện	Vai trò và Chức năng chính
Front-end	ReactJS, JavaScript, Axios, HTML/CSS	Cung cấp giao diện tương tác; xử lý sự kiện kéo thả tệp; hiển thị ảnh và danh sách mặt nạ; gửi tọa độ nhấp chuột $(x, y)$; quản lý hộp chứa ảnh (draggable container); gửi yêu cầu inpainting và tải ảnh kết quả.
Back-end	Python, Flask, Flask-CORS, Werkzeug	Xây dựng RESTful API; xác thực và lưu trữ tệp tin tải lên; chạy script tạo mặt nạ qua subprocess; quản lý metadata mặt nạ; thực hiện thuật toán lọc bounding box nhỏ nhất; chạy pipeline mô hình học sâu.
Xử lý ảnh & AI	Pillow, Pandas, Hugging Face Diffusers, PyTorch	Đọc/ghi và cắt xén ma trận điểm ảnh (Pillow); xử lý tệp CSV metadata (Pandas); thực thi mô hình Stable Diffusion Inpainting để thay đổi đối tượng theo prompt văn bản (Diffusers, PyTorch).

Luồng xử lý và giải thuật tách đối tượng

1. Tải ảnh lên (Upload Image): Người dùng kéo thả hoặc chọn tệp ảnh từ máy khách. Tệp được gửi qua Axios đến điểm cuối API của Flask. Werkzeug tiến hành xác thực loại tệp, kích thước và lưu vào thư mục chỉ định trên máy chủ.
2. Sinh mặt nạ tự động (Mask Generation): Back-end kích hoạt script của SAM thông qua thư viện subprocess để phân tích toàn bộ ảnh, sinh ma trận mặt nạ và lưu trữ thông tin tọa độ/kích thước vào tệp metadata.
3. Đối chiếu và trích xuất theo tương tác (Mask Selection): Khi người dùng nhấp chuột vào vị trí bất kỳ trên ảnh ở giao diện Front-end:
   • Tọa độ $(x, y)$ của điểm nhấp được gửi về máy chủ.
   • Hệ thống tính toán và lọc từ metadata để tìm vùng hộp bao (bounding box) có diện tích nhỏ nhất chứa điểm $(x, y)$ đó.
   • Trích xuất mặt nạ tương ứng và áp dụng phép cắt ảnh (crop) để tách riêng đối tượng khỏi nền gốc.
4. Chỉnh sửa nâng cao (Stable Diffusion Inpainting): Người dùng nhập chuỗi văn bản (prompt). Back-end tải mô hình Stable Diffusion qua thư viện diffusers, đưa đối tượng đã cắt cùng mặt nạ vào quy trình khử nhiễu để sinh ảnh mới hòa hợp với bối cảnh xung quanh.
5. Xem và tải xuống (Download & View): Kết quả được trả về hiển thị trực tiếp trong hộp chứa ảnh nổi trên giao diện, hỗ trợ di chuyển vị trí hoặc tải tệp về máy cục bộ.

---

Nội dung chính theo từng chương

Chương 1: GIỚI THIỆU TỔNG QUAN

Chương 1 làm rõ bối cảnh công nghệ xử lý ảnh hiện đại, nêu bật tính cấp thiết của bài toán tách đối tượng trong các ngành y tế, an ninh, giao thông và thương mại điện tử. Tác giả chỉ ra hạn chế của các phương pháp cổ điển (Haar Cascade, HOG) và các mạng nơ-ron học sâu thế hệ trước (R-CNN, YOLO, Mask R-CNN). Chương này xác định rõ 3 mục tiêu nghiên cứu chính và 3 mục tiêu phụ, đồng thời tóm lược bố cục toàn bộ khóa luận gồm 4 chương.

Chương 2: MÔ HÌNH SAM - SEGMENT ANYTHING MODEL

Chương 2 trình bày chi tiết về mô hình nền tảng SAM do Meta công bố. Nội dung phân tích sâu sự khác biệt giữa hai phương pháp phân vùng truyền thống (phân vùng tương tác và phân vùng tự động), từ đó khẳng định SAM là mô hình tổng quát hóa giải quyết được cả hai hướng tiếp cận trên. Tác giả trình bày cấu trúc 3 thành phần của mô hình (Image Encoder, Prompt Encoder, Mask Decoder) và quy trình 3 giai đoạn của công cụ dữ liệu (Data Engine) thu thập bộ dữ liệu SA-1B (11 triệu ảnh, 1,1 tỷ mặt nạ).

Phần thực nghiệm so sánh SAM và YOLOv8 trên 6 loại ảnh thử nghiệm đưa ra các kết quả cụ thể:

Mẫu ảnh thử nghiệm	Kết quả phân vùng của YOLOv8	Kết quả phân vùng của SAM
Ảnh hỗn hợp (người, động vật, xe cộ)	Chỉ nhận diện và tạo mask cho các đối tượng gần, phổ biến.	Phân vùng toàn diện, chi tiết cả đối tượng chính và nền.
Ảnh chân dung	Tạo một mặt nạ duy nhất bao quanh toàn bộ cơ thể người.	Tách chi tiết từng bộ phận riêng biệt trên khuôn mặt và trang phục.
Ảnh phương tiện	Nhận diện và phân vùng tốt các phương tiện trên đường phố.	Nhận diện và phân vùng tốt các phương tiện trên đường phố.
Tranh vẽ nghệ thuật	Hoàn toàn không thể nhận diện và không tạo được mặt nạ.	Nhận diện và phân vùng chính xác các nhân vật/chi tiết trong tranh.
Bảng chữ Nôm	Không nhận diện được bộ chữ cái, không tạo được mặt nạ ký tự.	Tạo mặt nạ phân tách độc lập từng ký tự chữ Nôm riêng lẻ.
Cảnh thiên nhiên	Chỉ tách được chi tiết con người xuất hiện trong ảnh.	Tách được cả con người và toàn bộ các thành phần cảnh quan tự nhiên.

Chương 3: ỨNG DỤNG TÁCH ĐỐI TƯỢNG TỪ ẢNH

Chương 3 mô tả toàn bộ quá trình thiết kế, hiện thực hóa và đánh giá phần mềm. Tác giả liệt kê chi tiết các công nghệ (ReactJS, Flask, Python, JavaScript), thư viện hỗ trợ (Axios, Werkzeug, Flask-CORS, Pillow, Pandas, Diffusers, PyTorch, subprocess) cùng sơ đồ luồng hoạt động của 5 tác vụ cơ bản: tải ảnh lên, tách đối tượng, tải ảnh tách, chỉnh sửa đối tượng, tải ảnh sau chỉnh sửa.

Chương này cũng thực hiện đánh giá ứng dụng trên 5 tình huống ảnh thực tế (ảnh người, ảnh thiên nhiên, ảnh hoạt hình với tỷ lệ nhận diện chi tiết đạt 80%, ảnh chụp y học, ảnh có độ phân giải thấp) và kiểm thử chức năng Inpainting với các câu lệnh prompt cụ thể (thay đổi âu phục: "A red man suit, in high resolution", thêm kính mát: "A sun-glasses, high resolution", đổi nền trời đêm: "The night sky with full of stars", thêm động vật/phong cảnh: "A horse", "An owl", "A riverside with many trees").

Chương 4: KẾT LUẬN

Chương 4 tổng kết các kết quả đạt được về mặt lý thuyết và ứng dụng phần mềm, đồng thời phân tích các hạn chế còn tồn đọng và đề xuất 3 định hướng phát triển cụ thể trong tương lai.

---

Kết quả và đóng góp

1. Kết quả đạt được từ văn bản

• Xây dựng thành công ứng dụng thực tế: Triển khai hoàn chỉnh ứng dụng web tích hợp mô hình SAM ở back-end, cho phép tự động sinh mặt nạ từ ảnh tải lên, phân tích tọa độ nhấp chuột để tách chính xác đối tượng dựa trên thuật toán tìm diện tích bounding box nhỏ nhất.
• Khả năng phân đoạn zero-shot vượt trội: Thực nghiệm chứng minh SAM hoạt động hiệu quả trên nhiều miền ảnh mà các mô hình phát hiện đối tượng thông thường (như YOLOv8) thất bại hoàn toàn, tiêu biểu như tranh vẽ nghệ thuật không gian ảo và văn bản chữ Nôm cổ.
• Tích hợp pipeline chỉnh sửa Inpainting: Kết hợp thành công mô hình Stable Diffusion thông qua thư viện Diffusers, cho phép thay đổi chi tiết đối tượng hoặc thay thế bối cảnh nền dựa trên mặt nạ phân vùng với độ hòa hợp màu sắc và ánh sáng cao.
• Độ chính xác phân vùng chi tiết: Ứng dụng nhận diện và tách được 80% số lượng chi tiết đối tượng trên mẫu ảnh hoạt hình phức tạp, đồng thời bóc tách tốt các cấu trúc giải phẫu trên ảnh y tế và các vùng nhận diện rõ ràng trên ảnh độ phân giải thấp.

2. Đóng góp của đề tài

• Hệ thống hóa cơ sở lý thuyết về mô hình nền tảng phân vùng ảnh (SAM) và phân tích chi tiết cấu trúc bộ dữ liệu quy mô lớn SA-1B.
• Đưa ra giải pháp kỹ thuật cụ thể để tích hợp mô hình học sâu kích thước lớn vào ứng dụng web thông qua kiến trúc phân tán API Flask và ReactJS.
• Cung cấp dữ liệu thực nghiệm đối sánh trực quan giữa SAM và YOLOv8 trên các loại dữ liệu hình ảnh đặc thù tại Việt Nam (như tài liệu chữ Nôm).

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được xác định trong văn bản

• Yêu cầu phần cứng cao: Quá trình tải và thực thi mô hình SAM cùng Stable Diffusion đòi hỏi tài nguyên tính toán lớn (GPU $\ge$ 8GB VRAM).
• Tốc độ xử lý chưa tối ưu: Thời gian phân vùng và sinh mặt nạ phụ thuộc lớn vào kích thước mô hình, gây độ trễ trong lần tải ảnh đầu tiên.
• Hạn chế trong thao tác chọn vùng: Khi các chi tiết trong ảnh bị chia nhỏ ở mức cực tiểu (tối đa độ phân giải mặt nạ của SAM), người dùng gặp khó khăn trong việc chọn đúng vùng đối tượng lớn theo ý muốn chỉ bằng một cú nhấp chuột đơn lẻ.

Hướng phát triển tiếp theo

1. Áp dụng kỹ thuật Matte (Matte Anything / Alpha Matting): Tích hợp thuật toán xử lý mờ biên để tăng chất lượng bóc tách các chi tiết siêu nhỏ và phức tạp (sợi tóc, lông thú, viền mờ), loại bỏ hoàn toàn hiện tượng viền trắng (halo effect) quanh đối tượng.
2. Cải tiến giao diện tương tác người dùng: Bổ sung công cụ vẽ/quét cọ trực tiếp (brush tool) trên màn hình giúp người dùng chủ động gộp hoặc khoanh vùng khu vực cần tách thay vì chỉ dùng thao tác click điểm đơn lẻ.
3. Tích hợp thêm các mô hình thị giác máy tính bổ trợ:
   • Super Resolution: Nâng cao độ phân giải và độ sắc nét của đối tượng sau khi tách.
   • Image Inpainting chuyên sâu: Mở rộng khả năng xóa và bù đắp các vùng khuyết thiếu phức tạp.
   • Colorization: Tự động phục hồi và tô màu cho các bức ảnh tư liệu đen trắng.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho các nhóm đối tượng:

• Sinh viên và học viên ngành Công nghệ thông tin, Hệ thống thông tin, Khoa học máy tính: Cung cấp tài liệu tổng quan mạch lạc về nguyên lý hoạt động của Vision Transformer trong mô hình SAM, cấu trúc dữ liệu của bộ dữ liệu SA-1B và phương pháp xây dựng pipeline AI.
• Kỹ sư và lập trình viên phát triển ứng dụng AI/Web: Cung cấp thiết kế kiến trúc thực tế để kết nối mô hình học sâu (PyTorch, Hugging Face Diffusers) với giao diện người dùng tương tác thời gian thực (ReactJS, Flask RESTful API).
• Phần nội dung có giá trị tham khảo cao nhất: Phần phân tích kiến trúc 3 thành phần của SAM (Chương 2), giải pháp xử lý tọa độ metadata để trích xuất mặt nạ cục bộ (Chương 3), và quy trình tích hợp Stable Diffusion Inpainting vào ứng dụng web.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng phiên bản mô hình nào để làm đối chứng phân vùng với SAM?
Tác giả sử dụng mô hình YOLOv8 để thực hiện thực nghiệm đối sánh tính năng phân vùng đối tượng (Instance Segmentation) trên 6 bộ mẫu ảnh thử nghiệm.

2. Dữ liệu huấn luyện SA-1B của mô hình SAM có quy mô và chất lượng như thế nào?
Bộ dữ liệu SA-1B bao gồm 11 triệu hình ảnh (được thu nhỏ về cạnh ngắn 1500 pixel) và hơn 1,1 tỷ mặt nạ phân vùng tự động. Đánh giá chất lượng trên 500 ảnh mẫu ngẫu nhiên cho thấy 94% các cặp mặt nạ có chỉ số IoU lớn hơn 90%.

3. Làm thế nào ứng dụng xác định được đúng đối tượng cần tách khi người dùng nhấp chuột vào ảnh?
Hệ thống thu nhận tọa độ $(x, y)$ từ cú nhấp chuột của người dùng trên giao diện ReactJS, gửi về máy chủ Flask để đối chiếu với tệp metadata do SAM sinh ra, sau đó thuật toán sẽ tìm và chọn ra vùng hộp bao (bounding box) có diện tích nhỏ nhất chứa điểm đó để tiến hành cắt đối tượng.

4. Ứng dụng sử dụng công nghệ nào để thực hiện tính năng chỉnh sửa đối tượng sau khi tách?
Ứng dụng sử dụng mô hình học sâu Stable Diffusion Inpainting được triển khai thông qua thư viện diffusers của Hugging Face và thư viện torch (PyTorch) trên nền tảng Python ở Back-end.

5. Những công cụ và thư viện chính nào được sử dụng để xây dựng hệ thống phần mềm trong khóa luận?
Hệ thống sử dụng ReactJS, JavaScript, Axios ở Front-end; Python, Flask, Flask-CORS, Werkzeug, Pillow, Pandas, Diffusers, PyTorch và thư viện hệ thống subprocess ở Back-end.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Minh Trí đã nghiên cứu toàn diện về mô hình nền tảng Segment Anything Model (SAM) và hiện thực hóa thành công một ứng dụng web tách đối tượng tự động kết hợp chỉnh sửa ảnh bằng Stable Diffusion. Thông qua các thực nghiệm đối sánh với YOLOv8 trên nhiều loại dữ liệu hình ảnh phức tạp, đề tài đã chứng minh tính hiệu quả và khả năng tổng quát hóa vượt trội của SAM trong bài toán phân vùng. Công trình cung cấp một tài liệu tham khảo hoàn chỉnh từ lý thuyết mô hình học sâu đến giải pháp triển khai phần mềm ứng dụng thực tế trong lĩnh vực thị giác máy tính.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu tổng quan: Nêu hiện trạng thực tế, lý do chọn đề tài nghiên cứu và mục tiêu nghiên cứu. Mô hình SAM (Segment Anything Model): Giới thiệu về mô hình Segment Anything Model và thực nghiệm. So sánh khả năng phân vùng ảnh với các mô hình khác.

Thiết kế và triển khai ứng dụng tách đối tượng từ ảnh: Giới thiệu công cụ “Tách đối tượng từ ảnh”. Kết luận: Tổng kết lại kết quả đạt được và đề xuất hướng nghiên cứu, phát triển tiếp theo nhằm khai thác những điểm mạnh của mô hình SAM. 4 Chương 2 MÔ HÌNH SAM - SEGMENT ANYTHING MODEL 2.1 Giới thiệu mô hình SAM SAM (Segment Anything Model) là một mô hình phân vùng ảnh được phát triển bởi Meta (trước đây được biết đến là Facebook). Có hai phương pháp khác nhau để giải quyết vấn đề phân vùng ảnh.

Phương pháp đầu tiên là phân vùng tương tác, trong đó quá trình phân vùng được hướng dẫn và tinh chỉnh dựa trên các đầu vào của người dùng. Phương pháp này cho phép người dùng điều chỉnh quá trình để cải thiện kết quả phân vùng và hữu ích cho các hình ảnh phức tạp nơi các thuật toán tự động có thể gặp khó khăn trong việc xác định chính xác ranh giới đối tượng. Tuy nhiên, phương pháp này yêu cầu người dùng hướng dẫn, điều đó có nghĩa là nó không tự động. Do đó, chúng ta có phương pháp thứ hai, phân vùng tự động, bao gồm việc phân chia một hình ảnh thành nhiều phân vùng hoặc vùng hoàn toàn thông qua các thuật toán tính toán mà không cần sự can thiệp của con người.

Phương pháp này có thể phân vùng một tập hợp các lớp đối tượng đã được định nghĩa trước, nhưng nhược điểm là quá trình gán nhãn thủ công cho hàng chục nghìn ví dụ được sử dụng cho quá trình huấn luyện. Cả hai phương pháp đều không cung cấp một cách tiếp cận chung, hoàn toàn tự động cho phân vùng. SAM được thiết kế để trở thành một sự tổng quát hóa của hai lớp phương pháp này. Đây là một mô hình đơn lẻ có thể thực hiện cả phân vùng tương tác và phân vùng tự động.

Nó cho phép người dùng thiết kế các lời nhắc sử dụng cho mô hình và làm cho nhiều nhiệm vụ phân vùng trở nên khả thi. SAM cũng có khả năng tổng quát hóa, giúp nó hoạt động tốt với các loại đối tượng và hình ảnh mới ngoài những gì nó đã quan sát trong quá trình huấn luyện.Ví dụ về khả năng phân vùng của SAM 2.2 Hoạt động của mô hình SAM SAM (Segment Anything Model) là một mô hình nền tảng cho phân vùng hình ảnh, một mô hình được huấn luyện trước và có khả năng prompt, có khả năng tổng quát hóa giống như các mô hình nền tảng ngôn ngữ như ChatGPT, bằng cách sử dụng các kỹ thuật định hình lời nhắc. Nó yêu cầu một tập dữ liệu hình ảnh lớn và được chú thích đầy đủ để huấn luyện, điều này đòi hỏi nhiều công sức thủ công. Để xây dựng mô hình này, cần có: - Nhiệm vụ phân vùng có thể định hình prompt: Sử dụng prompt để hướng dẫn mô hình cách phân vùng đối tượng trong ảnh.

Prompt có thể là thông tin văn bản như hướng dẫn, đoạn mô tả hoặc thông tin không gian như điểm ảnh, hộp giới hạn, và mặt nạ. Lệnh nhập này giúp mô hình trả về một mặt nạ phân vùng hợp lệ. 6 - Mô hình: Mô hình sẽ sử dụng cả ảnh và lệnh nhập làm đầu vào, không giống như mô hình truyền thống. Nó cần hỗ trợ các lời nhắc linh hoạt, tính toán mặt nạ nhanh chóng trong thời gian thực, và phải nhận biết được sự mơ hồ.

Điều này được đạt được thông qua thiết kế đơn giản gồm 3 phần: một bộ mã hóa ảnh mạnh mẽ để chuyển đổi ảnh thành embedding, một bộ mã hóa lời nhắc để mã hóa lời nhắc, và một bộ giải mã mặt nạ để dự đoán các mặt nạ phân vùng. - Tập dữ liệu: Tập dữ liệu cần phải lớn và đa dạng để mô hình có thể đạt được mức độ tổng quát hóa. Tuy nhiên, mặt nạ phân vùng lớn và chất lượng cao không có sẵn trên web, và để tạo ra những mặt nạ này đòi hỏi nhiều thời gian và công sức. Vì vậy, một 'công cụ dữ liệu' được phát triển để tự động gán nhãn cho hình ảnh.

Với công cụ dữ liệu này, một tập dữ liệu gồm 11 triệu hình ảnh và hơn 1 tỷ mặt nạ đã được thu thập, được đặt tên là SA-1B và sẽ được sử dụng để huấn luyện mô hình.Ba thành phần kết nối với nhau được sử dụng trong phát triển mô hình 7 2.2 Kiến trúc mô hình SAM xử lý hình ảnh thông qua ba thành phần chính: Bộ mã hóa ảnh, bộ mã hóa lệnh, Hình 2.Các thành phần xử lý của SAM - Image encoder (Bộ mã hóa hình ảnh): Bộ mã hóa này sử dụng một Vision Transformer đã được tiền huấn luyện bằng phương pháp masked auto- encoder để chuyển đổi hình ảnh thành embedding (mã nhúng). - Prompt encoder (Bộ mã hóa đề xuất): Bộ mã hóa này mã hóa các điểm và hộp giới hạn (bounding boxes) bằng cách sử dụng các mã hóa vị trí (positional* encodings) và mã hóa văn bản bằng CLIP. Đối với các đề xuất mask (mask prompt), nó sử dụng các phép tích chập (convolutions) và cộng chúng với embedding hình ảnh. 8 - Mask decoder (Bộ giải mã mask): Đây là một thành phần nhẹ, nó ánh xạ embedding hình ảnh, embedding đề xuất, và một token đầu ra thành một mask.

Thiết kế này sử dụng một biến thể của khối giải mã Transformer, trong đó sử dụng attention tự động và cross-attention hai chiều (từ đề xuất đến hình ảnh và ngược lại) để cập nhật tất cả các embedding. Sau đó, embedding hình ảnh được tăng tỷ lệ (upsample) và một MLP ánh xạ đầu ra thành một bộ phân loại tuyến tính để tính toán điểm tin cậy cho mặt nạ. Nó sẽ trả về nhiều kết quả đầu ra cho một đề xuất duy nhất để giải quyết sự mơ hồ.3 Tập dữ liệu 2.1 Data engine Công cụ dữ liệu được sử dụng để tạo tập dữ liệu và huấn luyện SAM, bao gồm 3 giai đoạn: - Hỗ trợ thủ công: SAM được huấn luyện bằng tập dữ liệu công khai. Chuyên gia gán nhãn sử dụng công cụ chỉnh sửa của SAM để gán nhãn các mặt nạ.

Quá trình này được lặp lại sáu lần, tạo ra 4,3 triệu mặt nạ cho 120 nghìn hình ảnh. - Bán tự động: Chuyên gia gán nhãn các đối tượng mà SAM không nhận diện được để tăng tính đa dạng. Quá trình này được lặp lại năm lần, thu thập 10,2 triệu mặt nạ cho 300 nghìn hình ảnh. - Hoàn toàn tự động: Sử dụng lưới điểm 32x32 để dự đoán mặt nạ.

Mô-đun IoU chọn các mặt nạ đáng tin cậy và duy nhất. Hình ảnh được cắt thành các phần nhỏ để tăng chất lượng mặt nạ. Tổng cộng, 11 triệu hình ảnh được xử lý, tạo ra 1,1 tỷ mặt nạ chất lượng cao.2 Tập dữ liệu 9 Hình 2.Ảnh mô tả bộ dữ liệu overlaid mask. SA-1B Dataset Bộ dữ liệu SA-1B bao gồm 11 triệu hình ảnh đa dạng, độ phân giải cao và 1,1 tỷ mặt nạ phân vùng chất lượng cao được thu thập bởi công cụ dữ liệu.

Các hình ảnh có độ phân giải trung bình là 3300x4950, tuy nhiên để tiết kiệm dung lượng lưu trữ, chúng được giảm kích thước xuống còn 1500 pixel cho chiều ngắn của hình ảnh. Ngay cả sau khi giảm kích thước, các hình ảnh vẫn có độ phân giải cao hơn nhiều so với nhiều bộ dữ liệu hiện có. Bộ dữ liệu bao gồm hơn 1,1 tỷ mặt nạ, tất cả đều được tự động tạo ra. Để đánh giá chất lượng của các mặt nạ này, 500 hình ảnh với khoảng 50.000 mặt nạ được lấy mẫu ngẫu nhiên và một nhóm chuyên gia gán nhãn sẽ cải thiện chất lượng của tất cả các mặt nạ trong các hình ảnh này bằng cách sử dụng mô hình và công cụ chỉnh sửa.

Kết quả là các cặp mặt nạ được dự đoán tự động, trong đó 94% các cặp có IoU lớn hơn 90%. Thí nghiệm này xác nhận rằng chất lượng mask là cao và mô hình có thể được huấn luyện chỉ bằng mask tự động. 10 Khi so sánh với các bộ dữ liệu khác cho phân vùng hình ảnh, SA-1B có số lượng hình ảnh nhiều hơn 11 lần và số lượng mặt nạ nhiều hơn 400 lần so với Open Images, bộ dữ liệu lớn nhất hiện nay. Các hình ảnh có hơn 100 mặt nạ chiếm 80% của SA-1B, áp đảo so với các bộ dữ liệu khác, chỉ có khoảng 30%.

SA-1B có nhiều mặt nạ nhỏ hơn, điều này không bất ngờ vì số lượng mặt nạ nhiều hơn.4 Thực nghiệm Để thể hiện tính hiệu quả trong chất lượng phân vùng ảnh của SAM, em sử dụng mô hình YOLOv8 – mô hình phục vụ nhận diện và phân vùng ảnh nhằm so sánh độ đa dạng và số lượng nhận diện đối tượng trong một bức ảnh. Tại đây, nhận thấy cả hai mô hình đều xử lý tiến trình “Phân vùng đối tượng” (Instance Segmentation), do đó thực nghiệm được tiến hành đưa một mẫu ảnh thử vào hai mô hình và so sánh kết quả được trả về từ SAM và YOLOv8. Các mẫu ảnh thử được lựa chọn đa dạng từ chân dung, phong cảnh, tranh vẽ…. để đánh giá một cách trực quan nhất.1 Các bước thực hiện Hai mô hình được thực hiện bằng Notebook, triển khai trên ứng dụng Google Colab yêu cầu cấu hình: - Yêu cầu phần cứng: o GPU với bộ nhớ tối thiểu 8GB: Để đảm bảo việc xử lý các tác vụ phân vùng đối tượng, GPU cần có dung lượng bộ nhớ đủ lớn (Vd:NVIDIA GTX 1080 Ti) sẽ giúp tăng tốc độ xử lý, đặc biệt là khi làm việc với các mô hình deep learning lớn và phức tạp.

o CPU đa nhân: Một CPU mạnh với nhiều nhân (cores) sẽ giúp xử lý các tác vụ không thể thực hiện trên GPU và giảm thiểu thời gian chờ. o RAM ít nhất 16GB: Để đảm bảo đủ bộ nhớ cho việc tải và xử lý các mô hình, dữ liệu, và các tác vụ khác. 11 - Yêu cầu phần mềm: o Python >= 3.8: Để sử dụng các thư viện mới nhất và các tính năng của Python.1: Nếu sử dụng GPU NVIDIA, CUDA sẽ giúp tận dụng sức mạnh của GPU để tăng tốc độ tính toán. Phiên bản CUDA cần phải tương thích với phiên bản PyTorch bạn cài đặt.

o Cài đặt các thư viện cần thiết: Bao gồm PyTorch, OpenCV, và các thư viện cụ thể cho từng mô hình (SAM và YOLOv8).