Bối cảnh và vấn đề nghiên cứu

Nhận diện văn bản ngoại cảnh (Scene Text Recognition - STR) là một bài toán trọng tâm trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên. Công nghệ này có vai trò chuyển đổi các thông tin dạng văn bản xuất hiện trong môi trường thực tế thành định dạng kỹ thuật số, phục vụ nhiều ứng dụng thực tiễn như nhận dạng biển số xe tự động, hệ thống kiểm soát ra vào, tra cứu dịch thuật hình ảnh, số hóa tài liệu an ninh và hỗ trợ người khiếm thị.

Thách thức cốt lõi của bài toán STR xuất phát từ sự đa dạng và phức tạp của dữ liệu hình ảnh ngoại cảnh. Văn bản trong môi trường thực tế thường biến thiên lớn về kiểu chữ (font), kích thước, màu sắc, góc nghiêng, dạng chữ uốn cong, cũng như chịu ảnh hưởng của nền nhiễu, điều kiện chiếu sáng không đồng đều hoặc bị vật thể khác che khuất. Để xây dựng các mô hình học sâu có khả năng nhận diện chính xác, hệ thống đòi hỏi một lượng lớn dữ liệu huấn luyện đã được gán nhãn chi tiết từng vùng từ ngữ. Tuy nhiên, việc thu thập và gán nhãn thủ công dữ liệu thế giới thực đòi hỏi chi phí tài chính cao và tiêu tốn nhiều thời gian.

Nhằm giải quyết sự khan hiếm dữ liệu thực tế có nhãn, phương pháp phổ biến là sử dụng các tập dữ liệu tổng hợp nhân tạo (synthetic datasets) quy mô lớn để huấn luyện mô hình, sau đó áp dụng vào nhận diện dữ liệu thực tế. Mặc dù dữ liệu tổng hợp cho phép tạo ra hàng triệu mẫu với nhiều cấu hình biến đổi hình học, sự sai lệch phân phối giữa dữ liệu nhân tạo và dữ liệu thực tế—được gọi là khoảng cách miền (domain gap hoặc domain shift)—khiến cho hiệu năng nhận diện của mô hình suy giảm đáng kể khi triển khai thực tế.

Để thu hẹp khoảng cách này, các kỹ thuật thích ứng miền không giám sát (Unsupervised Domain Adaptation - UDA), đặc biệt là kỹ thuật tự huấn luyện thông qua gán nhãn giả (Pseudo-labeling), đã được áp dụng. Tuy nhiên, khi khoảng cách phân phối giữa miền nguồn (dữ liệu nhân tạo) và miền đích (dữ liệu thực tế) quá lớn, việc thích ứng trực tiếp trong một bước (one-off adaptation) thường dẫn đến hiện tượng gán nhãn giả sai lệch, khiến mô hình học các thông tin lỗi và giảm độ chính xác tổng thể.

Khóa luận này đề xuất và đánh giá phương pháp Thích ứng miền dần dần (Gradual Domain Adaptation - GDA) kết hợp kỹ thuật định tuyến miền (Domain Routing) cho bài toán STR. Bằng cách chia nhỏ khoảng cách miền lớn thành các bước chuyển tiếp thông qua các miền trung gian (intermediate domains), mô hình có thể học dần các đặc trưng phân phối trước khi thích ứng hoàn toàn sang miền đích.

Mục tiêu và câu hỏi nghiên cứu của khóa luận:

  1. Đánh giá hiệu năng của phương pháp Thích ứng miền dần dần (Gradual Domain Adaptation) trong bài toán Nhận diện văn bản ngoại cảnh.
  2. Xác định ảnh hưởng của các lộ trình miền trung gian (intermediate domain routings) đối với hiệu năng tổng thể của mô hình STR khi áp dụng GDA.
  3. Phân tích nguyên tắc và cách thức lựa chọn một lộ trình thích ứng miền (domain routing) phù hợp nhằm tối ưu hóa kết quả nhận diện.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các giải thuật thích ứng miền dần dần (GDA), kỹ thuật gán nhãn giả (Pseudo-labeling), kỹ thuật định tuyến miền (Domain Routing) áp dụng trên khung kiến trúc nhận diện văn bản 4 giai đoạn TRBA.
  • Phạm vi dữ liệu:
    • Miền nguồn tổng hợp có nhãn: MJSynth (MJ) và SynthText (ST).
    • Miền trung gian và chuyển giao không gán nhãn: Book32, TextVQA và ST-VQA.
    • Tập dữ liệu chuẩn đánh giá thực tế: IIIT5K-Words (IIIT), Street View Text (SVT), ICDAR2013 (IC13), ICDAR2015 (IC15), SVT Perspective (SP) và CUTE80 (CT).
  • Phạm vi kỹ thuật: Tập trung vào nhánh thích ứng miền tự huấn luyện dựa trên gán nhãn giả (Pseudo-labeling trong Semi-supervised Learning), không mở rộng sang các thành phần học tự giám sát (Self-supervised Learning) hoặc mô hình sinh đối kháng (Adversarial Learning).

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và khái niệm sử dụng

Nghiên cứu được xây dựng trên các nền tảng lý thuyết và mô hình sau:

  1. Khung kiến trúc nhận diện văn bản 4 giai đoạn (STR Framework): Được chuẩn hóa bởi Baek và cộng sự (2019), mô hình phân rã bài toán STR thành 4 thành phần tuần tự:

    • Transformation (Biến đổi hình học): Chuẩn hóa và nắn chỉnh hình dạng hộp chữ bị nghiêng, cong hoặc méo mó về dạng thẳng chuẩn.
    • Feature Extraction (Trích xuất đặc trưng): Chuyển đổi ảnh đầu vào thành các bản đồ đặc trưng biểu diễn cấu trúc thị giác (cạnh, đường nét, màu sắc, phông chữ).
    • Sequence Modeling (Mô hình hóa chuỗi): Nắm bắt sự phụ thuộc ngữ cảnh hai chiều giữa các ký tự trong một từ.
    • Prediction (Dự đoán chuỗi): Ánh xạ các đặc trưng ngữ cảnh thành chuỗi ký tự đầu ra.

  2. Thích ứng miền không giám sát (Unsupervised Domain Adaptation - UDA): Giải quyết sự suy giảm hiệu năng do dịch chuyển phân phối dữ liệu ($P_{source} \neq P_{target}$) giữa miền nguồn có nhãn và miền đích không có nhãn. Nghiên cứu tập trung vào phương pháp Tự huấn luyện (Self-training) thông qua Gán nhãn giả (Pseudo-labeling), trong đó mô hình huấn luyện từ miền nguồn suy luận nhãn cho dữ liệu miền đích, lọc các mẫu tin cậy và bổ sung vào tập huấn luyện ở các vòng lặp tiếp theo.

  3. Lý thuyết Thích ứng miền dần dần (Gradual Domain Adaptation - GDA): Dựa trên nguyên lý học chương trình (Curriculum Learning) và chia để trị (Divide-and-Conquer). Thay vì chuyển giao trực tiếp giữa hai phân phối cách biệt lớn, GDA chèn một chuỗi các phân phối trung gian $D_1, D_2, ..., D_k$, giúp sai số tổng quát hóa (generalization gap) ở mỗi bước được kiểm soát ở mức nhỏ, ngăn ngừa việc tích lũy sai số từ nhãn giả không chính xác.

+-----------------------------------------------------------------------------------+
|               BẢNG TỔNG HỢP CÁC NGUỒN DỮ LIỆU SỬ DỤNG TRONG NGHIÊN CỨU            |
+-------------------+-----------------+-----------------------+---------------------+
| Phân loại miền    | Tên tập dữ liệu | Quy mô / Số lượng mẫu | Đặc điểm chính      |
+-------------------+-----------------+-----------------------+---------------------+
| Miền nguồn        | MJSynth (MJ)    | 9 triệu ảnh từ        | Dữ liệu tổng hợp    |
| (Huấn luyện có    |                 |                       | 1 dòng chữ          |
| nhãn)             | SynthText (ST)  | 800 nghìn ảnh nền,    | Chữ tổng hợp gán    |
|                   |                 | 7 triệu hộp từ        | trên ảnh tự nhiên   |
+-------------------+-----------------+-----------------------+---------------------+
| Miền trung gian   | Book32          | 208 nghìn ảnh bìa,    | Nhiều chữ nghệ thuật|
| (Thích ứng không  |                 | 3,9 triệu hộp từ cắt  | chữ viết tay, cong  |
| gán nhãn)         | TextVQA         | 28.408 ảnh OpenImages,| Biển quảng cáo,     |
|                   |                 | 551 nghìn hộp từ cắt  | biển báo giao thông |
|                   | ST-VQA          | 79 nghìn hộp từ cắt   | Ảnh hỏi đáp thị giác|
|                   |                 | (đã loại bỏ trùng lặp)| chữ ngoại cảnh      |
+-------------------+-----------------+-----------------------+---------------------+
| Miền đích chuẩn   | IIIT5K-Words    | 2.000 train /         | Chữ in tự nhiên     |
| (Đánh giá kiểm thử|                 | 3.000 evaluation      | từ Google Search    |
| có nhãn)          | SVT             | 257 train /           | Ảnh từ Google       |
|                   |                 | 647 evaluation        | Street View         |
|                   | ICDAR 2013      | 848 train /           | Cuộc thi Robust     |
|                   |                 | 1.015 evaluation      | Reading 2013        |
|                   | ICDAR 2015      | 4.468 train /         | Ảnh từ Google Glass,|
|                   |                 | 2.077 evaluation      | góc nghiêng, mờ     |
|                   | SVT Perspective | 645 evaluation        | Chữ biến dạng       |
|                   |                 |                       | phối cảnh mạnh      |
|                   | CUTE80          | 288 evaluation        | Tập trung vào các   |
|                   |                 |                       | dòng chữ uốn cong   |
+-------------------+-----------------+-----------------------+---------------------+

Phương pháp nghiên cứu thực nghiệm

Nghiên cứu áp dụng phương pháp thực nghiệm định lượng trên hệ thống học sâu:

  1. Tái lập mô hình cơ sở (Baseline Replication): Thiết lập mô hình nhận diện văn bản TRBA huấn luyện hoàn toàn trên dữ liệu tổng hợp (MJ + ST), sau đó áp dụng quy trình UDA chuẩn với kỹ thuật gán nhãn giả sang dữ liệu thực tế theo khung thử nghiệm của Baek và cộng sự (2021).
  2. Thực nghiệm thích ứng miền dần dần (GDA Experiments): Đưa tuần tự các tập dữ liệu thực tế không gán nhãn (Book32, TextVQA, ST-VQA) vào quy trình huấn luyện dưới dạng các miền chuyển tiếp.
  3. Thử nghiệm định tuyến miền (Domain Routing Analysis): Hoán đổi thứ tự chuyển tiếp giữa các miền trung gian và miền đích nhằm xác định lộ trình thích ứng tối ưu dựa trên thước đo độ chính xác nhận diện.

Thiết kế và triển khai mô hình thực nghiệm

Khóa luận lựa chọn cấu hình mô hình TRBA làm kiến trúc mạng nơ-ron thực nghiệm, bao gồm 4 khối thành phần:

+-----------------------------------------------------------------------------------+
|                  CẤU TRÚC CHI TIẾT MÔ HÌNH NHẬN DIỆN VĂN BẢN TRBA                 |
+---------------------+-------------------------------+-----------------------------+
| Thành phần          | Công nghệ / Kiến trúc         | Chức năng kỹ thuật          |
+---------------------+-------------------------------+-----------------------------+
| Transformation      | Mạng biến đổi không gian      | Gồm Localization Network,   |
|                     | (Spatial Transformer Network  | Grid Generator và Sampler để|
|                     | - STN)                        | nắn chỉnh hình học ảnh từ   |
+---------------------+-------------------------------+-----------------------------+
| Feature Extraction  | Mạng phần dư tích chập        | Trích xuất đặc trưng ngữ    |
|                     | (ResNet)                      | nghĩa đa tầng qua các khối  |
|                     |                               | Residual Blocks             |
+---------------------+-------------------------------+-----------------------------+
| Sequence Modeling   | Mạng bộ nhớ dài-ngắn hai chiều| Học thông tin phụ thuộc     |
|                     | (BiLSTM)                      | chuỗi ký tự theo cả hai     |
|                     |                               | chiều trước và sau          |
+---------------------+-------------------------------+-----------------------------+
| Prediction          | Cơ chế tập trung              | Tính toán trọng số ngữ cảnh |
|                     | (Attention Mechanism)         | để giải mã chuỗi ký tự      |
+---------------------+-------------------------------+-----------------------------+

Chiến lược huấn luyện và cấu hình thực nghiệm:

  • Thuật toán tối ưu: Adam Optimizer.
  • Lập lịch tốc độ học (Learning Rate Scheduler): One-cycle learning rate scheduler.
  • Kích thước mẫu mỗi lô (Batch size): 128.
  • Số lượng vòng lặp huấn luyện (Iterations): 200.000 (200K iterations).
  • Môi trường tính toán: Hệ thống máy chủ tính toán hiệu năng cao tại Phòng thí nghiệm Truyền thông Đa phương tiện (MMLAB), Trường Đại học Công nghệ Thông tin - ĐHQG-HCM.

Nội dung chính theo từng chương

Chương 1: Giới thiệu (Introduction)

Chương 1 thiết lập bức tranh tổng quan về tầm quan trọng của bài toán Nhận diện văn bản ngoại cảnh (STR) trong các hệ thống tự động hóa thị giác máy tính. Tác giả chỉ ra mâu thuẫn giữa nhu cầu dữ liệu gán nhãn lớn và chi phí thu thập dữ liệu thực tế, dẫn đến việc phải sử dụng dữ liệu tổng hợp (MJSynth, SynthText). Chương này phân tích khái niệm "khoảng cách miền" (domain gap) và sự hạn chế của các phương pháp thích ứng miền một bước hiện nay. Từ đó, tác giả đặt ra 3 câu hỏi nghiên cứu chính, xác định phạm vi thực nghiệm tập trung vào thích ứng miền dần dần (GDA) trên nền tảng kỹ thuật gán nhãn giả (Pseudo-labeling), đồng thời nêu rõ cấu trúc 5 chương của khóa luận.

Chương 2: Các công trình liên quan (Related Works)

Chương 2 tổng hợp hệ thống tài liệu học thuật liên quan đến ba trụ cột chính của đề tài:

  • Các phương pháp STR: Phân tích chi tiết khung chuẩn 4 giai đoạn của Baek và cộng sự (2019). Tác giả so sánh các mô hình không sử dụng ngữ cảnh ngôn ngữ (Language-free methods: dựa trên CTC hoặc phân vùng FCN) với các mô hình có mô hình hóa chuỗi ngôn ngữ (Language-based methods: sử dụng BiLSTM kết hợp Attention hoặc Transformer), qua đó khẳng định ưu thế của các mô hình language-based trong việc xử lý ảnh chất lượng thấp.
  • Các kỹ thuật Thích ứng miền: Phân biệt thích ứng miền có giám sát (SDA) và không giám sát (UDA). Đánh giá hai hướng tiếp cận chính trong UDA cho STR là học biểu diễn bất biến qua mạng đối kháng (Adversarial Learning) và tự huấn luyện qua gán nhãn giả (Self-training / Pseudo-labeling).
  • Thích ứng miền dần dần (GDA): Trình bày cơ sở lý thuyết chuyển tiếp phân phối từ các nghiên cứu phân loại ảnh (chẳng hạn tập dữ liệu Portraits và MNIST), giải thích cơ chế giảm sai số tổng quát hóa thông qua các miền trung gian.
  • Khảo sát dữ liệu: Mô tả cấu trúc và thông số kỹ thuật của các tập dữ liệu tổng hợp (MJSynth, SynthText), các tập dữ liệu không nhãn dùng để thích ứng (Book32, TextVQA, ST-VQA) và 6 tập dữ liệu benchmark thực tế.

Chương 3: Thích ứng miền dần dần trong nhận diện văn bản ngoại cảnh thông qua gán nhãn giả (Gradual Domain Adaptation in Scene Text Recognition via Pseudo-labeling)

Chương 3 trình bày chi tiết phương pháp đề xuất. Tác giả mô tả quy trình chuyển giao tri thức từ miền nguồn tổng hợp sang các tập dữ liệu thực tế thông qua các chu kỳ gán nhãn giả. Tác giả giải thích chi tiết cấu tạo toán học và kiến trúc của 4 khối trong mô hình TRBA:

  • Cơ chế STN sử dụng mạng định vị dự đoán tham số, bộ tạo lưới và bộ lấy mẫu để nắn thẳng các chữ bị nghiêng/uốn cong.
  • Mạng ResNet trích xuất vector đặc trưng với các kết nối tắt chống suy giảm gradient.
  • Mạng BiLSTM nắm bắt thông tin ngữ cảnh xuôi và ngược của chuỗi từ.
  • Cơ chế Attention tính toán context vector dựa trên độ tương quan giữa trạng thái ẩn và đặc trưng thị giác để dự đoán từng ký tự.

Chương này cũng thiết kế khung định tuyến miền (Domain Routing), phân tích nguyên lý lựa chọn thứ tự các miền trung gian để đảm bảo phân phối chuyển đổi ổn định và hạn chế tối đa rủi ro gán sai nhãn giả.

Chương 4: Thực nghiệm và kết quả (Experiments)

Chương 4 cung cấp kết quả chi tiết của các chuỗi thực nghiệm:

  • Tái lập và đánh giá mô hình cơ sở TRBA huấn luyện trên dữ liệu tổng hợp kết hợp kỹ thuật UDA truyền thống.
  • Thực nghiệm GDA với việc bổ sung các miền trung gian khác nhau (Book32, TextVQA, ST-VQA).
  • Thực nghiệm kiểm chứng các kịch bản định tuyến miền khác nhau (hoán đổi thứ tự chuyển tiếp miền).
  • Thực hiện so sánh đối chuẩn hiệu năng giữa giải pháp định tuyến miền đề xuất với các phương pháp tiên tiến (state-of-the-art) trên các tập dữ liệu chuẩn.

Chương 5: Thảo luận và kết luận (Discussions)

Chương 5 thảo luận ý nghĩa học thuật và giá trị ứng dụng của các kết quả thực nghiệm. Tác giả tổng kết câu trả lời cho 3 câu hỏi nghiên cứu, phân tích tính ổn định của các lộ trình thích ứng miền, đồng thời chỉ ra các hạn chế kỹ thuật hiện tại và vạch ra các hướng mở rộng cho nghiên cứu trong tương lai.

Kết quả và đóng góp

Khóa luận ghi nhận các kết quả thực nghiệm định lượng và đóng góp khoa học cụ thể sau:

  1. Hiệu năng vượt trội của Thích ứng miền dần dần (GDA):
    • Áp dụng phương pháp GDA giúp cải thiện độ chính xác nhận diện của mô hình STR cơ sở lên đến 3,12% so với phương pháp thích ứng miền trực tiếp (Domain Adaptation một bước).
  2. Vai trò của việc Định tuyến miền (Domain Routing):
    • Thứ tự chuyển giao giữa các miền có tác động trực tiếp đến chất lượng mô hình. Khi thực hiện hoán đổi thứ tự các miền, mô hình ghi nhận sự biến thiên hiệu năng rõ rệt.
    • Khi áp dụng các lộ trình miền có tính ổn định tăng dần (increasingly stable domain routings), hiệu năng nhận diện của mô hình được cải thiện vượt bậc, đạt mức tăng trưởng độ chính xác lên tới 5,81% trong các thử nghiệm.
  3. So sánh với các phương pháp State-of-the-art:
    • Bằng cách tận dụng chiến lược định tuyến miền tối ưu trong quy trình GDA, giải pháp đề xuất đạt kết quả vượt qua các mô hình công bố tiên tiến tại thời điểm nghiên cứu trên các bộ dữ liệu đánh giá chuẩn.
  4. Đóng góp về mặt phương pháp luận:
    • Là công trình tiên phong áp dụng một cách hệ thống kỹ thuật Thích ứng miền dần dần (Gradual Domain Adaptation) trên nền tảng gán nhãn giả (Pseudo-labeling) vào bài toán Nhận diện văn bản ngoại cảnh (STR).
    • Chứng minh rằng việc chia nhỏ khoảng cách phân phối lớn thông qua các tập dữ liệu thực tế không gán nhãn sẵn có là một giải pháp hiệu quả về chi phí và nâng cao độ chính xác nhận diện mà không cần thêm dữ liệu gán nhãn thủ công.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi nghiên cứu được trình bày trong văn bản, các hạn chế và định hướng phát triển bao gồm:

  • Hạn chế kỹ thuật:
    • Nghiên cứu chỉ tập trung khai thác kỹ thuật gán nhãn giả trong nhóm học bán giám sát (Semi-supervised Learning), chưa tích hợp các kỹ thuật học tự giám sát (Self-supervised Learning như RotNet, MoCo) hay học đối kháng (Adversarial Learning) vào quy trình GDA.
    • Các miền trung gian sử dụng trong nghiên cứu vẫn dựa vào các tập dữ liệu thực tế không nhãn có sẵn (Book32, TextVQA, ST-VQA), chưa có cơ chế tự động sinh dữ liệu trung gian khi thiếu dữ liệu thực tế phù hợp.
  • Hướng nghiên cứu tiếp theo:
    • Mở rộng nghiên cứu kết hợp giữa học tự giám sát và GDA nhằm nâng cao chất lượng nhãn giả ban đầu.
    • Nghiên cứu các giải thuật tự động hóa quá trình tìm kiếm lộ trình miền tối ưu (Automated Domain Routing) thay vì thử nghiệm thủ công các tổ hợp miền.
    • Thử nghiệm các phương pháp sinh dữ liệu nhân tạo trung gian (pseudo-data generation) để kết nối miền nguồn và miền đích khi không có sẵn dữ liệu thực tế trung gian.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên sâu dành cho:

  • Sinh viên, học viên cao học và nghiên cứu viên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Thị giác Máy tính: Đặc biệt là những người làm việc trong các bài toán Nhận diện văn bản (OCR/STR), Thích ứng miền (Domain Adaptation), Học chuyển giao (Transfer Learning) và Học tự giám sát / Bán giám sát.
  • Các phần đáng tham khảo:
    • Chương 2 và Chương 3: Cung cấp bức tranh phân tích toàn diện về khung kiến trúc TRBA (STN, ResNet, BiLSTM, Attention) cùng cơ sở toán học và cơ chế gán nhãn giả.
    • Chương 4: Quy trình thiết lập thực nghiệm trên các tập dữ liệu thực tế không gán nhãn quy mô lớn và phương pháp đo lường ảnh hưởng của lộ trình chuyển giao miền (Domain Routing).

Câu hỏi thường gặp

1. Tại sao cần áp dụng Gradual Domain Adaptation (GDA) thay cho Domain Adaptation (DA) truyền thống trong bài toán STR?

Trong bài toán STR, mô hình thường được huấn luyện trên dữ liệu nhân tạo (MJSynth, SynthText) và kiểm thử trên dữ liệu thực tế. Sự sai lệch phân phối (domain gap) giữa hai miền này rất lớn do sự đa dạng về phông chữ, ánh sáng và biến dạng hình học trong thực tế. Các phương pháp DA truyền thống chuyển đổi trực tiếp trong một bước (one-off adaptation) thường gặp lỗi khi gán nhãn giả (wrong pseudo-labels), làm suy giảm chất lượng mô hình. GDA giải quyết vấn đề này bằng cách đưa vào các miền trung gian, chia nhỏ khoảng cách miền thành các bước chuyển tiếp tiệm tiến, giúp mô hình thích nghi dần dần và nâng cao độ chính xác.

2. Mô hình nhận diện văn bản nào được lựa chọn làm kiến trúc cơ sở trong khóa luận?

Khóa luận sử dụng kiến trúc TRBA được đề xuất trong khung chuẩn của Baek và cộng sự (2019), bao gồm 4 thành phần:

  • Transformation: Mạng biến đổi không gian (Spatial Transformer Network - STN) để nắn chỉnh hình học ảnh.
  • Feature Extraction: Mạng tích chập phần dư ResNet để trích xuất đặc trưng ngữ nghĩa.
  • Sequence Modeling: Mạng nơ-ron hai chiều BiLSTM để học ngữ cảnh chuỗi ký tự.
  • Prediction: Cơ chế Attention để dự đoán chuỗi ký tự đầu ra.

3. Những tập dữ liệu thực tế không gán nhãn nào đã được sử dụng làm miền trung gian?

Nghiên cứu sử dụng 3 tập dữ liệu thực tế không gán nhãn:

  • Book32: Gồm 208 nghìn ảnh bìa sách trong 32 thể loại từ Amazon Books, sau khi cắt tạo ra 3,9 triệu hộp từ (chứa nhiều chữ uốn cong, viết tay nghệ thuật).
  • TextVQA: Gồm 28.408 ảnh từ OpenImages V3 (biển hiệu, biển báo giao thông), sau khi cắt chứa 551 nghìn hộp từ.
  • ST-VQA: Tập ảnh hỏi đáp văn bản ngoại cảnh, sau khi lọc bỏ phần trùng lặp với các tập benchmark và cắt ảnh, thu được 79 nghìn hộp từ.

4. Hiệu năng của mô hình được cải thiện như thế nào qua các thực nghiệm?

Kết quả thực nghiệm cho thấy:

  • Phương pháp GDA giúp cải thiện độ chính xác nhận diện lên đến 3,12% so với phương pháp thích ứng miền thông thường (DA).
  • Việc tối ưu hóa thứ tự thích ứng miền với các lộ trình ổn định tăng dần (domain routing) mang lại mức cải thiện hiệu năng lên tới 5,81%.
  • Mô hình áp dụng định tuyến miền GDA đạt kết quả vượt qua các phương pháp state-of-the-art trên các tập dữ liệu chuẩn đánh giá.

5. Khóa luận sử dụng chiến lược huấn luyện và siêu tham số thực nghiệm như thế nào?

Mô hình TRBA được huấn luyện với thuật toán tối ưu hóa Adam, sử dụng bộ lập lịch tốc độ học One-cycle learning rate scheduler, kích thước lô (batch size) cố định là 128 và tổng số vòng lặp huấn luyện là 200.000 (200K iterations) trên hạ tầng máy chủ tính toán của MMLAB UIT.

Kết luận

Khóa luận tốt nghiệp của sinh viên Hồ Chung Đức Khánh và Nguyễn Thị Minh Phương đã giải quyết bài toán suy giảm hiệu năng nhận diện văn bản ngoại cảnh do chênh lệch phân phối giữa dữ liệu nhân tạo và dữ liệu thực tế. Bằng việc đề xuất và triển khai phương pháp Thích ứng miền dần dần (GDA) dựa trên kỹ thuật gán nhãn giả kết hợp định tuyến miền (Domain Routing) trên khung kiến trúc TRBA, nghiên cứu đã chứng minh tính hiệu quả của việc chuyển tiếp phân phối qua các miền trung gian. Các kết quả thực nghiệm khẳng định mức cải thiện độ chính xác lên tới 5,81% và vượt qua các phương pháp tiên tiến cùng thời điểm, mở ra hướng ứng dụng thiết thực trong việc khai thác các nguồn dữ liệu thực tế không gán nhãn quy mô lớn cho các hệ thống thị giác máy tính.