Nghiên Cứu Giải Pháp Kính Thông Minh Hỗ Trợ Đọc Sách Giáo Khoa Cho Học Sinh Khiếm Thị Dựa Trên Deep Learning Và Hệ Thống Nhúng

Tóm tắt nghiên cứu (Research Summary)

  • Câu hỏi nghiên cứu chính (Research Question): Làm thế nào để xây dựng một hệ sinh thái thị giác máy tính toàn diện, có khả năng tự động phân tích bố cục trang sách giáo khoa đa dạng (văn bản thuần, công thức toán học phức tạp, hình ảnh minh họa, bảng biểu) và chuyển đổi chính xác thành âm thanh tự nhiên trên một thiết bị nhúng di động hỗ trợ học sinh khiếm thị?
  • Phương pháp tiếp cận (Methodology Snapshot): Nhóm nghiên cứu thuộc Trường Đại học Sư phạm TP.HCM (dưới sự hướng dẫn của TS. Ngô Quốc Việt) đã thiết kế một pipeline đa tầng tích hợp:
    1. Tiền xử lý hình ảnh bằng biến đổi hình thái học, phân cụm màu sắc K-means và thuật toán RANSAC ước lượng phép biến đổi Homography nhằm căn chỉnh và tách nền trang sách.
    2. Phân đoạn cấu trúc tài liệu (Document Layout Analysis) sử dụng mô hình học sâu YOLOv8s-seg huấn luyện trên tập dữ liệu sách giáo khoa Toán và Sinh học lớp 9 gồm 5 phân lớp (Text, Formula, Image, Geometry, Table).
    3. Trích xuất ngữ nghĩa chuyên biệt: Tesseract-OCR nhận dạng chữ tiếng Việt; Pix2Tex (LatexOCR) kết hợp MathML và công cụ Speech Rule Engine (SRE) phân giải công thức toán học; mô hình Vision Transformer (ViT) tạo chú thích hình ảnh tự động.
    4. Tổng hợp âm thanh & triển khai phần cứng: Tích hợp API Text-to-Speech (TTS) và thực thi trên máy tính nhúng Raspberry Pi 3 Model B+ cùng Raspberry Pi Camera Module V2.
  • Phát hiện then chốt (Key Findings): Giải pháp xử lý thành công tính đa dạng bố cục của sách giáo khoa chuẩn; giải quyết triệt để bài toán "đọc hiểu" công thức toán học và mô tả hình ảnh trực quan mà các công cụ OCR truyền thống không thể thực hiện được.
  • Hàm ý thực tiễn (Implications): Mở ra hướng đi mang tính đột phá và khả thi cao trong việc chế tạo các dòng kính thông minh (Smart Glasses) chi phí thấp, giúp học sinh khiếm thị tiếp cận tri thức bình đẳng tại các trường chuyên biệt cũng như môi trường giáo dục hòa nhập.

Bối cảnh và tầm quan trọng (Context & Significance)

Thực trạng tiếp cận tri thức của người khiếm thị

Theo Tổ chức Y tế Thế giới (WHO), thế giới hiện có khoảng 314 triệu người khiếm thị và thị lực kém. Tại Việt Nam, con số này lên tới gần 2 triệu người (chiếm xấp xỉ 2% dân số). Đối với học sinh khiếm thị, việc đọc sách giáo khoa và tài liệu học tập là một rào cản to lớn trong quá trình hòa nhập xã hội và phát triển tư duy.

Khoảng trống nghiên cứu (Research Gap)

  1. Chữ nổi Braille: Tốc độ đọc trung bình chỉ đạt khoảng 125 từ/phút (so với 238 từ/phút ở người bình thường). Chi phí in ấn tài liệu chữ nổi rất cao và số lượng đầu sách giáo khoa chuyên biệt bị hạn chế nghiêm trọng.
  2. Sách nói (Audiobooks): Luôn có độ trễ phát hành so với sách giấy, đòi hỏi chi phí hạ tầng lưu trữ lớn và thiếu vắng trầm trọng các nội dung khoa học tự nhiên đòi hỏi mô tả biểu đồ, đồ thị, công thức.
  3. Các thiết bị OCR hiện hữu (như OrCam MyEye): Dù nhận dạng ký tự quang học tốt trên hơn 60 ngôn ngữ nhưng chỉ tập trung vào văn bản dàn trải tuyến tính; hệ thống hoàn toàn bất lực trước các cấu trúc toán học phân cấp (phân số, tích phân, căn thức) hoặc biểu đồ sinh học đa chiều.

Tính cấp thiết và tác động

Đề tài nghiên cứu của nhóm sinh viên Trường ĐH Sư phạm TP.HCM đặt trọng tâm vào đối tượng học sinh trung học cơ sở – giai đoạn kiến thức bắt đầu mở rộng với lượng lớn công thức Toán và hình ảnh Sinh học trực quan. Việc tích hợp các mô hình học sâu hiện đại nhất (YOLOv8, Vision Transformer, SRE) lên phần cứng nhúng giá rẻ không chỉ lấp đầy khoảng trống công nghệ hỗ trợ giáo dục hòa nhập mà còn mang lại giá trị nhân văn sâu sắc.

Phương pháp luận và cách tiếp cận nghiên cứu (Methodology & Approach)

Nghiên cứu áp dụng quy trình thực nghiệm chặt chẽ kết hợp giữa lý thuyết thị giác máy tính hiện đại và kỹ thuật hệ thống nhúng biên (Edge AI):

1. Thu thập và chuẩn bị dữ liệu (Data Pipeline)

  • Nguồn dữ liệu: Quét trực tiếp từ sách giáo khoa Toán 9 (Tập 1 & 2), Sách bài tập Toán 9 và Sách giáo khoa Sinh học 9 (NXB Giáo dục).
  • Quy mô tập dữ liệu: Xây dựng bộ dataset gồm 1.300 ảnh (1.032 train, 179 validation, 89 test) được gán nhãn chi tiết qua nền tảng Roboflow.
  • Hệ thống phân lớp (5 classes):
    • Formula (Công thức toán học): 9.276 mẫu gán nhãn.
    • Text (Khối văn bản thuần): 2.745 mẫu.
    • Geometry (Hình vẽ hình học, đồ thị): 660 mẫu.
    • Image (Tranh ảnh minh họa sinh học, thực tế): 282 mẫu.
    • Table (Bảng biểu số liệu): 204 mẫu.
  • Tăng cường dữ liệu (Data Augmentation): Áp dụng kỹ thuật Auto-Orient, Resize 640x640, xoay, bẻ cong, cắt ngẫu nhiên (CutMix), Mosaic, biến đổi độ sáng và làm mờ để tăng khả năng tổng quát hóa của mô hình trong điều kiện ánh sáng thực tế.

2. Tiền xử lý hình ảnh nâng cao

  • Sử dụng biến đổi hình thái học nhằm làm nổi bật ranh giới trang sách.
  • Áp dụng thuật toán K-means Clustering trên không gian màu để phân tách pixel trang sách khỏi nền bàn.
  • Dùng phép giãn nở (Dilation) xác định 4 đỉnh góc của trang sách, kết hợp thuật toán RANSAC ước lượng ma trận Homography để hiệu chỉnh biến dạng góc phối cảnh (Perspective Transform).

3. Kiến trúc mô hình phân đoạn (Segmentation Architecture)

Sử dụng kiến trúc YOLOv8s-seg gồm 261 lớp mạng với 11,03 triệu tham số, tận dụng mạng backbone CSPDarknet53 cải tiến cùng cơ chế Head phân đoạn chuyên dụng. Quá trình huấn luyện sử dụng thuật toán tối ưu hóa SGD, kích thước ảnh $640 \times 640$, chạy trong 100 epochs với cơ chế DataLoader 2 workers tối ưu hóa I/O.

4. Động cơ phân tích đa phương thức (Multi-modal Parsing Engines)

  • Xử lý khối Text: Áp dụng lọc xám, cân bằng Histogram và chuyển qua công cụ Tesseract-OCR được tối ưu riêng cho bộ ký tự tiếng Việt có dấu.
  • Xử lý Hình ảnh minh họa: Tích hợp mô hình Vision Transformer (ViT) thông qua kiến trúc Encoder-Decoder (sử dụng FastAPI backend), sinh câu mô tả ngữ cảnh tự nhiên (Image Captioning) đại diện cho nội dung hình ảnh.
  • Xử lý Công thức toán học (Toán học $\rightarrow$ Ngữ nghĩa):
    1. Trích xuất biểu thức: Sử dụng mô hình Pix2Tex (LatexOCR) chuyển ảnh công thức thành định dạng LaTeX.
    2. Chuyển đổi trung gian: Ánh xạ LaTeX sang chuẩn cây cú pháp MathML để bảo toàn cấu trúc phân cấp toán học (tử số, mẫu số, lũy thừa, căn bậc n).
    3. Phát sinh ngôn ngữ nói: Sử dụng Speech Rule Engine (SRE) áp dụng hệ thống luật ngữ âm để chuyển các thẻ MathML thành câu văn tự nhiên mạch lạc (ví dụ: $x^2 + \sqrt{y}$ đọc thành "x bình phương cộng căn bậc hai của y").

Phát hiện chính của nghiên cứu (Key Findings)

========================================================================================
BẢNG TỔNG HỢP NĂNG LỰC CỦA HỆ THỐNG TRONG CÁC TÁC VỤ PHÂN TÍCH TRANG SÁCH
========================================================================================
Thành phần phân tích       Công nghệ cốt lõi          Đặc tính đầu ra
----------------------------------------------------------------------------------------
Bố cục trang sách          YOLOv8s-seg (5 Classes)     Mặt nạ phân đoạn & Tọa độ Bounding Box
Văn bản tiếng Việt         Tesseract OCR               Chuỗi ký tự số hóa chuẩn UTF-8
Công thức toán học         Pix2Tex → MathML → SRE      Diễn giải ngữ âm học toán học tự nhiên
Hình vẽ / Ảnh minh họa     Vision Transformer (ViT)    Câu mô tả ngữ cảnh trực quan
Âm thanh đầu ra            Google TTS Engine           Giọng đọc tổng hợp chất lượng cao
========================================================================================
  1. Khả năng phân đoạn bố cục phức tạp với độ chính xác cao: Mô hình YOLOv8s-seg giải quyết xuất sắc thách thức về sự đa dạng trong cách trình bày của sách giáo khoa Việt Nam. Ngay cả khi các công thức toán nằm xen kẽ giữa các dòng văn bản (inline formulas) hoặc các bảng số liệu phức tạp nằm cạnh hình vẽ, mô hình vẫn bóc tách chính xác từng vùng mà không làm xáo trộn thứ tự đọc.
  2. Đột phá trong việc chuyển đổi ngữ nghĩa công thức toán học: Thách thức lớn nhất trong việc hỗ trợ người khiếm thị đọc sách khoa học là công thức toán. Nghiên cứu đã chứng minh chuỗi xử lý Pix2Tex $\rightarrow$ LaTeX $\rightarrow$ MathML $\rightarrow$ SRE vượt trội hoàn toàn so với OCR thông thường. Thay vì đọc ra các chuỗi ký hiệu vô nghĩa (như "x mũ hai xuyệt y"), hệ thống tạo ra câu phát âm chuẩn ngữ nghĩa sư phạm, diễn đạt đúng bản chất toán học.
  3. Mô tả hình ảnh trực quan nhờ Vision Transformer: Việc áp dụng Vision Transformer (ViT) cho các hình minh họa sinh học và sơ đồ hình học giúp tạo ra những câu tóm lược ngắn gọn, chính xác về đối tượng chính và hành động trong ảnh, giúp học sinh khiếm thị hình dung được nội dung trực quan mà không cần người trợ giúp.
  4. Khả thi trên thiết bị nhúng biên chi phí thấp: Hệ thống chứng minh rằng toàn bộ pipeline phức tạp có thể hoạt động ổn định trên vi xử lý Broadcom BCM2837B0 của Raspberry Pi 3 Model B+ (RAM 1GB). Việc kết nối trực tiếp với Raspberry Pi Camera V2 và tai nghe cho phép thiết kế một mô hình kính thông minh độc lập, nhỏ gọn với chi phí phần cứng chỉ bằng một phần nhỏ so với các sản phẩm thương mại nước ngoài.

Đóng góp khoa học và giá trị thực tiễn (Scientific & Practical Contributions)

1. Đóng góp về mặt lý thuyết và phương pháp luận

  • Mở rộng nghiên cứu DAR cho dữ liệu giáo dục Việt Nam: Đóng góp bộ dữ liệu phân đoạn bố cục sách giáo khoa tiếng Việt (1.300 ảnh chuẩn hóa trên Roboflow với 5 lớp nhãn chi tiết), tạo tiền đề nghiên cứu cho cộng đồng xử lý tài liệu học thuật trong nước.
  • Quy trình tích hợp liên mô hình (Multi-model Pipeline): Đề xuất một kiến trúc kết hợp linh hoạt giữa phân đoạn đối tượng (YOLOv8), trích xuất OCR, sinh chú thích ảnh (ViT) và phân giải ngữ âm công thức (SRE) thành một luồng dữ liệu thống nhất hướng đến đầu ra âm thanh.

2. Đóng góp về mặt ứng dụng thực tiễn & Xã hội

  • Thúc đẩy bình đẳng giáo dục: Tạo ra công cụ tự chủ đắc lực cho học sinh khiếm thị, giúp các em có thể tự học sách giáo khoa chuẩn mà không phụ thuộc vào việc có sẵn trường chuyên biệt hay sách chữ nổi Braille.
  • Tối ưu hóa chi phí thiết bị trợ thị: Sản phẩm hướng tới việc hiện thực hóa dưới dạng mắt kính thông minh gắn camera giá rẻ, mở ra cơ hội tiếp cận công nghệ cho người khuyết tật tại các vùng nông thôn và điều kiện kinh tế khó khăn.

Đối tượng quan tâm và hưởng lợi (Target Audience)

  • Học sinh khiếm thị và phụ huynh: Đối tượng thụ hưởng trực tiếp, giúp nâng cao tính tự lập trong học tập, rút ngắn thời gian tiếp thu kiến thức khoa học tự nhiên.
  • Giáo viên và các trường chuyên biệt/hòa nhập: Giảm áp lực giảng dạy và chuyển soạn tài liệu thủ công sang chữ Braille cho giáo viên bộ môn Toán và Sinh học.
  • Các nhà nghiên cứu AI & Computer Vision: Cung cấp tài liệu tham khảo chất lượng về bài toán Document Layout Analysis (DLA), Formula Recognition và Captioning trên phần cứng giới hạn tài nguyên.
  • Doanh nghiệp EdTech và Kỹ thuật hỗ trợ (Assistive Tech): Nền tảng kỹ thuật sẵn sàng để chuyển giao và thương mại hóa thành các sản phẩm kính thông minh thế hệ mới.

Câu hỏi thường gặp (FAQ)

1. Phát hiện và đột phá quan trọng nhất của nghiên cứu này là gì?

Điểm đột phá nhất là khả năng đọc và diễn giải chính xác công thức toán học cùng hình ảnh minh họa thành ngôn ngữ nói tự nhiên thông qua chuỗi Pix2Tex $\rightarrow$ MathML $\rightarrow$ SRE $\rightarrow$ TTS, điều mà các thiết bị đọc sách cho người khiếm thị hiện nay trên thị trường chưa làm được.

2. Phương pháp của nghiên cứu có gì vượt trội so với các ứng dụng OCR thông thường?

Các OCR thông thường (như Google Lens hay Tesseract đơn thuần) chỉ đọc văn bản phẳng theo luồng ngang và sẽ gặp lỗi nghiêm trọng khi gặp công thức nhiều tầng hoặc biểu đồ. Nghiên cứu này phân tách trang sách thành 5 vùng chuyên biệt bằng YOLOv8s-seg và áp dụng các thuật toán xử lý riêng cho từng loại đối tượng trước khi đồng bộ hóa thành luồng âm thanh hoàn chỉnh.

3. Mô hình có thể áp dụng cho các cấp học khác hoặc các môn học khác không?

Hoàn toàn có thể. Quy trình tiền xử lý, phân đoạn YOLOv8 và bộ giải mã MathML/SRE được thiết kế mang tính tổng quát. Khi mở rộng sang sách giáo khoa Vật lý, Hóa học hay các khối lớp khác, hệ thống chỉ cần bổ sung dữ liệu huấn luyện (Fine-tuning) cho tập nhãn chuyên ngành.

4. Những thách thức kỹ thuật cần giải quyết trong giai đoạn tiếp theo là gì?

Nhóm nghiên cứu cần tối ưu hóa độ trễ tính toán khi chạy inference các mô hình học sâu (như ViT và YOLO) trực tiếp trên chip nhúng của Raspberry Pi, cải thiện tốc độ phản hồi thời gian thực và tích hợp cảm biến khoảng cách/con quay hồi chuyển để tự động canh góc chụp tối ưu.

5. Khả năng ứng dụng vào sản phẩm thực tế như thế nào?

Giải pháp đã được chứng minh tính khả thi trên bộ đôi phần cứng Raspberry Pi 3 Model B+ và Camera Module V2 (Sony IMX219 8MP). Cấu trúc này hoàn toàn có thể thu nhỏ để tích hợp vào gọng kính thông minh có tai nghe dẫn truyền xương, phục vụ người dùng trong sinh hoạt và học tập hàng ngày.

Kết luận (Conclusion)

Đề tài nghiên cứu khoa học của nhóm sinh viên Khoa Công nghệ Thông tin - Trường Đại học Sư phạm TP.HCM đã giải quyết thành công một bài toán mang tính thời sự và nhân văn sâu sắc: Xây dựng giải pháp thị giác nhân tạo hỗ trợ học sinh khiếm thị đọc sách giáo khoa một cách toàn diện. Bằng việc kết hợp tinh tế giữa các mô hình học sâu tiên tiến (YOLOv8s-seg, Pix2Tex, Vision Transformer) và nền tảng máy tính nhúng Raspberry Pi, nghiên cứu đã chứng minh tính khả thi vượt trội trong việc số hóa và phát âm chuẩn xác cả văn bản, công thức toán lẫn hình ảnh trực quan.

Hướng phát triển tiếp theo của đề tài là tối ưu hóa mô hình bằng kỹ thuật lượng tử hóa (Quantization/TensorRT) để nâng cao tốc độ xử lý thời gian thực, đồng thời hoàn thiện thiết kế công thái học của chiếc kính thông minh nhằm sớm đưa sản phẩm vào phục vụ cộng đồng người khiếm thị tại Việt Nam.