Đồ án tốt nghiệp thiết bị đọc thông minh cho người khiếm thị tại Đại học Sư phạm Kỹ thuật TP.HCM

Nghiên cứu thiết kế thiết bị đọc thông minh hỗ trợ người khiếm thị ứng dụng công nghệ OCR, mô hình Whisper và trí tuệ nhân tạo trên nền tảng Raspberry Pi.

• Tác giả: Nguyễn Thanh Giang
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật máy tính
• Đề tài: Smart Reader for Blind People
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2026
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan thiết bị đọc thông minh cho người khiếm thị tại HCMUTE

Dự án nghiên cứu tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE) phát triển giải pháp hỗ trợ người khiếm thị tiếp cận tri thức. Thiết bị đọc thông minh được thiết kế nhằm xóa bỏ rào cản thông tin cho cộng đồng khiếm thị. Sinh viên ngành Công nghệ Kỹ thuật Máy tính đã triển khai mô hình phần cứng nhúng kết hợp phần mềm thông minh. Thiết bị hướng tới khả năng vận hành độc lập, gọn nhẹ và chi phí chế tạo hợp lý. Người khuyết tật thị giác gặp nhiều trở ngại lớn khi tiếp xúc với các tài liệu in ấn thông thường. Sách chữ nổi Braille chiếm diện tích lớn và có số lượng phát hành rất hạn chế trên thị trường. Thiết bị đọc thông minh tại HCMUTE giải quyết triệt để sự thiếu hụt này bằng giải pháp số hóa tức thì. Hệ thống chụp lại trang sách, phân tích cấu trúc ký tự và phát âm thanh qua loa ngoài. Sự kết hợp giữa bộ vi xử lý Raspberry Pi và mô hình ngôn ngữ lớn tạo ra phương thức tương tác tiện lợi. Thiết bị mở ra cơ hội bình đẳng trong học tập, nghiên cứu và sinh hoạt thường nhật cho người khiếm thị tại Việt Nam.

1.1. Bối cảnh nghiên cứu thiết bị trợ thị tại HCMUTE

Khoa Đào tạo Quốc tế tại HCMUTE thúc đẩy các đề tài tốt nghiệp phục vụ cộng đồng. Đề tài xuất phát từ nhu cầu thực tiễn của hàng triệu người khiếm thị. Việc tiếp cận văn bản in ấn vẫn là thách thức lớn đối với người mù. Phần lớn sách chuyên ngành và tài liệu học tập chưa được chuyển sang định dạng chữ nổi. Công nghệ trợ thị thương mại trên thế giới thường có giá thành rất cao. Người dùng trong nước khó tiếp cận do rào cản chi phí và ngôn ngữ tiếng Việt. Dự án tập trung phát triển thiết bị nội địa hóa với giá thành tối ưu. Nghiên cứu kết hợp kỹ thuật máy tính và trí tuệ nhân tạo để phục vụ mục tiêu nhân văn.

1.2. Mục tiêu kỹ thuật của hệ thống đọc văn bản thông minh

Hệ thống hướng tới việc chế tạo nguyên mẫu thiết bị đọc văn bản hoàn chỉnh. Mục tiêu kỹ thuật gồm ba chức năng cốt lõi. Thứ nhất là ghi lại hình ảnh tài liệu với độ phân giải cao và rõ nét. Thứ hai là trích xuất dữ liệu chữ viết tiếng Việt chính xác từ ảnh chụp. Thứ ba là chuyển đổi văn bản thành âm thanh đọc tự nhiên, rõ ràng. Thiết bị tích hợp thêm chế độ hỏi đáp kiến thức bằng mô hình ngôn ngữ lớn. Tốc độ phản hồi của hệ thống được tối ưu hóa để đảm bảo tính thời gian thực. Phần cứng được đóng gói nhỏ gọn, cho phép người dùng vận hành qua các nút bấm cơ học đơn giản.

II. Vấn đề của thiết bị đọc thông minh cho người khiếm thị tại HCMUTE

Quá trình nghiên cứu và chế tạo thiết bị hỗ trợ đọc đối mặt nhiều bài toán kỹ thuật phức tạp. Người khiếm thị không thể nhìn thấy vị trí trang giấy để căn chỉnh góc chụp chuẩn xác. Hình ảnh thu được từ camera thường gặp hiện tượng mờ nhòe, lệch góc hoặc thiếu sáng. Điều kiện chiếu sáng không đồng đều ảnh hưởng nghiêm trọng đến tỷ lệ nhận diện chữ viết. Thuật toán nhận dạng quang học truyền thống dễ xảy ra lỗi sai chính tả khi tài liệu bị cong vênh. Bên cạnh đó, việc xử lý dữ liệu phức tạp đòi hỏi năng lực tính toán phần cứng vượt trội. Bộ máy tính nhúng cần vận hành ổn định trong thời gian dài mà không bị quá nhiệt. Vấn đề năng lượng cũng đặt ra rào cản lớn đối với tính cơ động của máy. Các thiết bị ngoại vi như loa công suất lớn thường tiêu hao nguồn điện pin nhanh chóng. Hệ thống cần tối ưu hóa mức tiêu thụ năng lượng nhưng vẫn duy trì âm lượng âm thanh to rõ. Chi phí linh kiện cũng phải được kiểm soát chặt chẽ nhằm duy trì giá thành rẻ.

2.1. Thách thức nhận dạng quang học trong môi trường thực tế

Chất lượng đầu vào của camera ảnh hưởng trực tiếp đến kết quả nhận diện quang học OCR. Người khiếm thị không thể quan sát khung hình để điều chỉnh tài liệu vào trọng tâm. Trang sách thường bị nghiêng, biến dạng góc phối cảnh hoặc bị sấp bóng do bàn tay che chắn. Tài liệu in ấn thực tế có độ tương phản không đồng đều, font chữ đa dạng và kích thước chữ khác nhau. Các ký tự tiếng Việt với hệ thống dấu thanh phức tạp dễ bị đọc sai lệch. Tình trạng này làm suy giảm tính chính xác của nội dung khi xuất thành giọng đọc. Thuật toán tiền xử lý ảnh cần tự động cân chỉnh độ nghiêng và lọc nhiễu hiệu quả.

2.2. Hạn chế về phần cứng nhúng và giao diện phản hồi âm thanh

Việc tích hợp phần cứng trên một bo mạch máy tính mini gặp nhiều giới hạn vật lý. Nguồn điện cấp cho các cổng kết nối ngoại vi có công suất hạn chế. Loa thông thường đòi hỏi nguồn điện phụ trợ cồng kềnh, làm giảm tính di động của sản phẩm. Nếu không có bộ khuếch đại thích hợp, âm thanh phát ra quá nhỏ trong môi trường nhiều tiếng ồn. Người khiếm thị hoàn toàn phụ thuộc vào thính giác nên chất lượng âm thanh là yếu tố sống còn. Ngoài ra, việc điều khiển thiết bị không thể sử dụng màn hình cảm ứng hay bàn phím thông thường. Giao diện vật lý đòi hỏi thiết kế tối giản, dễ thao tác và có phản hồi tức thì.

III. Giải pháp thiết bị đọc thông minh cho người khiếm thị tại HCMUTE

Nhóm nghiên cứu tại HCMUTE xây dựng giải pháp tổng thể kết hợp hài hòa phần cứng và phần mềm. Trung tâm xử lý sử dụng bo mạch Raspberry Pi với hiệu năng tính toán cao. Hệ thống kết nối camera chuyên dụng để quét ảnh tài liệu với góc chụp cố định. Thuật toán xử lý ảnh số tự động nhận diện vùng văn bản, khử bóng và nâng cao độ tương phản. Dữ liệu văn bản sau khi trích xuất được chuyển qua công cụ tổng hợp giọng nói chất lượng cao. Đặc biệt, thiết bị tích hợp mô hình ngôn ngữ lớn GPT tiên tiến trong chế độ hỏi đáp. Người dùng đưa ra câu hỏi bằng giọng nói và nhận giải thích nội dung chi tiết. Về phần cứng âm thanh, dự án chọn loa Microlab B51 với thiết kế kẹp tiện lợi. Mẫu loa thanh này sử dụng nguồn điện trực tiếp năm vôn từ cổng USB của máy tính nhúng. Thiết kế này loại bỏ bộ chuyển đổi nguồn ngoài cồng kềnh, nâng cao tính cơ động. Mạch khuếch đại tích hợp giúp âm thanh phát ra to rõ, giúp người dùng nắm bắt thông tin chuẩn xác.

3.1. Kiến trúc phần cứng nhúng và tích hợp loa Microlab B51

Cấu trúc phần cứng được thiết kế theo dạng module hóa nhỏ gọn. Bo mạch Raspberry Pi đóng vai trò xử lý trung tâm mọi tác vụ. Khung gá cơ khí tích hợp camera tạo khoảng cách quét chuẩn xác tới bề mặt tài liệu. Loa Microlab B51 được gắn trực tiếp lên thân vỏ thiết bị bằng ngàm kẹp chuyên dụng. Thiết bị nhận tín hiệu âm thanh thông qua giắc cắm ba phẩy năm milimét tiêu chuẩn. Cáp nguồn USB lấy trực tiếp điện áp năm vôn từ bo mạch chính mà không cần adapter rời. Loa có giá thành phải chăng, chỉ khoảng mười hai đô la Mỹ, rất phù hợp với đề tài. Âm lượng phát ra đạt độ lớn cần thiết để sử dụng trong phòng học hoặc gia đình.

3.2. Ứng dụng trí tuệ nhân tạo và chuyển đổi văn bản giọng nói

Quy trình xử lý phần mềm bao gồm hai công đoạn trí tuệ nhân tạo nối tiếp. Trước tiên, mô hình thị giác máy tính trích xuất nội dung văn bản tiếng Việt từ ảnh chụp. Kế tiếp, công cụ tổng hợp tiếng nói Text-to-Speech chuyển dữ liệu ký tự thành giọng đọc tự nhiên. Điểm sáng của hệ thống nằm ở Chế độ 3 hỗ trợ hỏi đáp trực tiếp. Hệ thống tích hợp mô hình ngôn ngữ lớn ChatGPT nhằm phân tích ngữ nghĩa sâu của tài liệu. Khi người khiếm thị đặt câu hỏi về đoạn văn vừa quét, mô hình AI tự động tóm tắt ý chính và giải thích. Câu trả lời sau đó được phát âm qua loa, tạo thành trải nghiệm tương tác học tập thông minh.

IV. Ứng dụng thiết bị đọc thông minh cho người khiếm thị tại HCMUTE

Đề tài tốt nghiệp tại HCMUTE chứng minh tính khả thi của thiết bị trợ thị thế hệ mới. Sản phẩm kết hợp thành công công nghệ thị giác máy tính và trí tuệ nhân tạo trên phần cứng nhúng giá rẻ. Thiết bị có tiềm năng ứng dụng sâu rộng trong các trường học chuyên biệt, thư viện công cộng và hộ gia đình. Người khiếm thị có thể tự đọc báo, tài liệu học tập, hóa đơn sinh hoạt hoặc bao bì sản phẩm hàng ngày. Chức năng giải thích tài liệu qua trí tuệ nhân tạo mở ra phương pháp học tập chủ động và sáng tạo. Mô hình giúp người khuyết tật vượt qua rào cản xã hội để hòa nhập cộng đồng dễ dàng hơn. Trong tương lai, thiết bị có thể tiếp tục thu nhỏ kích thước vỏ hộp và cải tiến tốc độ nhận diện. Việc tích hợp các cảm biến siêu âm giúp định vị trang sách tự động sẽ nâng cao hơn nữa trải nghiệm người dùng. Công trình khẳng định tinh thần ứng dụng công nghệ phục vụ đời sống của sinh viên và giảng viên HCMUTE.

4.1. Khả năng hỗ trợ hòa nhập cộng đồng và giáo dục đặc biệt

Thiết bị đọc thông minh đóng vai trò công cụ trợ giảng đắc lực trong giáo dục hòa nhập. Học sinh khiếm thị có thể trực tiếp theo dõi sách giáo khoa mà không cần chuyển ngữ Braille thủ công. Thiết bị giúp người học chủ động tiếp thu kiến thức khoa học và ngoại ngữ thuận lợi hơn. Tại các thư viện, thiết bị hỗ trợ độc giả suy giảm thị lực tra cứu sách báo nhanh chóng. Trong sinh hoạt gia đình, người dùng dễ dàng kiểm tra nhãn thuốc men, thư từ cá nhân và hóa đơn tiêu dùng. Sự tự chủ này giảm bớt đáng kể sự phụ thuộc vào người chăm sóc xung quanh. Sản phẩm góp phần nâng cao chất lượng cuộc sống cho cộng đồng yếu thế.

4.2. Hướng phát triển và thương mại hóa thiết bị trợ thị giá rẻ

Nghiên cứu mở ra triển vọng thương mại hóa dòng sản phẩm trợ thị chi phí thấp tại Việt Nam. Hướng phát triển tiếp theo tập trung vào việc thiết kế bo mạch chuyên dụng thay thế máy tính nhúng phổ thông. Sự thay đổi này giúp giảm kích thước khung vỏ và tối ưu hóa thời lượng pin sử dụng. Đội ngũ nghiên cứu có thể tích hợp thêm kết nối mạng không dây tốc độ cao để cập nhật phần mềm từ xa. Ngoài ra, việc cải tiến thuật toán thị giác cục bộ trên vi điều khiển sẽ giảm bớt độ trễ mạng. Sản phẩm hoàn thiện hứa hẹn cung cấp giải pháp trợ thị hiệu quả với mức giá chỉ bằng một phần mười thiết bị ngoại nhập.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khả năng tiếp cận tài liệu in ấn đóng vai trò thiết yếu trong việc tiếp nhận tri thức và hòa nhập xã hội. Tuy nhiên, đối với người khiếm thị, việc đọc sách báo truyền thống vẫn là một rào cản lớn. Các giải pháp trợ năng truyền thống bộc lộ nhiều điểm hạn chế về tính linh hoạt và chi phí: hệ thống chữ nổi Braille đòi hỏi quy trình in ấn tốn kém, mất nhiều thời gian chuyển đổi và không phổ biến cho phần lớn các ấn phẩm hiện hành; trong khi đó, sự phụ thuộc vào người trợ giúp làm giảm tính độc lập trong sinh hoạt hàng ngày. Sự tiến bộ của hệ thống nhúng kết hợp với trí tuệ nhân tạo (AI) đã tạo tiền đề cho việc xây dựng các thiết bị hỗ trợ đọc tự động dựa trên camera, chuyển đổi trực tiếp văn bản in thành giọng nói.

Đề tài tốt nghiệp ngành Công nghệ Kỹ thuật Máy tính tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh do tác giả Nguyễn Thanh Giang thực hiện (dưới sự hướng dẫn của TS. Phạm Văn Khoa) tập trung thiết kế và hiện thực hóa thiết bị đọc thông minh "Smart Reader for Blind People" hoạt động trên nền tảng máy tính nhúng Raspberry Pi.

Hệ thống được xác định thực hiện 6 mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Thu nhận văn bản bằng camera (Camera-Based Text Acquisition): Xây dựng cơ chế chụp ảnh ổn định trên Raspberry Pi kết hợp mô-đun camera để phát hiện và trích xuất vùng văn bản từ sách hoặc tài liệu cầm tay trong nhiều điều kiện chiếu sáng và phông chữ khác nhau.
2. Xử lý OCR tin cậy (Robust OCR Processing): Tích hợp quy trình nhận dạng ký tự quang học (OCR) với độ chính xác cao nhằm chuyển đổi văn bản in thành dữ liệu số có thể xử lý được.
3. Phát âm thanh tự nhiên (Natural Speech Output): Hiện thực hóa hệ thống Text-to-Speech (TTS) sử dụng Google TTS kết hợp công cụ cục bộ (eSpeak), tích hợp cơ chế lưu đệm (caching) để giảm độ trễ cho các tác vụ đọc lặp lại.
4. Điều khiển tương tác qua nút bấm vật lý (Interactive Operation via Hardware Buttons): Thiết kế giao diện điều khiển xúc giác thông qua các nút bấm cơ học, cho phép người dùng khởi động, tạm dừng, tiếp tục hoặc dừng tác vụ mà không cần giao diện màn hình.
5. Tích hợp trí tuệ nhân tạo mở rộng (Optional AI Integration): Thiết lập chế độ mở rộng gửi ảnh chụp cùng khẩu lệnh của người dùng đến mô hình ngôn ngữ lớn (ChatGPT) để mô tả bối cảnh xung quanh, tóm tắt trang sách hoặc trả lời các câu hỏi theo ngữ cảnh.
6. Tối ưu hóa hiệu năng và khả năng tiếp cận (Efficiency and Accessibility): Đảm bảo thiết bị vận hành gọn nhẹ, chi phí thấp, có khả năng hoạt động ngoại tuyến đối với chức năng đọc cốt lõi và kết nối dịch vụ đám mây khi thực hiện tác vụ nâng cao.

Đối tượng nghiên cứu của đồ án là thiết bị hỗ trợ thị giác tích hợp phần cứng và phần mềm, chuyển đổi tài liệu in thành âm thanh và hỗ trợ giao tiếp ngữ cảnh. Phạm vi nghiên cứu giới hạn ở việc xử lý văn bản in ấn thông thường; các dạng chữ viết tay, bố cục văn bản đa cột phức tạp hoặc cơ chế tự động lật trang không nằm trong phạm vi giải quyết của đề tài. Các chức năng AI đàm thoại qua đám mây được định vị là tính năng bổ trợ tùy chọn, không thay thế quy trình đọc ngoại tuyến cục bộ.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng kỹ thuật dựa trên các lĩnh vực công nghệ xử lý tiếng nói, thị giác máy tính và mô hình ngôn ngữ lớn:

• Nhận dạng tiếng nói tự động (ASR/STT): Sử dụng mô hình Whisper-1 của OpenAI, được huấn luyện trên 680.000 giờ dữ liệu âm thanh đa ngôn ngữ. Tác giả khảo sát các kỹ thuật lượng tử hóa mô hình (INT4, INT5, INT8) trên cấu trúc WhisperCPP nhằm đánh giá sự đánh đổi giữa kích thước tệp, độ trễ và tỷ lệ lỗi từ (WER).
• Tổng hợp tiếng nói từ văn bản (TTS): Đánh giá các giải pháp TTS trên môi trường nhúng Linux/Raspberry Pi bao gồm pyttsx3, eSpeak/eSpeak NG, picoTTS, Coqui TTS và Google Text-to-Speech (gTTS).
• Thị giác máy tính và OCR: Triển khai nhận dạng ký tự quang học qua giao diện lập trình ứng dụng đám mây Google Cloud Vision API (tính năng DOCUMENT_TEXT_DETECTION tại endpoint /v1/images:annotate), đồng thời đối chuẩn với các thư viện mã nguồn mở cục bộ như EasyOCR và Pytesseract.
• Mô hình ngôn ngữ lớn đa phương thức: Tích hợp mô hình gpt-5-nano thuộc hệ hình GPT-5 của OpenAI. Mô hình hỗ trợ đa phương thức (văn bản và hình ảnh), sở hữu ngữ cảnh lên đến 400.000 token, chi phí xử lý định mức 0,05 USD/1 triệu token đầu vào (0,005 USD đối với token bộ nhớ đệm) và 0,40 USD/1 triệu token đầu ra.

Phương pháp nghiên cứu thực hiện qua 5 giai đoạn có tính kế thừa:

1. Phân tích yêu cầu: Xác định nhu cầu người khiếm thị, quy định chỉ số phần cứng, độ chính xác nhận dạng và tính độc lập khi mất kết nối mạng.
2. Thiết kế hệ thống: Xây dựng kiến trúc phần cứng, sơ đồ máy trạng thái (FSM), mô hình hàng đợi âm thanh FIFO và cơ chế chuyển đổi chế độ.
3. Hiện thực hóa: Ghép nối các khối linh kiện trên Raspberry Pi 4; lập trình đa luồng bằng Python; cấu hình giao tiếp V4L2/OpenCV, ALSA, GPIO interrupt và gọi API đám mây.
4. Đánh giá thực nghiệm: Thu thập dữ liệu thử nghiệm độ trễ, kiểm tra tỷ lệ nhận dạng ký tự/từ trên văn bản tiếng Việt từ các cảm biến máy ảnh khác nhau, ghi nhật ký giao dịch API và lượng token tiêu thụ.
5. Tối ưu hóa: Tích hợp bộ nhớ đệm âm thanh (audio caching), tinh chỉnh tiền xử lý ảnh và thiết lập quy trình giải phóng tài nguyên.

Dữ liệu thực nghiệm được thu thập trực tiếp từ việc chụp các tài liệu in ấn thực tế bằng hai mô-đun camera (Logitech C270 và OV5640 5MP), các tệp ghi âm giọng nói qua micro USB và nhật ký định dạng CSV ghi nhận độ trễ hệ thống.

Thiết kế và triển khai

Hệ thống Smart Reader được cấu trúc thành các khối phần cứng chuyên dụng do Khối xử lý trung tâm (Raspberry Pi 4 Model B) điều phối, vận hành bằng nguồn điện một chiều ổn định 5 V / 3 A.

Khối chức năng	Linh kiện / Công nghệ	Đặc tính kỹ thuật và vai trò
Xử lý trung tâm	Raspberry Pi 4 Model B	Điều phối luồng dữ liệu, thực thi chương trình Python, quản lý luồng ngắt GPIO và xử lý hàng đợi
Thu nhận hình ảnh	Mô-đun OV5640 5MP USB (loại C - Fixed-Focus)	Cảm biến CMOS 1/4 inch, khẩu độ F2.29, góc nhìn FOV 68°, độ phân giải tĩnh 2592 × 1944, giao tiếp UVC qua USB 2.0 (chi phí ~33 USD)
Thu nhận âm thanh	Mini USB Microphone MI-305	Micro kỹ thuật số đa hướng, nguồn 4.2 V DC, độ nhạy -67 dBV/pBar (-47 dBV/Pa ± 4 dB), dải tần 100–16.000 Hz, tương thích driver ALSA (chi phí ~2 USD)
Phát âm thanh	Loa Microlab B51 USB Stereo	Dạng soundbar kẹp màn hình, nhận nguồn 5 V từ cổng USB, truyền tín hiệu qua giắc cắm âm thanh 3.5 mm (chi phí ~12 USD)
Giao tiếp xúc giác	3 nút bấm cơ học (Active-low)	Nối chân GPIO với GND, sử dụng điện trở kéo lên nội vi (internal pull-up) 3.3 V và kích hoạt ngắt cạnh xuống (falling-edge interrupt)
Kết nối mạng	Mô-đun Wi-Fi tích hợp	Truyền nhận dữ liệu qua giao thức HTTPS đến Google Cloud Vision API, OpenAI Whisper-1 và GPT-5-nano

Kiến trúc phần mềm được thiết kế theo mô hình máy trạng thái hữu hạn (Finite-State Machine - FSM) điều khiển bằng sự kiện kết hợp xử lý đa luồng (multithreading):

• Cơ chế chuyển đổi trạng thái: Khi khởi động, hệ thống vào trạng thái Chờ (Idle State). Nút bấm 1 kích hoạt trạng thái Chọn chế độ (Mode Select State). Tại đây, người dùng bấm Nút 1 để vào Chế độ đọc sách (Read Book Mode), Nút 2 để vào Chế độ mô tả bối cảnh (Sense Mode), hoặc Nút 3 để vào Chế độ hỏi đáp (Q&A Mode). Nhấn giữ lâu (long press) Nút 3 ở bất kỳ chế độ nào sẽ cưỡng bức hệ thống quay lại trạng thái Chọn chế độ.
• Quy trình chống xung đột âm thanh: Để loại bỏ tình trạng phát chồng chéo âm thanh, toàn bộ dữ liệu phát âm được đẩy vào một hàng đợi duy nhất (FIFO audio queue) do một luồng phát chuyên biệt quản lý. Luồng này khởi tạo tiến trình phát ngoài và lưu giữ mã định danh tiến trình để có thể hủy ngang lập tức khi có lệnh ngắt ưu tiên cao (ví dụ: người dùng bấm dừng hoặc gửi câu hỏi mới giữa lúc đang đọc).
• Hệ thống lưu đệm (Caching): Tên tệp âm thanh được ánh xạ tất định từ nội dung văn bản và mã ngôn ngữ. Trước khi gửi yêu cầu tổng hợp âm thanh đến dịch vụ đám mây, hệ thống kiểm tra bộ nhớ cục bộ để tái sử dụng tệp có sẵn, giúp cắt giảm đáng kể độ trễ và lưu lượng mạng.
• Âm thanh phản hồi trạng thái: Trong suốt thời gian chờ phản hồi từ các API đám mây (OCR, ASR, LLM), hệ thống kích hoạt luồng phát tiếng bíp chu kỳ hoặc âm "Processing..." để báo hiệu trạng thái hoạt động cho người khiếm thị.

Nội dung chính theo từng chương

Chapter 1: Introduction

Chương mở đầu trình bày động lực nghiên cứu bắt nguồn từ những khó khăn trong việc tiếp cận tài liệu in ấn của người khiếm thị. Tác giả phân tích tính bất khả thi của chữ Braille đối với việc đọc báo, tài liệu mới xuất bản hàng ngày do chi phí in dập cao và thời gian chuyển đổi kéo dài. Chương này xác định rõ 6 mục tiêu thiết kế hệ thống, phương pháp nghiên cứu 5 bước và phạm vi thực nghiệm tập trung vào văn bản in, điều khiển bằng nút bấm vật lý trên nền tảng nhúng Raspberry Pi kết hợp tính năng mở rộng AI.

Chapter 2: Background & Key Technologies

Chương hai cung cấp cơ sở lý thuyết chi tiết và các kết quả khảo sát thực nghiệm đối chuẩn công nghệ:

• Công nghệ STT: Khảo sát mô hình Whisper-1 và tác động của lượng tử hóa mô hình qua thư viện WhisperCPP. Kết quả kiểm nghiệm cho thấy phương pháp lượng tử hóa INT4 giúp giảm gần 69% dung lượng mô hình so với bản gốc và đạt tỷ lệ lỗi từ (WER) thấp nhất, với độ trễ xử lý trung bình đạt 10,02 giây. Phân tích chi tiết thời gian tính toán cho thấy công đoạn mã hóa (encoding) chiếm tỷ trọng lớn nhất trên CPU (đạt 4604,49 ms/lần chạy), chi phối tổng thời gian thực thi.
• Đối chuẩn công nghệ TTS trên Raspberry Pi:

Công nghệ	Hỗ trợ tiếng Việt	Tốc độ xử lý	Chất lượng âm thanh	Chế độ hoạt động	Ghi chú kỹ thuật
pyttsx3	Một phần	Nhanh	Thấp - Trung bình	Cục bộ (Offline)	Thư viện bọc eSpeak/SAPI, giọng máy móc, thiếu tự nhiên
eSpeak / eSpeak NG	Có	Rất nhanh	Thấp	Cục bộ (Offline)	Tổng hợp theo formant, âm thô cứng, khó nghe câu dài
picoTTS	Không	Rất nhanh	Trung bình	Cục bộ (Offline)	Dung lượng rất nhỏ, âm thanh rõ nhưng không hỗ trợ tiếng Việt
gTTS (Google TTS)	Có	Chậm	Cao	Đám mây (Online)	Dựa trên mạng nơ-ron sâu WaveNet/Neural2, giọng tự nhiên, độ trễ phụ thuộc mạng
Coqui TTS	Không	Rất chậm	Rất cao	Cục bộ (Offline)	Dựa trên Tacotron2/Glow-TTS, CPU Raspberry Pi xử lý 10 từ mất 1 phút 6 giây

Kết luận khảo sát: gTTS được lựa chọn làm công cụ phát âm thanh chính nhờ chất lượng tiếng Việt tự nhiên, kết hợp eSpeak làm phương án dự phòng khi mất kết nối.

• Tích hợp LLM và GPT-5: Trình bày lịch sử phát triển dòng mô hình OpenAI từ GPT-3.5 đến GPT-5. Hệ thống lựa chọn tích hợp biến thể gpt-5-nano nhờ khả năng tiếp nhận đồng thời ảnh và văn bản, cửa sổ ngữ cảnh 400.000 token, chi phí vận hành thấp (0,05 USD/1M token đầu vào, 0,40 USD/1M token đầu ra).
• Đối chuẩn công nghệ OCR trên Raspberry Pi:

Tiêu chí	EasyOCR	Pytesseract	Google Cloud Vision API
Độ chính xác tiếng Việt	Trung bình (≈ 70–75%)	Thấp (≈ 55–65%)	Rất cao (≈ 92–96%)
Xử lý dấu tiếng Việt	Chấp nhận được	Kém	Xuất sắc
Tốc độ OCR trên Pi	Nhanh	Trung bình	Nhanh (xử lý trên đám mây)
Yêu cầu phần cứng	Trung bình	Thấp	Rất thấp (chỉ gửi ảnh)
Độ ổn định với ảnh mờ/nhiễu	Trung bình	Thấp	Rất cao
Yêu cầu Internet	Không	Không	Có
Mức độ tin cậy chung	Trung bình	Thấp	Rất cao

Google Cloud Vision API được chọn làm mô-đun nhận dạng cốt lõi nhằm giải quyết bài toán dấu tiếng Việt phức tạp và độ phân giải hạn chế của camera.

Chapter 3: System Design and Implementation

Chương ba mô tả chi tiết yêu cầu kỹ thuật và hiện thực hóa các khối chức năng:

• Yêu cầu hệ thống: Ba chế độ làm việc (Mode 1: Đọc sách; Mode 2: Mô tả cảnh vật; Mode 3: Hỏi đáp đàm thoại). Quản lý ngắt nút bấm (nhấn nhanh để đọc/chụp, nhấn giữ để hủy/đổi trạng thái), hàng đợi âm thanh nối tiếp và ghi nhật ký hệ thống (CSV).
• Thiết kế phần cứng: Phân tích chi tiết thông số kỹ thuật và mạch đấu nối của Camera OV5640 5MP USB (cố định góc chụp xuống trang sách hoặc hướng về phía trước), Micro USB MI-305 kết nối ALSA, Loa kẹp Microlab B51 kết nối giắc 3.5 mm và cấp nguồn 5 V qua USB, cùng mạch nút bấm active-low chống dội (debounce).
• Lưu đồ hoạt động phần mềm: Xây dựng thuật toán cho từng chế độ:
  • Read book mode: Bấm nút → Camera chụp ảnh → Tiền xử lý (OpenCV) → Gửi Base64 đến Google Vision API → Nhận diện khối văn bản → Tách chuỗi đưa vào Audio Queue → gTTS phát âm thanh qua Loa.
  • Sense mode: Chuyển Mode 2 → Chụp bối cảnh → Gửi ảnh kèm prompt chuyên biệt đến GPT-5-nano → Nhận chuỗi mô tả ngắn gọn → gTTS chuyển ngữ thành giọng nói.
  • Q&A mode: Nhấn giữ micro → Thu âm PCM → Gửi tệp âm thanh đến Whisper-1 → Nhận văn bản câu hỏi → Chuyển tiếp tới GPT-5-nano (kèm ảnh chụp nếu là chế độ hỏi đáp dựa trên ảnh) → Phát âm phản hồi qua loa.

Chapter 4 & 5: Implementation, Results and Evaluation

Tài liệu tích hợp các kết quả kiểm thử thực tế và thông số vận hành:

• Hiệu năng trích xuất hình ảnh: Thử nghiệm so sánh chất lượng chụp ảnh giữa camera giá rẻ Logitech C270 (1280 × 960) và mô-đun OV5640 5MP (1280 × 960 / 2592 × 1944). Mô-đun OV5640 mang lại sự cải thiện vượt bậc về khả năng nhận dạng: độ chính xác ký tự đạt xấp xỉ 90%, độ chính xác mức từ đạt xấp xỉ 88%, và độ chính xác nhận diện dấu thanh tiếng Việt đạt xấp xỉ 85%.
• Hiệu năng gTTS và thời gian xử lý: Quá trình tổng hợp tiếng Việt qua đám mây phụ thuộc vào mạng, tuy nhiên cơ chế lưu đệm giúp tái phát tức thì các câu lệnh hướng dẫn và văn bản trùng lặp.
• Kết quả Sense Mode và cấu hình Prompt: Khảo sát phản hồi của mô hình ngôn ngữ lớn qua ba định dạng cấu trúc câu trả lời: Rút gọn (Brief), Chi tiết (Detail), và Dạng danh sách (List), phục vụ các nhu cầu thông tin khác nhau của người dùng.
• Hiệu năng ASR Whisper-1: Đánh giá mối quan hệ tuyến tính giữa độ dài đoạn âm thanh đầu vào và thời gian xử lý của mô hình, đảm bảo tính khả thi trong tương tác hội thoại thực tế.

Chapter 6: Summary and Future Work

Tổng kết mức độ hoàn thành mục tiêu thiết kế phần cứng và phần mềm, chỉ ra các giới hạn hiện tại về phần cứng nhúng và vạch ra các hướng phát triển kỹ thuật tiếp theo.

Kết quả và đóng góp

Khóa luận đã chế tạo thành công mẫu thử nghiệm thiết bị Smart Reader với các kết quả thực nghiệm định lượng cụ thể:

• Độ chính xác nhận dạng văn bản: Sự kết hợp giữa camera OV5640 5MP và Google Cloud Vision API giúp hệ thống đạt độ chính xác ký tự ≈ 90%, độ chính xác từ ≈ 88%, và độ chính xác đối với dấu thanh tiếng Việt đạt ≈ 85%, giải quyết được khiếm khuyết nhận dạng sai lệch ký tự đặc thù của tiếng Việt trên các thư viện mã nguồn mở cục bộ (Pytesseract chỉ đạt 55–65%, EasyOCR đạt 70–75%).
• Kiến trúc phần mềm tối ưu cho tiếp cận xúc giác - thính giác: Hiện thực hóa thành công cấu trúc máy trạng thái kết hợp hàng đợi âm thanh FIFO đơn luồng. Thiết kế này loại trừ hoàn toàn hiện tượng chồng âm, cho phép ngắt tiến trình phát khi có sự kiện ưu tiên cao, và cung cấp phản hồi liên tục qua tín hiệu âm thanh để người khiếm thị tự tin thao tác mà không cần nhìn màn hình.
• Tích hợp mô hình AI đa phương thức chi phí thấp: Tận dụng thành công mô hình gpt-5-nano cho các tác vụ hiểu ngữ cảnh thị giác và trả lời câu hỏi với chi phí token tối thiểu (0,05 USD/1M token đầu vào), cho phép mở rộng chức năng từ một máy đọc văn bản đơn thuần thành trợ lý nhận biết môi trường xung quanh.
• Đóng góp kỹ thuật: Cung cấp một phương án thiết kế hệ thống hoàn chỉnh, khả thi về mặt kinh tế (tận dụng các linh kiện phần cứng giá rẻ như micro 2 USD, loa 12 USD, camera 33 USD), dung hòa được bài toán giữa năng lực tính toán hạn chế của Raspberry Pi và khả năng xử lý thông minh từ điện toán đám mây.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế kỹ thuật dựa trên phạm vi nghiên cứu và điều kiện thử nghiệm thực tế:

• Hạn chế:
  • Hệ thống chỉ nhận dạng được văn bản in ấn trên mặt phẳng, chưa hỗ trợ chữ viết tay hoặc xử lý tài liệu có cấu trúc cột báo phức tạp.
  • Phụ thuộc vào kết nối Internet đối với các tính năng nhận dạng độ chính xác cao (Google Cloud Vision), giọng đọc tự nhiên (gTTS), nhận dạng giọng nói (Whisper-1) và suy luận ngữ cảnh (GPT-5-nano).
  • Chưa trang bị cơ chế tự động lật trang hoặc cố định góc nhìn động khi người dùng cầm sách bị rung lắc.
  • Mô hình ngôn ngữ kích thước nhỏ (gpt-5-nano) có độ sâu suy luận hạn chế hơn các bản đầy đủ và tiềm ẩn nguy cơ xuất hiện ảo giác thông tin (hallucination).
• Hướng nghiên cứu tiếp:
  • Tích hợp các mô hình nơ-ron cục bộ đã tối ưu hóa/lượng tử hóa sâu để thực hiện OCR và TTS tự nhiên hoàn toàn ngoại tuyến mà không cần Internet.
  • Bổ sung cơ cấu chấp hành tự động lật trang tài liệu và thuật toán xử lý bố cục trang phức tạp.
  • Nâng cấp khả năng hỗ trợ đa ngôn ngữ và tối ưu hóa thời gian xử lý mạng để giảm thiểu độ trễ tương tác.

Giá trị tham khảo

Đề tài cung cấp tài liệu kỹ thuật có giá trị thực tiễn cao cho:

• Đối tượng thụ hưởng: Sinh viên, học viên và kỹ sư thuộc các ngành Công nghệ Kỹ thuật Máy tính, Hệ thống Nhúng, Khoa học Máy tính và Kỹ thuật Điện tử đang nghiên cứu các giải pháp công nghệ trợ năng (assistive technology) hoặc ứng dụng AI biên (Edge AI).
• Nội dung tham khảo trọng tâm:
  • Quy trình thiết kế mạch giao tiếp phần cứng (camera USB UVC, micro ALSA, loa USB, nút bấm GPIO ngắt cạnh xuống) trên Raspberry Pi 4.
  • Mô hình phần mềm quản lý hàng đợi âm thanh FIFO chống xung đột và cơ chế xử lý ngắt bằng máy trạng thái hữu hạn.
  • Các bảng số liệu đối chuẩn thực nghiệm chi tiết về độ trễ, kích thước mô hình sau lượng tử hóa (WhisperCPP) và tỷ lệ chính xác OCR tiếng Việt giữa các nền tảng đám mây và mã nguồn mở.

Câu hỏi thường gặp

Thiết bị sử dụng mô-đun camera nào và tại sao không chọn camera chuẩn CSI của Raspberry Pi?

Khóa luận lựa chọn mô-đun OV5640 5MP USB Camera (loại C - Fixed-Focus) với giá khoảng 33 USD. So với các camera chuẩn CSI chính hãng của Raspberry Pi, mô-đun này có giá thành thấp hơn đáng kể nhưng vẫn đảm bảo độ phân giải tĩnh 2592 × 1944, chuẩn giao tiếp UVC tự nhận diện qua cổng USB 2.0 mà không cần cài thêm driver, đồng thời mang lại độ chính xác nhận dạng văn bản tiếng Việt đạt xấp xỉ 90% (vượt trội so với camera Logitech C270).

Chi phí và thông số kỹ thuật của mô hình ngôn ngữ GPT-5-nano được tích hợp như thế nào?

Mô hình gpt-5-nano được tích hợp trong Chế độ mô tả bối cảnh và Chế độ hỏi đáp. Mô hình hỗ trợ đầu vào đa phương thức (văn bản và hình ảnh Base64), kích thước cửa sổ ngữ cảnh đạt khoảng 400.000 token. Mức chi phí định mức được công bố trong tài liệu là 0,05 USD cho mỗi 1 triệu token đầu vào (giảm xuống 0,005 USD đối với token bộ nhớ đệm) và 0,40 USD cho mỗi 1 triệu token đầu ra.

Hệ thống giải quyết vấn đề trễ và phụ thuộc Internet của dịch vụ Google TTS (gTTS) bằng cách nào?

Hệ thống áp dụng cơ chế lưu đệm âm thanh tất định: mỗi đoạn văn bản và mã ngôn ngữ được chuyển đổi thành một khóa định danh để lưu tệp âm thanh cục bộ. Khi phát lại nội dung cũ, hệ thống phát ngay từ bộ nhớ đệm mà không cần gửi yêu cầu lên mạng. Đồng thời, hệ thống tích hợp công cụ tổng hợp giọng nói ngoại tuyến (như eSpeak) để làm phương án dự phòng khi mất kết nối Internet.

Cơ chế chống phát chồng chéo âm thanh được tổ chức ra sao trong mã nguồn?

Tất cả các luồng tạo âm thanh (từ OCR, TTS, AI phản hồi hay âm thông báo) đều đẩy tệp âm thanh vào một hàng đợi duy nhất (FIFO queue). Một luồng phát âm thanh chuyên biệt sẽ tuần tự lấy từng tệp ra thực thi bằng một tiến trình phụ bên ngoài. Luồng này nắm giữ định danh tiến trình phát để có thể dừng ngay lập tức khi nhận được tín hiệu ngắt từ nút bấm hoặc câu lệnh ưu tiên mới.

Ba chế độ hoạt động chính của thiết bị khác nhau như thế nào về mặt luồng dữ liệu?

Chế độ 1 (Đọc sách) sử dụng Camera chụp tài liệu, gửi qua Google Cloud Vision API để bóc tách văn bản rồi chuyển thẳng qua gTTS phát ra loa. Chế độ 2 (Mô tả cảnh vật) chụp bối cảnh môi trường và gửi ảnh kèm lời nhắc tới GPT-5-nano để mô tả ngữ cảnh bằng câu văn tự nhiên trước khi phát âm. Chế độ 3 (Hỏi đáp) thu âm câu hỏi qua micro USB MI-305, dùng Whisper-1 chuyển thành văn bản, sau đó chuyển tới GPT-5-nano (kèm hoặc không kèm ảnh chụp) để sinh câu trả lời thông minh qua loa.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Thanh Giang đã thiết kế và thử nghiệm thành công thiết bị Smart Reader hỗ trợ người khiếm thị dựa trên Raspberry Pi 4 kết hợp xử lý AI biên và dịch vụ đám mây. Hệ thống dung hòa hiệu quả giữa yêu cầu điều khiển xúc giác trực quan, cơ chế âm thanh tuần tự chống xung đột và khả năng nhận dạng tiếng Việt chính xác cao nhờ Google Cloud Vision và camera OV5640 5MP. Mặc dù còn phụ thuộc vào kết nối mạng cho các tính năng nâng cao, công trình đã đặt nền tảng kỹ thuật vững chắc cho việc phát triển các thiết bị trợ thị chi phí thấp, giàu tính năng và có tính ứng dụng thực tế cao.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT SMART READER FOR BLIND PEOPLE NGUYEN THANH GIANG Student ID: 21119304 Major: COMPUTER ENGINEERING TECHNOLOGY Advisor: PHAM VAN KHOA, PhD. Ho Chi Minh City January 2026 2025 DISCAIMER This graduation thesis was completed in partial fulfillment of the requirements for the bachelor’s degree at Ho Chi Minh City University of Technology and Education. The work presented in this thesis is the result of the author’s independent research and development on the topic of designing and implementing a smart assistive reading system for visually impaired users, conducted under the supervision of Dr. Pham Van Khoa.

Every effort has been made to ensure the accuracy, completeness, and clarity of the technical content, system design, experimental results, and analyses presented in this thesis. All external resources, including algorithms, software libraries, hardware components, datasets, and scientific references used in this work, have been properly cited and acknowledged in accordance with academic integrity and ethical research standards. The interpretations, analyses, and conclusions expressed in this thesis are solely those of the author and do not necessarily reflect the official views, policies, or positions of Ho Chi Minh City University of Technology and Education, its faculty members, or any affiliated organizations. This thesis is intended strictly for academic and educational purposes and does not constitute professional, medical, or industrial advice.

The author does not guarantee the completeness, precision, reliability, or suitability of the methodologies, software implementations, hardware configurations, or system performance described in this thesis for any specific real-world application. Any use of or reliance on the content of this thesis is undertaken entirely at the user’s own risk. The university and the supervising faculty disclaim any responsibility for errors, omissions, or consequences arising from the application of this research in practical systems. It should be noted that the experimental results and system evaluations presented in this thesis were conducted under controlled conditions.

Performance may vary when deployed in different hardware environments, network conditions, or real-world usage scenarios, and may require further testing, optimization, and validation. The author encourages future researchers and practitioners to critically assess, reproduce, and extend the methods and findings presented in this thesis. The author reserves the right to revise or update the content of this thesis and assumes no liability for any unintended inaccuracies or subsequent use of the material herein. v ACKNOWLEDGEMENT First and foremost, I would like to express my deepest gratitude to my supervisor, Dr.

Pham Van Khoa, for his invaluable guidance, continuous support, and dedicated supervision throughout the entire duration of this graduation thesis. His profound knowledge, insightful feedback, and constructive suggestions played a vital role in shaping the research direction and significantly improving the technical quality of this work. I would also like to extend my sincere appreciation to the lecturers and staff of Ho Chi Minh City University of Technology and Education for providing essential academic resources, laboratory facilities, and a supportive learning environment that facilitated the successful completion of this project. My heartfelt thanks go to my classmates and fellow students for their encouragement, constructive discussions, and shared learning experiences during the research process.

Their support and collaboration were especially valuable during challenging stages of the project. Finally, I am deeply grateful to my family and friends for their unconditional love, patience, and unwavering support. Their constant encouragement and understanding have been a major source of motivation, enabling me to overcome difficulties and complete this thesis successfully. This graduation thesis would not have been possible without the guidance, support, and contributions of all those mentioned above.

vi TABLE OF CONTENTS CHAPTER 1: INTRODUCTION. Objectives and Motivation. Methodology and Report Structure. Subject and scope of the research.

4 CHAPTER 2: BACKGROUND & KEY TECHNOLOGIES. Speech-to-Text Technologies .1 Overview of Speech Recognition Approaches .2 Whisper-1 Speech Recognition Model .3 Text-to-Speech Technology .1 Overview of Text-to-Speech Approaches .2 Comparision of Text-to-Speech Technologies Used on Raspberry. Large Language Model Integration. Computer Vision and OCR.

Introduction to Computer Vision and OCR. Overview of Google Cloud Vision API. OCR Workflow in Real Usage .4 Comparison of OCR Technologies Used on Raspberry Pi. 28 CHAPTER 3: SYSTEM DESIGN AND IMPLEMENTATION.

SYSTEM REQUIREMENTS AND BLOCK DIAGRAM. Block diagram and function of each block. Calculate and design hardware systems. Central processing block .3 FUNCTIONS AND OPERATION OF THE SOFTWARE .1 Read book mode flowchart .2 Sense mode flowchart.

Question and Answer Mode flowchart .2 Results of Read Book Mode .1 OCR and Text Processing Results .2 gTTS Performance and Latency .3 Results of Sense Mode .1 Scene Description in Different Modes.2 Custom Prompt Description Results .4 Results of Question & Answer Mode .1 Audio-only and Image-based Q&A .2 Speech to Text Whisper-1 performance. 75 CHAPTER 5: SUMMARY AND FUTURE WORK. 80 viii LIST OF FIGURES Figure 2. Overview Smart Reader For Blink People.

State Transition Diagram of the Reading System. Mode Transition Using Long Press on Button 3. TTS and Audio Playback Pipeline. Optical Character Recognition flow.

OV5640 5MP USB Camera. Mini USB Microphone MI-305. How to connect low level active button. Raspberry pi 4 model B.

Raspberry pi 4 model B Pinout. Raspberry pi 4 Model B power supply. Read book mode flowchart. Sense mode flowchart.

Question and Answer Mode flowchart. Smart Reader Hardware Setup. Image captured by camera Logitech C270 ( resolution 1280 x 960 ). Image captured by OV5640 Camera Module ( 1280 x 960 ).

Google Cloud OCR Latency. Image captured for Sense Mode. Image for sense mode - user custom prompt. Whisper-1 processing time compared to input audio length.

Relationship between total token count and response latency. 76 ix LIST OF TABLE Table 2. WER, model size, and latency based on quantization method. Performance Across Hardware Platforms.

Summary Comparison of TTS Technologies on Raspberry Pi. ChatGPT released models. OCR Technologies Used on Raspberry Pi. Mini USB Microphone MI-305.

Micro lab B51 specification. Official Raspberry Pi power supplies specification. Detailed Power Consumption of System Components. OCR Results from Logitech C270 and OV5640.

OCR and Text Processing Results. OCR and Text Processing Average Results. ChatGPT reponse in three modes : Brief, Detail, List. ChatGPT reponse with different user prompts.

72 x LIST OF ABBREVIATIONS AI Artificial Intelligence API Application Programming Interface ASR Automatic Speech Recognition CSI Camera Serial Interface GPT Generative Pre-trained Transformer GUI Graphical User Interface HTTP HyperText Transfer Protocol JSON JavaScript Object Notation OCR Optical Character Recognition OS Operating System Pi Raspberry Pi TTS Text-to-Speech USB Universal Serial Bus Wi-Fi Wireless Fidelity xi ABSTRACT This thesis reports the design, implementation, and evaluation of a portable Smart Reader for visually impaired users, built on a Raspberry Pi platform. The device captures page or scene images with a camera, performs Optical Character Recognition (OCR) to extract printed text, and delivers the content through a serialized Text-to-Speech (TTS) pipeline; core reading functions are designed to operate locally while optional cloud services provide enhanced capabilities. Beyond basic reading, the system supports two interactive modes: a voice-only Q&A mode (audio recorded and transcribed by an ASR component) and an image-aware Q&A mode that submits captured images together with user prompts to a multimodal language model for contextual description and question answering. The software architecture uses a state-machine model, multithreaded workers, an audio playback queue with interruption semantics, and caching to ensure responsive, non-overlapping audio feedback.

Implementation choices include Google Cloud Vision for high-accuracy OCR, gTTS as primary TTS with offline fallbacks, Whisper-1 for speech transcription, and a lightweight GPT-5-nano variant for multimodal reasoning. Experimental results show that using the OV5640 camera yields substantially improved OCR performance (character-level accuracy ≈ 90%, word-level ≈ 88%, Vietnamese diacritics recognition ≈ 85%) compared to a low-cost Logitech module, while trade-offs remain between cloud latency and offline robustness. Overall, this work demonstrates a low-cost, extensible assistive solution that balances offline reliability with AI-enhanced features, and proposes directions for further optimization and field validation. xii CHAPTER 1: INTRODUCTION 1.

Project Overview Reading printed documents is a fundamental way to acquire information, yet it remains a major challenge for people with visual impairments. Traditional solutions such as Braille or human assistance are either slow, costly, or impractical for daily and spontaneous reading needs. Although Braille is a powerful writing system, converting books and newspapers into Braille is time-consuming and unavailable for most modern printed materials. Therefore, a portable, automatic system that can help visually impaired users read printed text independently is essential.

With the development of embedded systems and artificial intelligence, camera-based reading devices have become feasible. In this project, a Raspberry Pi-based system is developed to capture images of documents, extract text using Optical Character Recognition (OCR), and convert the recognized text into speech using Text-to-Speech (TTS) engines such as Google TTS or eSpeak. All interactions are controlled using physical buttons and audio feedback, allowing blind users to operate the device without a screen. This “reading mode” operates locally and does not require internet connectivity to function.

Although the core function is to read printed text aloud, the system also supports an extended interaction mode that uses ChatGPT. Through this mode, the user can capture an image and ask questions about it; the image is sent to the language model as base64 along with a prompt. ChatGPT can then describe the scene, summarize the page, or answer specific questions about the content. This capability is not required for basic reading, but it enhances the system by allowing intelligent visual understanding and conversational assistance.

By combining OCR, TTS, and optional ChatGPT-based visual question answering, the proposed system bridges the gap between traditional assistive tools and modern AI. It provides blind users not only with the ability to read books independently but also to understand images and ask contextual questions when needed. Objectives and Motivation The overarching objective of this project is to design and implement a portable assisting system that allows visually impaired users to read printed documents independently by converting captured images into speech, while ensuring ease of use, reliability, and extensibility for AI-based enhancements. To achieve this goal, the following specific objectives have been established: 1 • Camera-Based Text Acquisition: Develop a stable image capturing mechanism using Raspberry Pi and a camera module to accurately detect and extract text regions from books or handheld documents, even under varying lighting conditions, font styles, or backgrounds.

• Robust OCR Processing: Integrate an Optical Character Recognition (OCR) pipeline capable of recognizing printed text with high accuracy and converting it into machine-readable format for subsequent audio output. • Natural Speech Output: Implement a Text-to-Speech (TTS) system using Google TTS or local engines (e., eSpeak) to generate clear and natural audio feedback, with support for caching to reduce delay and repeated processing. • Interactive Operation via Hardware Buttons: Design an intuitive control interface based on physical buttons that enables users to start reading, pause, resume, or stop the process without visual interaction. • Optional AI Integration (ChatGPT-based Enhancement): Enable an extended mode where captured images can be combined with user speech prompts and sent to a language model (ChatGPT) to describe scenes, summarize content, or answer context-based questions.

• Efficiency and Accessibility: Ensure the system remains lightweight, low-cost, and capable of functioning in offline or low-connectivity environments for core reading tasks, while maintaining the ability to connect to cloud services when advanced features are needed. By achieving these objectives, the proposed system aims to provide a practical, scalable, and user-friendly solution that enhances independence and improves access to information for visually impaired individuals. Scope The scope of this research is confined to developing a camera-based reading system for visually impaired users on embedded hardware. The study focuses on: • Converting captured images of printed documents into speech using OCR and TTS.