Chương 1. TÔNG QUAN DE TÀI .---:- 5c StEx2ExEEEEEEE1211211211211211211 211211112111 tre. Một số công trình nghiên cứu liên quan. Mục tiêu của đề tài.
Pham vi nghiên CỨU.-- -- - << ST TH TH 5 1. Phương pháp tiếp cận bài toán.------ ¿5+ ©2++2EE+EEE+EEESEE+erkesrkeerkerred 5 Chương2.--2-©22- E+2E2EE£EE£EEEEEEEEEEEEEEEEerkerrrrree 6 2. Tổng quan về trí tuệ nhân tạO.-- ¿©2525 S+EE+EE£EE£EE£EE£EEEEEEEEEEEEEkrrerreree 6 2. Mô hình trí tuệ nhân tạo là gì.
Mô hình máy học là gì. Mô hình Deep learning là gÌ. Phát hiện vùng chứa đơn thuốc trên ảnh chụp. Các mô hình trí tuệ nhân tạo được sử dụng trong bài toán phát hiện đối tượng.
_ Lý do lựa chọn mô hình Yolov8-seg loại n cho bài toán phát hiện vùng chứa đơn thuốc trên ảnh chụp. Xác định vùng chứa chữ và trích xuất thông tỉn. Các mô hình trí tuệ nhân tạo được sử dụng cho bài toán nhận diện và trich xUAt VAN DAN 1 17 2. Ly do chon Yolov8 cho bài toán phát hiện vùng chứa chữ va nhận dang, phân loại ký tự (text detection, text recOgnitiON).
Hệ quan tri cơ sở dữ liỆu Va S€TVT. - -G SG 1v vn re 23 2. _ Hệ quản trị cơ sở dữ liệu là gì. Lý do lựa chọn MongoDB đề làm hệ quản trị cơ sở dữ liệu.
Lý do cần phải khai thác cơ sở dif liệu tên thuốc. Lý do lựa chọn FastAPI dé làm server APPI.- - 5+ cs+sczxcxez 25 Chương 3. PHƯƠNG PHAP THUC HIEN. Xây dựng kiến trúc hệ thống.
Bài toán xác định vùng chứa thuốc trên ảnh chụp. Xây dựng bộ dữ liệu dé chuẩn bị cho việc huấn luyện mô hình. _ Phương pháp huấn luyện mô hình Yolov8-seg loại n. Bài toán xác định chữ và trích xuất thông tin.
Xây dựng bộ dữ liệu đầu vào cho bài toán phát hiện vùng chứa chữ (Text Detection). Huấn luyện mô hình phát hiện vùng chứa chữ (Text Detection). Xây dựng bộ dữ liệu đầu vào cho bài toán nhận dạng, phân loại ký tự (Text Recognition) 00. aaaẳaẳđaẳũiủũ.
Huan luyén m6 hinh nhan dang, phan loai ky tu (Text Recognition). Kết hợp các mô hình và xử lý thông tin.----- 2 22z+cz+sz+sz 44 3. Xây dựng hệ quan tri cơ sở dt liệu va thiết ké S€TVT. Xây dựng hệ quan tri cơ sở dữ LU.
Xây dung cơ sở đữ liệu tên thuỐc. Thiết kế server API. KÉT QUÁ THỰC NGHIỆM. Kết quả bài toán phát hiện vùng chứa đơn thuốc trên ảnh chụp.
Kết quả huấn luyện các mô hình Yolov8-seg loại n trên Google COlab. Kết quả huấn luyện các mô hình trên ảnh thật. Kết quả bài toán xác định chữ và trích xuất thông tin. Kết quả huấn luyện mô hình phát hiện vùng chứa chữ (Text Pro —.
Kết quả huấn luyện mô hình nhận dạng, phân loại ký tự (Text Gv 0101:0177. Kết quả thực tế khi chạy các mô hình trên ảnh thật. Kết quả xây dựng hệ quản trị cơ sở dit liệu và thiết kế server. Kết quả của xây dựng hệ quản trị cơ sở dữ liệu.
Kết quả của xây dựng cơ sở dit liệu tên thuốc. Kết quả của thiết kế server API. Xây dung ứng dụng để kiểm tra hệ thống.---¿--¿¿©s2©s+c5zee: 76 Chương 5. KÉT LUẬN VÀ HƯỚNG PHÁT TRIEN.
Kết quả dat được. Ưu điểm và nhược điểm của để tài. Hướng phát triển của đề tài.----- + s+SE+Ek+EEEEE2ESEEEEEEEEEEEEErrrrrerree 81 DANH MỤC HÌNH Hình 2. 1: Lich sử hình thành của AI (nguồn: AngelHack Vietnam).
2: Quy trình hoạt động của machine learning (nguồn: VTC Academy). 3: Mối liên hệ giữa những khái niệm (nguồn: Dynamic Optimization). 1: Minh họa về mô hình R-CNN (nguồn: Flinter). 2: Minh họa về mô hình Yolo (nguồn: Viblo).
3: Thời gian xuất hiện các phiên ban Yolo (đến tháng 1 năm 2024). 4: Độ chính xác trung bình của các phiên bản YolÌo. 1: Minh họa kết quả khi sử dung Tesseract. 2: Minh hoa két quả khi sử dung EAST ooo.
eee eeceeseceeeeneceeeeneeeeeeneenees 19 Hình 2. 3: Minh họa kết quả khi sử dung PaddleOCR. 4: Minh họa kết quả khi sử đụng YOlo.- 2-2-2 2 £+5++sz+sz2s£2s++š 20 Hình 2. 1: Cau trúc của MongoDB (nguồn: Icantech).
2: Hiệu suất các framework dé tạo nên server phổ biến (nguồn: VNLab)26 Hinh 3. : Kiến trúc hệ thống của đề tài. : Giao diện trang web thuegpU. : Các kiểu ảnh chụp hóa đơn thường gặp trong bộ dif liệu.
: Quy trình huấn luyện mô hình của bài toán. : Những bức ảnh đã được đánh nhãn ở RobofÏow. : Cây thư mục cần cho việc huấn luyện mô hình Yolov8. : Huấn luyện mô hình ở trên google colab.---- 2-2 z+sz+sz+szzs+2 33 Hình 3.
1: Luéng xử lý bài toán xác định chữ và trích xuất thông tin. 2: BO dit li€u ca ICDAR 0n. 3: Bộ dữ liệu tự thu thập của nhóm nghiên cứu. 4: Ví dụ về toa thuốc CAUP 4.
5: Ví dụ về toa thuốc điện tử.---cc+ccccckxrrrtrtrrrrrtrrrrrirrrrirrrr 36 Hình 3. 6: Minh họa việc gan nhãn cho bộ dữ liệu. 7: Minh họa kết quả khi gan nhãn và lưu tập dữ liệu thành công. 8: Bắt đầu quá trình huấn luyện mô hình (Text Detection).
9: Tập dữ liệu sau khi đã cắt và thu thập thành công. 10: Minh họa về việc gan nhãn cho mô hình nhận dang ký tự. 11: Minh họa việc gan nhãn và lưu tập dữ liệu thành công. 12: Sử dụng google fonts để tăng cường dữ liệu.
13: Thống kê số lượng nhãn đã được gán theo lớp. 14: Bắt đầu quá trình huấn luyện mô hình (Text Recognition). 15: Quy trình kết hợp các mô hình và trích xuất thông tin. 16: Kết quả khi chạy mô hình Text Detection (chưa qua xử lý).
17: Minh họa trục tọa độ trong YOLO. 18: Minh họa về trường hợp anh có phan chữ nghiêng, xéo. 19: Luồng xử lý của kỹ thuật sắp xếp vùng chứa chữ. 20: kết quả khi chạy mô hình Text Recognition (chưa qua xử lý).
21: Luéng xu ly cua ky thuat sap xép các ky tự được nhận dạng. 22: Luéng xử lý chung của kỹ thuật kết hợp hai mô hình và so sánh. 23: Luéng xử lý cụ thé của kỹ thuật so sánh từng vùng chữ. 1: Mô hình cơ sở dữ liệu của đề tài.----2- 2+ s+2cx++zxerxrerxerrxee 53 Hình 3.
2: Giao diện trang web Drugbanik. 3: Vi du một tên thuốc xuất hiện hai lần ở trang web Drugbank. 1: Nơi lưu trữ mô hình sau khi kết thúc huấn luyện ở google colab. 2: Độ chính xác được tự động đánh giá sau khi kết thúc huấn luyện.
3 : Phân tích mô hình qua từng epoch.-- -- «+ +- «+ +ss*+svxsseesseeesee 60 Hình 4. 4 : Những kiêu ảnh chính ở trong bộ dữ liệu thật để đánh giá mô hình. 5 : Kết qua của mô hình khi kiểm tra trên những bức ảnh thật. 6: Độ chính xác của các mô hình với số lượng dữ liệu khác nhau (1).
7 : Độ chính xác của các mô hình với số lượng dữ liệu khác nhau (2). 8: Thông số mAP50 và mAP50.95 trên tập 100 bức ảnh thực tế. 9 : Lưu đồ thuật toán xác định vùng chứa đơn thuốc ở trên ảnh. 10: Đâu vào và dau ra của bài toán xác định vùng chứa đơn thuôc.
1: Kết quả huấn luyện thành công mô hình phát hiện vùng chứa chữ. 2: Các giá trị của mô hình Text Detection khi huấn luyện thành công. 3: Kết quả các thông số mà mô hình đạt được qua mỗi epochs. 4: Kết quả các lớp cua mô hình nhận dang ký tự (l).
5: Kết quả các lớp của mô hình nhận dạng ký tự (2). 6: Kết quả các lớp của mô hình nhận dạng ký tự (3). 7: Kết quả các thông số mô hình dat được qua mỗi epochs. 8: Biểu đồ các giá trị của mô hình Text Recognition đã huấn luyện.
9: Kết quả thực tế của mô hình phát hiện vùng chữ (tốt nhất). 10: Kết quả thực tế của mô hình nhận dạng ký tự (tốt nhất). 11: Kết quả thực tế của mô hình phát hiện vùng chữ (xấu nhất). 12: Kết quả thực tế của mô hình nhận dạng ký tự (xấu nhất).
13: Kết quả khi chạy trên đơn thuốc có tiếng Việt (1). 14: Kết quả khi chạy trên đơn thuốc có tiếng Việt (2). 1: Giao diện khi lưu trữ dữ liệu ở MongoDB Compass. 2: Những dữ liệu sau khi đã được lưu vào MongoDB.
3: Cơ sở tên thuốc có dấu.----¿-++++++EE++tEEEkrrtEkkrrrttrrrrirrrire 73 Hình 4. 4: Cơ sở tên thuốc không dấu.- - 2-2 2 2+2 E£+E£+E+£EE+EE2EE2EzEzreee 73 Hình 4. 5: Hình ảnh về server APL. 6: Minh họa về cách sử dụng một APÌL.
1: Mô hình Use Case của Ung dụng. 2: Miéu tả các màn hình của ứng dụng (1). 3: Miéu tả các màn hình của ứng dụng (2).----«++<c++sex+sxs 78 DANH MỤC BANG Bảng 2. 1: So sánh các mô hình OT.
1: Thống kê số lượng nhãn đã được gán ở mỗi tap dữ liệu được chia. 2: Thông số các mô hình pretrained của Yolov8. 3: Bảng chỉ tiết về các API của Server. 1: Thời gian xử lý CỦa S€TVT.
-- s1 HH ng 75 DANH MỤC TU VIET TAT AI Artificial Intelligence API Application Programming Interface CNN Convolutional Neural Network DBMS Database Management System E-ELAN Extended Efficient Layer Aggregation Network HTTP HyperText Transfer Protocol OCR Optical Character Recognition GPU Graphic Processing Unit GUI Graphical User Interface TPU Tensor Processing Unit R-CNN Regions with CNN features URL Uniform Resource Locator TOM TAT KHÓA LUẬN Đề tài "UNG DỤNG KỸ THUẬT MAY HỌC DE TRÍCH XUẤT THONG TIN TOA THUỐC TỪ ANH CHỤP" tập trung vào việc trích xuất tên thuốc từ ảnh chụp của đơn thuốc bằng các công nghệ và kỹ thuật tiên tiến. Thông qua việc trích xuất tên thuốc từ ảnh chụp, người dùng có thé dé dàng quản lý và tìm hiểu về các loại thuốc được chỉ định. Các công nghệ và giải pháp nổi bật trong dé tài này bao gồm Yolov§, MongoDB và FastAPI. Ảnh chụp từ người dùng sẽ được gửi qua API đến server FastAPI, từ đó server sẽ sử dụng mô hình Yolov8 đã được huấn luyện từ một tập khoảng hơn 1400 bức ảnh cho tác vụ phát hiện vùng đơn thuốc và hơn 8000 bức ảnh cho tác vụ nhận diện và trích xuất thông tin đề trích xuất được thông tin từ đơn thuốc.
Thông tin sau khi trích xuất sẽ được so sánh với cơ sở dữ liệu chứa hơn 28000 tên thuốc khác nhau đề phân biệt chính xác giữa tên thuốc và các từ thông thường. Cuối cùng, các tên thuốc sau khi đã được trích xuất sẽ được trả về cho người dùng thông qua API và tự động lưu trữ xuống MongoDB để phục vụ việc quản lý và truy vấn đữ liệu. Ngoài ra, server sử dụng FastAPI cũng cung cấp các API cho phép người dùng thêm mới đơn thuốc, truy xuất đữ liệu, xóa, sửa các đơn thuốc cũ, điều này giúp cho tăng tính ứng dụng của đề tài này vào các ứng dụng di động.