i LâI CAM ĐOAN Tôi xin cam đoan: 1. Nhāng nội dung trong luận văn này là do tôi thực hiện dưới sự hướng dẫn trực tiếp cāa Thầy PGS. Mái tham khÁo trong luận văn đßu được trích dẫn rõ ràng tên tác giÁ, tên công trình, thßi gian công bố. Mái sao chép không hợp lệ, vi ph¿m quy chế đào t¿o tôi xin chßu hoàn toàn trách nhiệm.
Hồ Chí Minh, ngày 18 tháng 07 năm 2022 Hác viên thực hiện luận văn Hà Hoài Nam ii LâI CÀM ¡N Xin cho tôi được gÿi lòng biết ơn đến Thầy PGS. Đỗ Văn Nh¢n – ngưßi đã hướng dẫn luận văn cho tôi. Trong suốt thßi gian thực hiện luận văn, Thầy đã tận tình hướng dẫn và có nhāng lßi khuyên, nhāng đóng góp rất quý báu, giúp cho tôi đßnh hướng và hoàn thành các mÿc tiêu đß ra. Tôi xin chân thành tỏ lòng biết ơn đến quý Thầy, Cô đã tận tình giÁng d¿y cho tôi trong suốt các năm hác qua trong chương trình đào t¿o Th¿c sĩ Hệ thống thông tin, Khoa Sau Đ¿i Hác, Hác Viện Bưu Chính Viễn Thông Thành Phố Hồ Chí Minh.
Cho tôi được gÿi lòng biết ơn trân tráng đến nhāng ngưßi lãnh đ¿o cơ quan, đã t¿o đißu kiện thuận lợi đá tôi công tác và hác tập. Xin cÁm ơn tất cÁ b¿n bè đã động viên, giúp đỡ và đóng góp cho tôi nhißu ý kiến quý báu, qua đó giúp chúng tôi hoàn thiện hơn cho đß tài này. Và cuối cùng, tôi cũng không quên gÿi lßi cÁm ơn đến tác giÁ cāa các báo cáo nghiên cău khoa hác mà tôi đã tham khÁo và tìm hiáu cho đß tài. Luận văn đã hoàn thành với một số kết quÁ nhất đßnh tuy nhiên vẫn không tránh khỏi thiếu sót.
Kính mong sự cÁm thông và đóng góp ý kiến từ quý thầy cô và các b¿n. Một lần nāa tôi xin chân thành cÁm ơn! Tp. Hồ Chí Minh, ngày 18 tháng 07 năm 2022 Hác viên thực hiện luận văn Hà Hoài Nam iii MĀC LĀC LâI CAM ĐOAN .iii DANH MĀC CÁC KÝ HIàU VÀ CHĂ VI¾T TÀT. vi DANH SÁCH CÁC B ÀNG.
vii DANH SÁCH CÁC HÌNH VẼ.1 CH¯¡NG 1: TàNG QUAN VÀ ĐÀ TÀI .1 Giới thiệu tổng quan vß vấn đß nghiên cău .1 Nhu cầu và thực tr¿ng tìm kiếm hiện nay .2 KhÁo sát hệ thống tìm kiếm văn bÁn .2 Mÿc tiêu đß tài.3 Đối tượng và ph¿m vi nghiên cău .1 Đối tượng nghiên cău .2 Ph¿m vi nghiên cău .4 Phương pháp nghiên cău .1 GiÁ thuyết nghiên cău.2 Phương pháp nghiên cău.5 Ý nghĩa khoa hác và thực tiễn cāa đß tài .2 Ý nghĩa thực tiễn .6 Nội dung thực hiện .8 iv CH¯¡NG 2: C¡ Sä LÝ THUY¾T .1 Vấn đß truy tìm thông tin .1 Cấu trúc cāa một hệ thống truy tìm thông tin.2 Các phương pháp truy hồi thông tin .3 Đánh giá một hệ thống tìm kiếm thông tin .2 Các thành phần cāa ontology.3 Phân lo¿i ontology .4 Vai trò cāa Ontology .5 Các ăng dÿng dựa trên Ontology .6 Các hướng tiếp cận xây dựng ontology.3 Mô hình Không gian Vector (VSM) .2 Mô hình không gian Vector. 27 CH¯¡NG 3: MÔ HÌNH VÀ G IÀI PHÁP .1 Giới thiệu hệ thống Tic-Office .2 Mô hình ontology cho ngā nghĩa cāa câu truy vấn .3 Công cÿ hỗ trợ xÿ lý tài liệu văn bÁn .1 Phương pháp nhận d¿ng văn bÁn .2 Phương pháp rút trích nội dung thực thá.3 Mô hình Conditional Random Field (CRFs) .4 Xây dựng mô hình VSM trong tra cău tài liệu có sÿ dÿng ngā nghĩa cho câu truy vấn .1 Số hóa văn bÁn theo mô hình không gian vector .2 Ma trận biáu diễn tập văn bÁn .3 Kiến trúc mô hình tìm kiếm tài liệu VSM. 50 CH¯¡NG 4: CÀI Đ¾T, THĀ NGHIàM, ĐÁNH G IÁ .1 Xây dựng mô hình dā liệu ontology .2 Module trích xuất nội dung cāa tài liệu sÿ dÿng Tesseract OCR .3 Module rút trích đặc trưng cāa tài liệu .4 Module API kết nối đến hệ thống Tic-Office.5 Cài đặt phân hệ tìm kiếm văn bÁn.2 Kết quÁ thÿ nghiệm. 60 CH¯¡NG 5: K¾T LU¾N VÀ H¯àNG PHÁT TRIÂN.
Kết quÁ đ¿t được cāa đß tài. Nhāng h¿n chế cāa đß tài. Hướng phát trián. 62 TÀI LIàU THAM KHÀO.
66 vi DANH MĀC CÁC KÝ HIàU VÀ CHĂ VI¾T TÀT Vi¿t tÁt Dißn giÁi CRFs Conditional Random Fields NE Named Entity NER Named Entity Recognition VSM Vector Space Model OCR Optical Character Recognition IR Information Retrieval CSDL Cơ sá dā liệu HTML HyperText Markup Language XML Extensible Markup Language CK_ONTO Classed Keyphrase based Ontology MEMM Mô hình cực đ¿i hóa Entropy HMM Mô hình Markov ẩn vii DANH SÁCH CÁC BÀNG BÁng 3.1: BÁng ví dÿ mối quan hệ tương đương.2: Quan hệ giāa các keyphrase trong CK_ONTO .3: BÁng các hàm tính tráng số cÿc bộ.4: BÁng các hàm tráng số toàn cÿc .1: Thống kê kết quÁ tìm kiếm trên chăc năng tra cău mới .2: Thống kê kết quÁ tìm kiếm trên chăc năng tra cău cũ. 59 viii DANH SÁCH CÁC HÌNH VẼ Hình 1.1: Website có lượng truy cập nhißu nhất trong tháng 12/2020 .2: Kết quÁ chăc năng tìm kiếm theo từ khóa .1: Các phương pháp truy hồi thông tin .2: Mô hình VSM .1: Chăc năng quÁn lý văn bÁn đến .2: Chăc năng quÁn lý văn bÁn đi .3: Chăc năng tra cău văn bÁn theo từ khóa .4: Không gian các keyphrase .5: Tổ chăc xÿ lý nhận d¿ng văn bÁn .6: Phân lo¿i các thuật toán phân tích bố cÿc vật lý .7: Kiến trúc cāa Tesseract OCR .8: Sơ đồ huấn luyện dā liệu nhận d¿ng.9: Mô tÁ quy trình xÿ lý tài liệu văn bÁn .10: Mô hình xÿ lý văn bÁn thành thực thá.11: Quy trình xÿ lý câu truy vấn cāa hệ thống VSM .1: Mô tÁ các lớp trong ontology.2: Mô tÁ thuộc tính cāa đối tượng .3: Mô tÁ các thực thá có mối quan hệ với nhau .4: Chăc năng tra cău nâng cao theo ngā nghĩa. 56 1 Mä ĐÀU Ngày nay cùng với sự phát trián cāa internet thì dā liệu cāa ngành công nghệ thông tin ngày càng gia tăng. Nhu cầu quÁn lý, chia sẻ, tìm kiếm thông tin trong ngành này cũng được đặt ra và đáp ăng một phần nhß các công cÿ tìm kiếm.
Một số công cÿ tìm kiếm nổi tiếng hiện nay như Google hay Yahoo đßu có thá cho phép ngưßi dùng tìm kiếm dā liệu có liên quan bằng cách nhập từ khóa và tìm nhāng tài liệu có chăa từ khóa đó. Với phương pháp tìm như vậy thì kết quÁ tìm kiếm đôi khi chẳng liên quan gì đến cái mà ngưßi dùng muốn tìm, vì các công cÿ tìm kiếm này không hiáu được ý nghĩa mà ngưßi dùng cần tìm. Như vậy các công cÿ tìm kiếm thông tin vß từ khóa sẽ không trÁ lßi các câu hỏi tìm ẩn mà ngưßi dùng muốn tìm kiếm trên hệ thống. Các hệ thống tìm kiếm này phần lớn vẫn dựa trên từ khóa và măc độ phổ biến cāa tài liệu.
Một danh sách các từ khóa là d¿ng biáu diễn sơ lược nhất cāa nội dung, nghĩa là mỗi tài liệu được biáu diễn bái một tập từ hay cÿm từ được rút trích từ chính nội dung cāa tài liệu và do đó, cách biáu diễn này mang măc độ thông tin còn thấp. Do đó hệ thống tìm kiếm này có kết quÁ trÁ vß không phÁi lúc nào cũng thỏa mãn yêu cầu tìm kiếm cāa ngưßi sÿ dÿng, như là độ chính xác không cao khi kết quÁ trÁ vß quá nhißu mà tỷ lệ số tài liệu hāu ích trên tổng số tài liệu trÁ vß thấp, hoặc có thá không tìm thấy được nhāng tài liệu liên quan khi chúng được mô tÁ với nhāng từ khóa khác đồng nghĩa hoặc gần nghĩa với từ khóa mà ngưßi dùng tìm kiếm (độ bao phā không cao) gây ra không ít khó khăn cho ngưßi sÿ dÿng trong việc tìm kiếm chính xác thông tin mình cần Như vậy làm thế nào đá việc tìm kiếm cāa ngưßi sÿ dÿng có hiệu quÁ hơn. Đá giÁi quyết các vấn đß trên cần phÁi xây dựng một hệ thống cho phép tra cău, tìm kiếm tài liệu theo đa d¿ng hơn không chỉ hỗ trợ tìm kiếm dựa trên từ khóa mà còn hỗ trợ tìm kiếm dựa trên tri thăc cāa lĩnh vực hay theo ngā nghĩa, trÁ vß tập tài liệu kết quÁ đúng nhất với ý đßnh cāa ngưßi dùng. 2 Ăng dÿng đã được cài đặt, thÿ nghiệm t¿i Hệ thống quÁn lý văn bÁn Tic-Office cāa Hội nông dân tỉnh Tây ninh.
Kết quÁ thực nghiệm bước đầu cho thấy giÁi pháp đã đß xuất là khÁ quan và có khÁ năng ăng dÿng tốt. Nội dung cāa luận văn được trình bày trong 5 chương, bao gồm: Ch°¢ng 1: Giới thiệu và khÁo sát các hệ thống tìm kiếm thông tin, phân tích đánh giá thực tr¿ng, trình bày mÿc tiêu, giới h¿n cāa đß tài, ý nghĩa lý luận và thực tiễn, phương pháp nghiên cău, hướng tiếp cận giÁi quyết vấn đß và nội dung thực hiện cāa đß tài. Ch°¢ng 2: Trình bày cơ sá lý thuyết cāa đß tài liên quan đến vấn đß truy hồi thông tin bao mô tÁ cấu trúc, các phương pháp truy hồi thông tin và đánh giá hệ thống truy hồi thông tin. Các lý thuyết nßn tÁng vß mô hình không gian vector Ontology cùng với các phương pháp xây dựng mô hình dā liệu.
Ch°¢ng 3: Mô hình và giÁi pháp: Chương này đß xuất các mô hình gồm một mô hình ontology mô tÁ tri thăc vß một lĩnh vực đặc biệt trong đó sÿ dÿng keyphrase là thành phần chính đá hình thành các khái niệm cāa ontology; Các kỹ thuật xÿ lý tài liệu văn bÁn; Xây dựng mô hình VSM trong tra cău tài liệu có sÿ dÿng ngā nghĩa cho câu truy vấn. Ch°¢ng 4: Cài đặt thÿ nghiệm và đánh giá: Thiết kế mô hình dā liệu ontology hỗ trợ xÿ lý câu truy vấn; Xây dựng chăc năng tra cău nâng cao cho hệ thống quÁn lý văn bÁn Tic-Office. Tiến hành thực nghiệm, so sánh và đánh giá kết quÁ Ch°¢ng 5: Kết luận và hướng phát trián: Tổng kết nhāng kết quÁ đ¿t được cāa luận văn, nhāng h¿n chế và hướng phát trián cāa đß tài trong tương lai. 3 CH¯¡NG 1: TàNG QUAN VÀ ĐÀ TÀI 1.1 Giái thiáu táng quan vÁ v¿n đÁ nghiên cứu 1.1 Nhu cầu và thực trạng tìm kiếm hiện nay Cách đây hơn 20 năm, vào năm 1997 lần đầu tiên Việt Nam kết nối Internet.
Tuy là nước cho phép má Internet chậm hơn so với thế giới, nhưng đến nay, Việt Nam l¿i đang là quốc gia có sự phát trián Internet m¿nh mẽ nhất và đây được xem là động lực cho phát trián kinh tế văn hóa xã hội và hội nhập quốc tế, hiện nay Việt Nam đang thực hiện chuyán đổi số toàn diện trong tất cÁ các lĩnh vực đßi sống, kinh tế, chính trß và xã hội.