ỨNG DỤNG HỌC MÁY TRONG LĨNH VỰC DU LỊCH

Tìm hiểu ứng dụng học máy trong lĩnh vực du lịch: phân tích dữ liệu, dự đoán xu hướng, cá nhân hóa trải nghiệm. Luận văn thạc sĩ khoa học dữ liệu.

• Tác giả: Nguyễn Quang Hòa
• Người hướng dẫn: PGS. Trần Trọng Hiếu
• Trường học: Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Ứng Dụng Học Máy Trong Lĩnh Vực Du Lịch
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: CÁC KHÁI NIỆM CƠ BẢN
• 1.1. Phân lớp trong văn bản
• 1.2. Phân lớp đa nhãn cho văn bản
• 1.3. Kỹ thuật phân lớp đa nhãn
• 1.4. Ứng dụng của phân lớp đa nhãn
• 1.5. Độ đo mô hình phân lớp đa nhãn
• 1.6. Một số mô hình ứng dụng trong bài toán phân lớp đa nhãn cho văn bản
• 1.6.1. Giới thiệu về Transformers
• 1.6.2. Giới thiệu mô hình BERT
• 1.6.3. Tinh chỉnh mô hình BERT
• 1.6.4. Giới thiệu về PhoBERT
• 1.6.5. Giới thiệu về Ontology
• 1.6.5.1. Các thành phần của ontology
• 1.6.5.2. Truy vấn SPARQL
• 2. CHƯƠNG 2: MÔ HÌNH PHÂN LỚP ĐA NHÃN VÀ LƯU TRỮ HỆ THỐNG THÔNG TIN CÁC VĂN BẢN PHÁP LUẬT VIỆT NAM
• 2.1. Phân lớp đa nhãn các văn bản pháp luật Việt Nam trong lĩnh vực du lịch
• 2.2. Hệ thống văn bản pháp luật Việt Nam trong lĩnh vực du lịch
• 2.3. Văn bản pháp luật Việt Nam trong lĩnh vực du lịch gắn với mục tiêu phát triển bền vững
• 2.4. Phân lớp đa nhãn văn bản pháp luật
• 2.5. Ứng dụng mô hình PhoBERT để phân lớp đa nhãn văn bản pháp luật
• 2.5.1. Tổng quan mô hình PhoBERT
• 2.5.2. Cấu trúc mô hình PhoBERT
• 2.5.3. Thuật toán WordPiece Tokenization
• 2.5.4. Huấn luyện mô hình PhoBERT
• 2.5.5. Sử dụng mô hình đã huấn luyện để dự đoán nhãn cho văn bản mới
• 2.6. Xây dựng ontology miền các văn bản pháp luật trong lĩnh vực du lịch
• 2.6.1. Các bước xây dựng ontology
• 2.6.2. Nghiên cứu một số kịch bản tìm kiếm thông tin văn bản pháp luật trong lĩnh vực du lịch
• 3. CHƯƠNG 3: TRIỂN KHAI MÔ HÌNH THỰC NGHIỆM
• 3.1. Bài toán thực nghiệm
• 3.2. Chuẩn bị dữ liệu thực nghiệm
• 3.3. Thu thập dữ liệu các văn bản pháp luật Việt Nam
• 3.4. Dán nhãn theo các tiêu chí của mục tiêu phát triển bền vững trong lĩnh vực du lịch
• 3.5. Triển khai xây dựng ontology miền văn bản pháp luật
• 3.6. Triển khai xây dựng mô hình huấn luyện
• 3.7. Tiền xử lý dữ liệu
• 3.8. Tinh chỉ mô hình PhoBERT
• 3.9. Giải thuật dự đoán nhãn cho văn bản dài
• 3.10. Kết quả thực nghiệm
• 3.11. Ứng dụng học máy và ontology trong lĩnh vực các văn bản du lịch
• 3.12. Truy vấn thông tin văn bản pháp luật trong ontology
• 3.12.1. Một số kết quả truy vấn
• 3.12.2. Ứng dụng mô hình huấn luyện phân lớp đa nhãn để làm giàu Ontology
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Ứng Dụng Học Máy Trong Du Lịch Tại Sao

Ngành du lịch đóng vai trò quan trọng trong nền kinh tế. Việc áp dụng học máy giúp giải quyết các vấn đề cấp thiết, hướng tới phát triển bền vững. Liên Hợp Quốc đã đề ra 17 mục tiêu phát triển bền vững (SDGs) vào năm 2015, trong đó du lịch đóng vai trò quan trọng. Việt Nam cam kết thực hiện các mục tiêu này. Hiện tại, thông tin về du lịch bền vững còn rời rạc. Việc trích xuất và liên kết thông tin về các mục tiêu, tiêu chí cụ thể còn hạn chế. Luận văn thạc sĩ này tập trung vào xây dựng mô hình học máy để phân tích, nhận diện các văn bản liên quan đến tiêu chí phát triển du lịch. Đồng thời, xây dựng Ontology ứng dụng để trích xuất, truy vấn thông tin liên quan, góp phần vào việc quản lý và khai thác dữ liệu du lịch hiệu quả.

1.1. Vai trò then chốt của Du Lịch Bền Vững và SDGs

Du lịch đóng vai trò then chốt trong phát triển kinh tế và xã hội. Phát triển du lịch bền vững là mục tiêu quan trọng. SDG của Liên Hợp Quốc thúc đẩy sự phát triển toàn diện. Việt Nam cam kết thực hiện các SDG. Kế hoạch hành động quốc gia nhấn mạnh vai trò của các bên liên quan. Các bộ, ngành, địa phương, tổ chức chính trị - xã hội, các tổ chức, cá nhân tham gia thực hiện mục tiêu này.

1.2. Thực trạng Lưu Trữ Tra Cứu Thông Tin Du Lịch Hiện Nay

Nhiều website/ứng dụng cung cấp thông tin về phát triển du lịch bền vững, ví dụ như https://vietnam.org và https://thuvienphapluat. Các văn bản được lưu trữ, tra cứu cơ bản, chưa có tính khai thác, liên kết. Chưa thể trích xuất văn bản thể hiện rõ kết quả cho mục tiêu, tiêu chí cụ thể trong bộ tiêu chí về du lịch bền vững.

II. Bài Toán Thách Thức Ứng Dụng Học Máy Trong Du Lịch

Bài toán đặt ra là làm thế nào để phân tích, nhận diện các văn bản thuộc tiêu chí phát triển nào về du lịch. Làm sao để xây dựng Ontology ứng dụng trong miền du lịch, trích xuất tự động các văn bản, kế hoạch hành động và truy vấn, tra cứu các nội dung văn bản, chỉ tiêu đến các đơn vị chủ trì, thực hiện. Mục tiêu là áp dụng mô hình học máy phục vụ nhận dạng, dự đoán các văn bản đang thể hiện, làm rõ tiêu chí trong bộ tiêu chí phát triển bền vững về du lịch. Sau đó, lưu trữ các nội dung, xây dựng thành một lưới tri thức. Từ đó khai thác, truy vấn các mục tiêu phát triển bền vững về du lịch. Đối tượng nghiên cứu tập trung vào lựa chọn đặc trưng và thuật toán phân lớp đa nhãn văn bản tiếng Việt.

2.1. Vấn đề Nhận dạng Phân loại Văn bản Pháp Luật Du lịch

Vấn đề chính là làm sao nhận dạng và phân loại văn bản pháp luật trong lĩnh vực du lịch. Xác định văn bản nào liên quan đến mục tiêu phát triển bền vững nào. Cần có một hệ thống tự động để phân tích và gán nhãn cho các văn bản. Phân tích dữ liệu du lịch thủ công tốn thời gian và công sức.

2.2. Khó khăn trong Xây dựng Ontology Miền Du Lịch Thông Minh

Xây dựng Ontology miền du lịch thông minh là một thách thức lớn. Cần phải thu thập và xử lý một lượng lớn dữ liệu du lịch. Xác định các khái niệm và mối quan hệ quan trọng trong lĩnh vực du lịch. Đảm bảo tính chính xác và đầy đủ của Ontology. Hệ thống đề xuất du lịch thông minh cần dựa trên Ontology này.

III. Giải Pháp Mô Hình PhoBERT Phân Lớp Văn Bản Du Lịch

Luận văn đề xuất xây dựng mô hình học máy cho phép phân tích, nhận diện các văn bản đang thuộc tiêu chí phát triển nào về du lịch, gắn với việc truy xuất hiệu quả liên quan đến các mục tiêu phát triển bền vững tại Việt Nam. Đề xuất xây dựng ontology trong lĩnh vực du lịch thông qua việc kế thừa và sử dụng các miền tri thức khai phá được từ các cơ sở dữ liệu lớn, trong và ngoài nước. Sử dụng mô hình PhoBERT để phân lớp đa nhãn văn bản pháp luật. PhoBERT là một mô hình ngôn ngữ mạnh mẽ cho tiếng Việt, có khả năng hiểu ngữ nghĩa tốt. Ứng dụng AI du lịch vào phân lớp văn bản pháp luật.

3.1. Ứng dụng Mô Hình PhoBERT cho Phân Lớp Đa Nhãn

Mô hình PhoBERT được sử dụng để phân tích dữ liệu du lịch và gán nhiều nhãn cho mỗi văn bản. Mỗi nhãn đại diện cho một mục tiêu phát triển bền vững cụ thể. PhoBERT giúp cải thiện độ chính xác so với các phương pháp truyền thống. Phân tích cảm xúc trong du lịch cũng có thể được thực hiện với PhoBERT.

3.2. Xây Dựng Ontology Miền Du Lịch từ Dữ Liệu Lớn Big Data

Ontology miền du lịch được xây dựng từ các cơ sở dữ liệu lớn. Các khái niệm, thuộc tính và mối quan hệ được xác định. Ontology giúp tổ chức và quản lý thông tin một cách hiệu quả. Big Data trong du lịch được khai thác để xây dựng Ontology.

3.3. Quy trình Tiền xử lý Tinh chỉnh và Huấn luyện PhoBERT

Quy trình bao gồm chuẩn bị dữ liệu, tiền xử lý văn bản, tinh chỉnh mô hình PhoBERT và huấn luyện trên tập dữ liệu du lịch. Sử dụng các kỹ thuật như WordPiece Tokenization để xử lý văn bản. Tinh chỉnh PhoBERT để phù hợp với đặc thù của lĩnh vực du lịch. Huấn luyện mô hình trên tập dữ liệu lớn để đạt độ chính xác cao.

IV. Kết Quả Thực Nghiệm Ứng Dụng Học Máy Trong Truy Vấn Du Lịch

Kết quả thực nghiệm cho thấy mô hình PhoBERT đạt hiệu quả cao trong việc phân lớp văn bản pháp luật du lịch. Ontology được xây dựng cho phép truy vấn thông tin một cách dễ dàng và nhanh chóng. Hệ thống giúp người dùng (học giả, nhà hoạch định chính sách, chuyên gia) dễ dàng tiếp cận và truy xuất nguồn dữ liệu hiệu quả. Đóng góp vào việc phát triển du lịch bền vững bằng học máy.

4.1. Đánh Giá Độ Chính Xác của Mô Hình PhoBERT Thực Nghiệm

Đánh giá độ chính xác bằng các độ đo như precision, recall, và F1-score. So sánh hiệu quả của mô hình PhoBERT với các mô hình khác. Phân tích các trường hợp phân lớp sai để cải thiện mô hình. Thống kê du lịch được sử dụng để đánh giá hiệu quả.

4.2. Khả Năng Truy Vấn Thông Tin Văn Bản Pháp Luật trong Ontology

Thực hiện các truy vấn SPARQL để tìm kiếm thông tin. Kiểm tra khả năng tìm kiếm theo từ khóa, theo mục tiêu phát triển bền vững. Đánh giá tốc độ và độ chính xác của truy vấn. Khai thác dữ liệu du lịch từ Ontology.

V. Hướng Phát Triển Học Máy Cá Nhân Hóa Trải Nghiệm Du Lịch

Hướng phát triển trong tương lai là mở rộng Ontology, tích hợp thêm nhiều nguồn dữ liệu khác nhau. Nghiên cứu các thuật toán học máy mới để cải thiện độ chính xác. Ứng dụng học máy để cá nhân hóa trải nghiệm du lịch, dự báo nhu cầu du lịch và quản lý rủi ro du lịch. Marketing du lịch bằng học máy là một lĩnh vực tiềm năng.

5.1. Tích hợp Thêm Dữ Liệu Đánh Giá Du Lịch Mạng Xã Hội

Tích hợp dữ liệu từ các trang đánh giá du lịch (ví dụ: TripAdvisor). Phân tích dữ liệu mạng xã hội để hiểu rõ hơn về sở thích của du khách. Sử dụng phân tích đánh giá du lịch để cải thiện chất lượng dịch vụ.

5.2. Ứng Dụng Chatbot trong Cung Cấp Thông Tin Tư Vấn Du Lịch

Xây dựng chatbot du lịch để trả lời các câu hỏi của du khách. Cung cấp thông tin về địa điểm, dịch vụ và các hoạt động du lịch. Tư vấn cho du khách về lịch trình và lựa chọn phù hợp. Đề xuất du lịch thông qua Chatbot.

5.3. Ứng dụng Học Máy vào Dự Báo Nhu Cầu và Tối Ưu Giá Du Lịch

Sử dụng thuật toán học máy để dự báo nhu cầu du lịch. Tối ưu hóa giá du lịch dựa trên nhu cầu và cạnh tranh. Quản lý rủi ro du lịch bằng cách dự đoán các sự kiện bất thường.

VI. Kết Luận Học Máy Chìa Khóa Cho Du Lịch Tương Lai

Luận văn đã trình bày về ứng dụng học máy trong lĩnh vực du lịch, đặc biệt là trong việc phân lớp văn bản pháp luật và xây dựng Ontology. Kết quả nghiên cứu cho thấy tiềm năng to lớn của học máy trong việc hỗ trợ phát triển du lịch bền vững. Các công cụ và phương pháp được đề xuất có thể giúp các nhà quản lý, nhà nghiên cứu và doanh nghiệp du lịch đưa ra các quyết định dựa trên dữ liệu, nâng cao hiệu quả hoạt động và mang lại trải nghiệm tốt hơn cho du khách. Công nghệ trong du lịch sẽ ngày càng phát triển mạnh mẽ.

6.1. Tóm tắt các Đóng góp Chính của Luận Văn Thạc sĩ

Luận văn đã đề xuất mô hình học máy để phân tích văn bản du lịch, xây dựng Ontology lĩnh vực du lịch và ứng dụng chúng vào thực tiễn. Luận văn góp phần nâng cao hiệu quả tìm kiếm thông tin và hỗ trợ ra quyết định trong ngành du lịch.

6.2. Triển vọng và Lợi ích của Ứng dụng Học Máy vào Du Lịch

Ứng dụng học máy mang lại nhiều lợi ích cho ngành du lịch. Cá nhân hóa trải nghiệm du lịch, dự báo nhu cầu du lịch, quản lý rủi ro và tối ưu hóa giá. Digital transformation du lịch là xu hướng tất yếu.

Nội dung chính

Tổng quan nghiên cứu

Lĩnh vực du lịch được xem là ngành kinh tế mũi nhọn, đóng góp quan trọng vào giải quyết an sinh xã hội và tạo việc làm. Việt Nam, với tài nguyên thiên nhiên đa dạng, hướng tới phát triển du lịch bền vững theo chương trình 17 mục tiêu phát triển bền vững (SDGs) của Liên Hợp Quốc năm 2015. Tính đến tháng 5/2022, 17/22 bộ, ngành và 51/63 tỉnh, thành phố đã ban hành kế hoạch hành động thực hiện chương trình nghị sự 2030. Tuy nhiên, các văn bản pháp luật liên quan đến du lịch hiện nay mới chỉ được lưu trữ và tra cứu cơ bản, thiếu khả năng khai thác sâu, liên kết và trích xuất thông tin theo tiêu chí phát triển bền vững.

Mục tiêu nghiên cứu của luận văn là xây dựng mô hình học máy phân lớp đa nhãn để nhận diện và phân loại các văn bản pháp luật trong lĩnh vực du lịch theo các tiêu chí phát triển bền vững, đồng thời xây dựng ontology miền để lưu trữ, truy vấn và khai thác thông tin hiệu quả. Phạm vi nghiên cứu tập trung vào hệ thống văn bản pháp luật Việt Nam liên quan đến du lịch và các mục tiêu phát triển bền vững, trong giai đoạn từ năm 2015 đến 2022. Nghiên cứu có ý nghĩa thiết thực trong việc nâng cao hiệu quả tra cứu, phân tích và ứng dụng dữ liệu pháp luật phục vụ quản lý nhà nước, hoạch định chính sách và phát triển ngành du lịch bền vững.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Phân lớp đa nhãn (Multi-label Classification): Phân loại văn bản có thể thuộc nhiều nhãn cùng lúc, khác với phân lớp đơn nhãn truyền thống. Phân lớp đa nhãn được áp dụng để phân loại các văn bản pháp luật theo nhiều tiêu chí phát triển bền vững đồng thời.

• Mô hình học máy Transformer và BERT: Sử dụng kiến trúc Transformer với cơ chế attention để hiểu ngữ cảnh và ngữ nghĩa trong văn bản. Mô hình BERT (Bidirectional Encoder Representations from Transformers) và phiên bản tiếng Việt PhoBERT được tinh chỉnh để phù hợp với bài toán phân lớp đa nhãn văn bản pháp luật.

• Ontology: Mô hình biểu diễn tri thức miền du lịch, bao gồm các lớp, cá thể, thuộc tính và quan hệ, giúp tổ chức, lưu trữ và truy vấn thông tin pháp luật một cách có cấu trúc và hiệu quả. Ontology được xây dựng theo quy trình bảy bước, từ xác định phạm vi đến tạo thể hiện.

Các khái niệm chính bao gồm: phân lớp đa nhãn, mô hình PhoBERT, ontology miền du lịch, truy vấn SPARQL, và các chỉ số đánh giá mô hình như độ chính xác, độ F1.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Tập hợp khoảng 500 văn bản pháp luật Việt Nam liên quan đến lĩnh vực du lịch và các mục tiêu phát triển bền vững, được thu thập từ các cơ quan nhà nước và thư viện pháp luật chính thức.

• Phương pháp phân tích: Áp dụng mô hình học máy PhoBERT để phân lớp đa nhãn văn bản pháp luật. Dữ liệu được chia thành tập huấn luyện (80%) và tập kiểm thử (20%). Quá trình huấn luyện sử dụng thuật toán Adam với hàm mất mát CrossEntropyLoss, tinh chỉnh mô hình để tối ưu hiệu suất.

• Xây dựng ontology: Thực hiện theo quy trình bảy bước, bao gồm xác định phạm vi, tái sử dụng ontology có sẵn, liệt kê thuật ngữ, phân cấp lớp, xác định thuộc tính và giới hạn thuộc tính, cuối cùng tạo thể hiện. Ontology được triển khai trên nền tảng Apache Jena Fuseki, hỗ trợ truy vấn SPARQL.

• Timeline nghiên cứu: Từ tháng 11/2018 đến tháng 12/2022, bao gồm thu thập dữ liệu, xây dựng mô hình, huấn luyện, đánh giá và triển khai hệ thống truy vấn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phân lớp đa nhãn với PhoBERT: Mô hình đạt độ chính xác trung bình khoảng 87%, độ F1 đạt 85% trên tập kiểm thử, vượt trội so với các mô hình truyền thống như Naive Bayes và SVM (độ chính xác khoảng 75-80%). Điều này chứng tỏ khả năng hiểu ngữ cảnh và ngữ nghĩa của PhoBERT trong phân loại văn bản pháp luật.

2. Xây dựng ontology miền du lịch: Ontology bao gồm hơn 150 lớp, 300 thuộc tính và 500 cá thể, mô hình hóa đầy đủ các khía cạnh của văn bản pháp luật và các mục tiêu phát triển bền vững. Ontology hỗ trợ truy vấn phức tạp, cho phép người dùng tìm kiếm văn bản theo tiêu chí, cơ quan ban hành, thời gian và mối quan hệ liên quan.

3. Ứng dụng truy vấn SPARQL: Hệ thống truy vấn trả về kết quả chính xác với thời gian trung bình dưới 2 giây cho các truy vấn phức tạp, giúp người dùng dễ dàng tra cứu và khai thác thông tin pháp luật liên quan đến du lịch bền vững.

4. Khả năng mở rộng và cập nhật: Ontology và mô hình học máy có thể được cập nhật liên tục khi có văn bản mới, đảm bảo tính chính xác và kịp thời trong việc quản lý dữ liệu pháp luật.

Thảo luận kết quả

Kết quả cho thấy việc ứng dụng mô hình học máy hiện đại như PhoBERT trong phân lớp đa nhãn văn bản pháp luật giúp nâng cao độ chính xác và hiệu quả phân loại so với các phương pháp truyền thống. Việc xây dựng ontology miền du lịch tạo ra một lưới tri thức có cấu trúc, hỗ trợ truy vấn và khai thác thông tin một cách khoa học, góp phần giải quyết hạn chế của các hệ thống lưu trữ văn bản pháp luật hiện tại.

So với các nghiên cứu trước đây tập trung chủ yếu vào lưu trữ và tra cứu cơ bản, nghiên cứu này mở rộng khả năng phân tích, nhận diện và liên kết thông tin theo các tiêu chí phát triển bền vững, phù hợp với yêu cầu quản lý nhà nước và phát triển ngành du lịch bền vững tại Việt Nam. Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác các mô hình, bảng thống kê số lượng lớp và thuộc tính ontology, cũng như biểu đồ thời gian truy vấn.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phân lớp đa nhãn và ontology trên quy mô quốc gia: Đẩy mạnh ứng dụng mô hình PhoBERT và ontology trong các cơ quan quản lý nhà nước để nâng cao hiệu quả quản lý văn bản pháp luật du lịch, hướng tới mục tiêu phát triển bền vững. Thời gian thực hiện: 1-2 năm.

2. Cập nhật và mở rộng dữ liệu liên tục: Thiết lập quy trình thu thập, cập nhật văn bản pháp luật mới và tinh chỉnh mô hình định kỳ nhằm đảm bảo tính chính xác và kịp thời của hệ thống. Chủ thể thực hiện: Bộ Văn hóa, Thể thao và Du lịch phối hợp với Bộ Kế hoạch và Đầu tư.

3. Đào tạo và nâng cao năng lực cho cán bộ quản lý: Tổ chức các khóa đào tạo về ứng dụng học máy và ontology trong quản lý văn bản pháp luật cho cán bộ các bộ, ngành và địa phương. Mục tiêu nâng cao khả năng khai thác và sử dụng hệ thống. Thời gian: 6-12 tháng.

4. Phát triển giao diện người dùng thân thiện: Xây dựng các công cụ truy vấn, tra cứu trực quan, hỗ trợ đa ngôn ngữ và tích hợp trên nền tảng web, di động để phục vụ đa dạng đối tượng người dùng. Chủ thể thực hiện: Các đơn vị công nghệ thông tin chuyên ngành.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý và hoạch định chính sách: Giúp hiểu rõ cách ứng dụng công nghệ học máy và ontology trong quản lý văn bản pháp luật, hỗ trợ ra quyết định chính sách phát triển du lịch bền vững.

2. Chuyên gia và nhà nghiên cứu khoa học dữ liệu: Cung cấp phương pháp và mô hình phân lớp đa nhãn tiên tiến, ứng dụng thực tiễn trong lĩnh vực pháp luật và du lịch.

3. Lập trình viên và kỹ sư công nghệ thông tin: Tham khảo quy trình xây dựng mô hình PhoBERT, kỹ thuật tokenization, huấn luyện mô hình và triển khai ontology phục vụ phát triển hệ thống thông minh.

4. Sinh viên và học viên cao học ngành khoa học dữ liệu, luật và quản lý du lịch: Nâng cao kiến thức về ứng dụng học máy trong lĩnh vực pháp luật và du lịch, đồng thời tiếp cận các công nghệ mới như Transformer, BERT và ontology.

Câu hỏi thường gặp

1. Phân lớp đa nhãn khác gì so với phân lớp đơn nhãn?
   Phân lớp đa nhãn cho phép một văn bản thuộc nhiều nhãn cùng lúc, trong khi phân lớp đơn nhãn chỉ gán một nhãn duy nhất. Ví dụ, một văn bản pháp luật có thể liên quan đồng thời đến "quy định du lịch" và "bảo vệ môi trường".

2. Tại sao chọn PhoBERT cho bài toán phân lớp văn bản tiếng Việt?
   PhoBERT được huấn luyện trên dữ liệu tiếng Việt lớn, hiểu ngữ cảnh và ngữ nghĩa đặc thù của tiếng Việt tốt hơn các mô hình đa ngôn ngữ khác, giúp cải thiện độ chính xác phân loại văn bản pháp luật tiếng Việt.

3. Ontology giúp gì trong quản lý văn bản pháp luật?
   Ontology tổ chức tri thức theo cấu trúc có lớp, thuộc tính và quan hệ, giúp lưu trữ, truy vấn và liên kết thông tin hiệu quả, hỗ trợ người dùng tìm kiếm nhanh và chính xác các văn bản liên quan.

4. Làm thế nào để cập nhật mô hình khi có văn bản mới?
   Có thể thu thập dữ liệu mới, gán nhãn và tinh chỉnh lại mô hình PhoBERT định kỳ để mô hình học thêm các đặc trưng mới, duy trì hiệu suất phân loại cao.

5. Hệ thống truy vấn SPARQL hoạt động như thế nào?
   SPARQL là ngôn ngữ truy vấn dữ liệu dạng đồ thị RDF trong ontology, cho phép người dùng truy vấn thông tin theo các mẫu quan hệ phức tạp, ví dụ tìm tất cả văn bản pháp luật liên quan đến một mục tiêu phát triển bền vững cụ thể.

Kết luận

• Luận văn đã xây dựng thành công mô hình học máy PhoBERT phân lớp đa nhãn văn bản pháp luật trong lĩnh vực du lịch với độ chính xác khoảng 87%.
• Ontology miền du lịch được thiết kế chi tiết, hỗ trợ truy vấn và khai thác thông tin pháp luật hiệu quả.
• Hệ thống kết hợp học máy và ontology giúp nâng cao khả năng quản lý, tra cứu và phân tích văn bản pháp luật phục vụ phát triển du lịch bền vững.
• Đề xuất triển khai hệ thống trên quy mô rộng, cập nhật dữ liệu liên tục và đào tạo cán bộ quản lý để phát huy hiệu quả ứng dụng.
• Các bước tiếp theo bao gồm mở rộng dữ liệu, hoàn thiện giao diện người dùng và tích hợp hệ thống vào môi trường thực tế nhằm hỗ trợ các bên liên quan.

Quý độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển tiếp các kết quả nghiên cứu này nhằm thúc đẩy sự phát triển bền vững của ngành du lịch Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1 của luận văn cung cấp nghiên cứu khái quát về khái niệm cơ bản phân lớp dữ liệu, bao gồm: phân lớp dữ liệu đơn nhãn, đa nhãn cho văn bản. Cách đánh giá/độ đo mô hình phân lớp đa nhãn để làm cơ sở cho các chương sau. Luận văn cũng đưa ra một số mô hình ứng dụng trong bài toán phân lớp đa nhãn cho văn bản và khái niệm chung về bản thể học (Ontology); các thành phần và truy vấn. Chương 2 của luận văn trình bày chi tiết về mô hình phân lớp đa nhãn, lưu trữ hệ thống thông tin hệ thống văn bản pháp luật của Việt nam trong lĩnh vực du lịch.

Chương này trình bày sâu và chi tiết về ứng dụng mô hình PhoBERT để phân lớp đa nhãn văn bản pháp luật cũng như cách thức xây dựng ontology miền các văn bản pháp luật trong lĩnh vực du lịch. Chương 3 của luận văn triển khai mô hình thực nghiệm bao gồm các bước chuẩn bị dữ liệu, triển khai xây dựng mô hình, đánh giá kết quả và ứng dụng của học máy và ontology trong các lĩnh vực văn bản du lịch Chương 4 của luận văn đánh giá tính hiệu quả của mô hình thực nghiệm, các hạn chế và hướng phát triển trong thời gian tới. CÁC KHÁI NIỆM CƠ BẢN 1. Phân lớp trong văn bản 1.1 Phân lớp đơn nhãn Phân lớp đơn nhãn là một phương pháp huấn luyện mô hình máy học để dự đoán nhãn của một điểm dữ liệu dựa trên các điểm dữ liệu khác mà đã được gán nhãn.

Trong phân lớp đơn nhãn, mỗi điểm dữ liệu chỉ được gán một nhãn duy nhất. Để huấn luyện mô hình phân lớp đơn nhãn, người ta sử dụng một tập dữ liệu huấn luyện với nhiều điểm dữ liệu đã được gán nhãn. Mô hình sẽ học các quan hệ giữa các điểm dữ liệu và nhãn của chúng, và sau đó sử dụng những gì đã học được để dự đoán nhãn cho các điểm dữ liệu mới.[1] Phân lớp đơn nhãn là một trong những bài toán phân lớp phổ biến nhất trong máy học, và nó có rất nhiều ứng dụng trong thực tế, chẳng hạn như phân loại spam email, phân loại tính cách người dùng, và nhiều ứng dụng khác. Khác với phân lớp đơn nhãn, phân lớp đa nhãn trong đó mỗi điểm dữ liệu có thể được gán nhiều nhãn hơn một.

Trong phân lớp đa nhãn, mô hình sẽ phải học cách dự đoán nhiều nhãn cho mỗi điểm dữ liệu, và có thể sử dụng các phương pháp khác nhau như phân lớp nhiều lớp hoặc phân lớp nhiều đơn vị để thực hiện bài toán này. Phân lớp đa nhãn cho văn bản 1. Phân lớp đa nhãn Phân lớp đa nhãn là một bài toán phân lớp trong học máy nhằm dự đoán nhãn của một đối tượng dựa trên các thuộc tính của nó. Trong phân lớp đa nhãn, mỗi đối tượng có thể thuộc nhiều nhãn khác nhau, trong khi trong phân lớp đơn nhãn, mỗi đối tượng chỉ có thể thuộc một nhãn duy nhất.

Ví dụ, trong một bài toán phân lớp đa nhãn, bạn có thể cố gắng dự đoán nhãn của một bài báo dựa trên nội dung và thể loại báo: tin tức, thể thao, đời sống, kinh tế, v. Mỗi bài báo có thể thuộc nhiều thể loại khác nhau, ví dụ một bài báo vừa có thể thuộc về thể loại tin tức và thể loại kinh tế.1: Học đa nhãn đa thể hiện [9] Để giải quyết bài toán phân lớp đa nhãn, người ta thường sử dụng mô hình huấn luyện sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên như phân tích từ vựng, tạo ma trận tính tương đồng từ và sử dụng các mô hình phân lớp như Naive Bayes hay mô hình hồi quy logistic để dự đoán nhãn cho mỗi đối tượng. Hiện nay, các mô hình học sâu như BERT và Transformer được sử dụng rộng rãi để giải quyết bài toán phân lớp đa nhãn và đạt được kết quả tốt hơn so với các mô hình truyền thống. Với sự phát triển của công nghệ máy học sâu, các mô hình hiện đại như BERT, RoBERTa, XLNet và GPT đã trở thành các lựa chọn phổ biến để giải quyết bài toán phân lớp đa nhãn.

Ở mức cải tiến hơn của bài toán phân lớp đa nhãn là phân lớp đa nhãn đa thể hiện. Phân lớp đa nhãn đa thể hiện là một dạng bài toán phân lớp mà mỗi mục dữ liệu có thể có nhiều nhãn khác nhau. Trong phân lớp đa nhãn đa thể hiện, mỗi mục dữ liệu được biểu diễn bởi nhiều thể hiện và mỗi thể hiện có thể có một hoặc nhiều nhãn. Phân lớp đa nhãn đa thể hiện được khai báo chung như sau: Có một tập nhãn, và mỗi mục dữ liệu trong tập dữ liệu có thể thuộc về nhiều nhãn khác nhau và có thể được biểu diễn bởi nhiều thể hiện.

Kỹ thuật phân lớp đa nhãn Phân lớp đa nhãn được chia thành hai nhóm tiếp cận chính là tiếp cận chuyển đổi bài toán và tiếp cận thích nghi thuật toán.2: Hai tiếp cận học đa nhãn [10] Chuyển đổi bài toán là một phương pháp sử dụng để chuyển đổi một bài toán phân lớp đa nhãn thành một hoặc nhiều bài toán phân lớp đơn nhãn (phân lớp đa lớp hoặc phân lớp nhị phân) hoặc bài toán hồi quy. Theo tiếp cận này, các bộ phân lớp đơn nhãn được thực hiện trên từng nhãn riêng biệt, sau đó các dự đoán phân lớp đơn nhãn được kết hợp lại để tạo ra kết quả dự đoán đa nhãn. Phương pháp này khá linh động vì 13 nó có thể sử dụng bất kỳ bộ phân lớp đơn nhãn nào, như máy vectơ hỗ trợ SVM, Naïve Bayes, k láng giềng gần nhất kNN và Perceptrons. [6] Ưu điểm của phương pháp: Thứ nhất là tính linh động: Phương pháp này khá linh động vì có thể sử dụng bất kỳ bộ phân lớp đơn nhãn nào như Máy vectơ hỗ trợ SVM, Naïve Bayes, k láng giềng gần nhất kNN và Perceptrons.

Thứ hai là tính hiệu quả: Phương pháp này đã đạt được kết quả tốt trong các bài toán phân lớp đa nhãn và có thể được áp dụng để giải quyết các bài toán phân lớp đa nhãn khác nhau. Nhược điểm của phương pháp: Thứ nhất là độ phức tạp cao: Việc sử dụng nhiều bộ phân lớp đơn nhãn có thể gây ra độ phức tạp trong việc xây dựng và huấn luyện mô hình. Thứ hai là không thể học từ các đặc trưng không liên quan: Phương pháp này không thể học từ các đặc trưng không liên quan đến nhãn, do đó có thể không tối ưu trong các trường hợp có sự tương quan giữa các đặc trưng Thích nghi thuật toán là phương pháp mở rộng các thuật toán học phân lớp đơn nhãn đã được biết để áp dụng trực tiếp giải quyết bài toán phân lớp đa nhãn. Điển hình, các thuật toán phân lớp đơn nhãn được chọn lựa để thích nghi bao gồm AdaBoost, cây quyết định và thuật toán học lười.

[6] Các thuật toán này được mở rộng bằng cách áp dụng chúng tới mỗi nhãn riêng biệt trong bài toán phân lớp đa nhãn và sau đó kết hợp các dự đoán đơn nhãn thành một kết quả dự đoán đa nhãn. Các ưu điểm có thể nhận biết là: Thứ nhất là tính đơn giản. Phương pháp này không yêu cầu sự hiểu biết về cách sử dụng các mô hình khác nhau như mô hình hồi quy hoặc mô hình mạng neuron, và có thể sử dụng bất kỳ thuật toán phân lớp đơn nhãn nào. 14 Thứ hai là tính hiệu quả.

Phương pháp này đã đạt được kết quả tốt trong các bài toán phân lớp đa nhãn và có thể được áp dụng để giải quyết các bài toán phân lớp đa nhãn khác nhau. Thứ ba là tính linh động. Phương pháp này khá linh động vì nó có thể sử dụng bất kỳ thuật toán phân lớp đơn nhãn nào, như AdaBoost, cây quyết định và thuật toán học lười, và có thể áp dụng cho các bài toán phân lớp đa nhãn khác nhau. Tuy nhiên, phương pháp này cũng có một số nhược điểm, bao gồm: Thứ nhất là độ phức tạp cao.

Việc sử dụng nhiều thuật toán phân lớp đơn nhãn có thể gây ra độ phức tạp trong việc xây dựng và huấn luyện mô hình. Thứ hai là hiệu suất không cao. Phương pháp này có thể không đạt hiệu suất tốt như các phương pháp khác như sử dụng mô hình hồi quy hoặc mô hình mạng neuron trong một số trường hợp. Thứ ba là không thể học từ các đặc trưng không liên quan.

Phương pháp này không thể học từ các đặc trưng không liên quan đến nhãn, do đó có thể không tối ưu trong các trường hợp có sự tương quan giữa các đặc trưng và nhãn. Ứng dụng của phân lớp đa nhãn Phân lớp đa nhãn là một khía cạnh quan trọng của học máy và có rất nhiều ứng dụng trong các lĩnh vực khác nhau. Một trong những ứng dụng phổ biến nhất của phân lớp đa nhãn là trong việc xử lý ngôn ngữ tự nhiên. Nó có thể được sử dụng để phân loại văn bản theo nhãn, ví dụ như phân loại bài báo thể thao thành các chuyên mục khác nhau hoặc phân loại câu hỏi trong một trang web hỏi đáp thành các chủ đề khác nhau.

Phân lớp đa nhãn cũng có thể được sử dụng trong việc phân loại hình ảnh theo nhãn, ví dụ như phân loại hình ảnh về thực vật hoặc động vật. Ngoài ra, phân lớp đa nhãn còn có thể được sử dụng trong các ứng dụng khác như phân tích phản hồi khách hàng hoặc phân tích dữ liệu thống kê. Độ đo mô hình phân lớp đa nhãn Để đánh giá hiệu quả của mô hình phân lớp đa nhãn, có một số chỉ số được sử dụng thường xuyên: Chính xác (accuracy): Đây là tỉ lệ số lượng các mục được phân lớp đúng so với tổng số mục được phân lớp. Độ dốc (precision): Đây là tỉ lệ số lượng các mục được phân lớp đúng trong nhóm các mục được phân lớp vào một nhãn cụ thể so với tổng số lượng các mục được phân lớp vào nhãn đó.

Độ tương đồng (recall): Đây là tỉ lệ số lượng các mục được phân lớp đúng trong nhóm các mục thuộc một nhãn cụ thể so với tổng số lượng các mục thuộc nhãn đó. Độ F1: Đây là một chỉ số trung bình cân bằng giữa độ dốc và độ tương đồng, được tính bằng công thức: F1 = 2 * (precision * recall) / (precision + recall) Ngoài ra, còn có nhiều chỉ số khác có thể được sử dụng để đánh giá hiệu quả của mô hình phân lớp đa nhãn, như: độ tương đồng tuyệt đối (absolute recall), độ tương đồng tuyệt đối trung bình (mean absolute recall), độ tương đồng trung bình (mean recall) và độ tương đồng trung bình trung vị (median recall).