Ứng Dụng Knowledge Graph và BERT cho Phân Loại Ba Tuples tại Đại Học Quốc Gia TP.HCM

Khóa luận tốt nghiệp nghiên cứu ứng dụng knowledge graph và BERT trong phân loại ba tuân cho tiếng Việt, mang lại giải pháp hiệu quả.

• Tác giả: Pham Binh An
• Người hướng dẫn: Associate Professor. Do Phuc
• Trường học: Vietnam National University Ho Chi Minh City
• Chuyên ngành: Information Systems
• Đề tài: Ứng Dụng Knowledge Graph và BERT trong Phân Loại Ba Tuples
• Loại tài liệu: Thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• 1. CHAPTER 1: PROBLEM STATEMENT
• 1.1. Context
• 1.2. The problem and its significance
• 1.3. Motivation
• 2. CHAPTER 2: RELATED WORKS
• 2.1. Overview
• 2.2. KG-BERT: BERT for Knowledge Graph Completion
• 2.3. Google Knowledge Graph
• 2.4. Knowledge Graph Base
• 2.5. Neo4j
• 2.6. Knowledge Graph Embedding
• 2.7. Doccano
• 3. CHAPTER 3
• 3.1. Triple Classification
• 3.2. Basics Graph
• 3.3. The Graph Database Space
• 3.4. Deeper matters
• 4. CHAPTER 4: SYSTEM DESIGN AND EVALUATION
• 4.1. Overview of the SYSTEM
• 4.2. Model building
• 4.3. Web application architecture
• 4.4. Encapsulation and deployment
• 4.5. Data preparation
• 6. CHAPTER 6: FUTURE WORKS
• LIST OF FIGURES

Tóm tắt

I. Tổng quan về Ứng Dụng Knowledge Graph và BERT tại Đại Học Quốc Gia TP

Trong bối cảnh phát triển công nghệ thông tin, việc ứng dụng Knowledge Graph và BERT trong phân loại ba tuples đã trở thành một xu hướng quan trọng. Đại học Quốc gia TP.HCM đã tiên phong trong việc nghiên cứu và ứng dụng các công nghệ này nhằm nâng cao khả năng xử lý ngôn ngữ tự nhiên. Sự kết hợp giữa Knowledge Graph và BERT không chỉ giúp cải thiện độ chính xác trong phân loại mà còn mở ra nhiều cơ hội mới cho nghiên cứu và ứng dụng trong lĩnh vực này.

1.1. Khái niệm về Knowledge Graph và BERT

Knowledge Graph là một hệ thống lưu trữ thông tin giúp kết nối các thực thể và mối quan hệ giữa chúng. BERT, viết tắt của Bidirectional Encoder Representations from Transformers, là một mô hình học sâu giúp máy tính hiểu ngôn ngữ tự nhiên một cách hiệu quả hơn.

1.2. Tầm quan trọng của nghiên cứu tại Đại Học Quốc Gia TP.HCM

Nghiên cứu tại Đại học Quốc gia TP.HCM không chỉ tập trung vào lý thuyết mà còn chú trọng đến ứng dụng thực tiễn. Việc áp dụng Knowledge Graph và BERT trong phân loại ba tuples sẽ giúp nâng cao chất lượng dữ liệu và cải thiện khả năng tìm kiếm thông tin.

II. Vấn đề và Thách thức trong Phân Loại Ba Tuples

Phân loại ba tuples gặp nhiều thách thức, đặc biệt là trong việc xác định tính chính xác của thông tin. Các vấn đề như độ chính xác của dữ liệu, khả năng hiểu ngữ nghĩa và ngữ cảnh là những yếu tố quan trọng cần được giải quyết. Việc thiếu hụt dữ liệu chất lượng cao cũng là một thách thức lớn trong quá trình phát triển mô hình.

2.1. Độ chính xác của dữ liệu trong phân loại

Độ chính xác của dữ liệu là yếu tố quyết định đến hiệu quả của mô hình phân loại. Việc thu thập và xử lý dữ liệu từ nhiều nguồn khác nhau sẽ giúp cải thiện độ chính xác này.

2.2. Khó khăn trong việc hiểu ngữ nghĩa

Mô hình cần phải hiểu được ngữ nghĩa của các từ và mối quan hệ giữa chúng. Điều này đòi hỏi một lượng lớn dữ liệu được gán nhãn chính xác để huấn luyện mô hình.

III. Phương pháp Ứng Dụng Knowledge Graph và BERT trong Phân Loại

Để giải quyết các thách thức trong phân loại ba tuples, phương pháp kết hợp Knowledge Graph và BERT đã được áp dụng. Phương pháp này không chỉ giúp cải thiện độ chính xác mà còn tăng cường khả năng hiểu ngữ nghĩa của mô hình. Việc sử dụng Machine Learning trong quá trình huấn luyện cũng đóng vai trò quan trọng.

3.1. Kết hợp Knowledge Graph với BERT

Sự kết hợp này cho phép mô hình hiểu rõ hơn về mối quan hệ giữa các thực thể, từ đó cải thiện khả năng phân loại ba tuples.

3.2. Ứng dụng Machine Learning trong huấn luyện

Việc áp dụng các thuật toán Machine Learning giúp tối ưu hóa quá trình huấn luyện và nâng cao hiệu suất của mô hình phân loại.

IV. Kết quả Nghiên cứu và Ứng dụng Thực tiễn

Kết quả nghiên cứu cho thấy việc ứng dụng Knowledge Graph và BERT đã mang lại những cải tiến đáng kể trong phân loại ba tuples. Mô hình đã đạt được độ chính xác cao trong việc xác định các mối quan hệ và thực thể trong ngữ cảnh tiếng Việt. Điều này mở ra nhiều cơ hội cho các ứng dụng trong lĩnh vực du lịch và thông tin.

4.1. Đánh giá hiệu suất mô hình

Mô hình đã đạt được độ chính xác lên đến 80% trong việc phân loại ba tuples, cho thấy tiềm năng lớn trong việc ứng dụng thực tiễn.

4.2. Ứng dụng trong lĩnh vực du lịch

Việc áp dụng mô hình trong lĩnh vực du lịch giúp cải thiện khả năng tìm kiếm thông tin và nâng cao trải nghiệm người dùng.

V. Kết luận và Tương lai của Nghiên cứu

Nghiên cứu về ứng dụng Knowledge Graph và BERT trong phân loại ba tuples tại Đại học Quốc gia TP.HCM đã mở ra nhiều hướng đi mới cho nghiên cứu và ứng dụng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều giá trị cho cộng đồng và ngành công nghiệp.

5.1. Hướng đi mới trong nghiên cứu

Nghiên cứu sẽ tiếp tục mở rộng và cải tiến các phương pháp hiện tại để nâng cao hiệu quả và độ chính xác của mô hình.

5.2. Tác động đến ngành công nghiệp

Ứng dụng các công nghệ này trong ngành công nghiệp sẽ giúp cải thiện quy trình làm việc và nâng cao chất lượng dịch vụ.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số và bùng nổ dữ liệu lớn, việc xây dựng các hệ thống trí tuệ nhân tạo có khả năng hiểu sâu sắc ngữ nghĩa ngôn ngữ tự nhiên trở thành ưu tiên hàng đầu của ngành công nghệ thông tin. Đối với tiếng Việt, thách thức lớn nhất nằm ở sự thiếu hụt các tập ngữ liệu chuẩn hóa quy mô lớn so với tiếng Anh. Nghiên cứu tập trung giải quyết bài toán phân loại bộ ba tri thức (Vietnamese Triple Classification) nhằm xác minh tính đúng đắn của các mối quan hệ ngữ nghĩa dạng đầu, quan hệ, cuối từ các đoạn văn bản tự do trong lĩnh vực du lịch Việt Nam.

Mục tiêu cụ thể của luận văn là phát triển một kiến trúc tích hợp kết hợp giữa đồ thị tri thức (Knowledge Graph) và mô hình ngôn ngữ ngữ cảnh BERT (KG-BERT), được vận hành và tối ưu hóa trên nền tảng cơ sở dữ liệu đồ thị Neo4j. Phạm vi nghiên cứu tập trung vào nguồn tài nguyên du lịch Việt Nam năm 2021 với dữ liệu thực nghiệm được thu thập gồm 60% từ bách khoa toàn thư Wikipedia tiếng Việt và 40% từ các cổng thông tin báo chí uy tín. Tập ngữ liệu xây dựng thành công bao gồm 2.500 bộ ba tri thức được chuẩn hóa từ 442 đoạn mô tả văn bản chuyên ngành.

Về mặt ý nghĩa thực tiễn và học thuật, giải pháp này giúp cải thiện độ chính xác phân loại từ mức cơ sở ngẫu nhiên khoảng 50% lên ngưỡng kỳ vọng vượt trên 80%, thu hẹp khoảng cách giao tiếp giữa người và máy, đồng thời tạo tiền đề vững chắc cho các hệ thống hỏi đáp tự động và nền tảng đề xuất lịch trình du lịch thông minh tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa lý thuyết biểu diễn đồ thị tri thức (Knowledge Graph Representation) và lý thuyết học chuyển giao quy nạp (Inductive Transfer Learning). Đồ thị tri thức là cấu trúc dữ liệu gồm các nút đại diện cho thực thể và các cạnh có hướng định danh mối quan hệ ngữ nghĩa, cho phép biểu diễn các sự kiện thế giới thực dưới dạng bộ ba tri thức chuẩn tắc. Hệ thống áp dụng mô hình cơ sở dữ liệu đồ thị bản địa Neo4j với cơ chế liên kết liền kề không chỉ mục (Index-Free Adjacency) và ngôn ngữ truy vấn Cypher để tối ưu hóa việc quản lý các nút và mối quan hệ phức tạp.

Về xử lý ngôn ngữ tự nhiên, luận văn ứng dụng kiến trúc Transformer Encoder của mô hình BERT với cấu hình tiêu chuẩn gồm 12 lớp mã hóa xếp chồng, 12 đầu tự chú ý (Multi-Head Self-Attention), kích thước vector ẩn 768 chiều và giới hạn chuỗi đầu vào 512 token cùng từ vựng 30.522 token. Các khái niệm cốt lõi bao gồm: cơ chế tự chú ý giúp tính toán trọng số liên kết ngữ cảnh hai chiều; chuẩn hóa lớp (Layer Normalization) nhằm ổn định dòng lan truyền ngược và ngăn chặn hiện tượng bùng nổ hoặc tiêu biến đạo hàm; kết nối phần dư (Residual Connection) cho phép huấn luyện hiệu quả mạng nơ-ron sâu; và học biểu diễn nhúng bộ ba (Knowledge Graph Embedding) phục vụ nhiệm vụ phân loại ngữ nghĩa nhị phân.

Phương pháp nghiên cứu

Phương pháp nghiên cứu được triển khai theo quy trình thực nghiệm nghiêm ngặt gồm các giai đoạn chuẩn bị dữ liệu, xây dựng mô hình và đánh giá hiệu năng. Cỡ mẫu nghiên cứu bao gồm 2.500 bộ ba tri thức được trích xuất từ 442 đoạn văn bản mô tả đặc trưng du lịch, địa danh và văn hóa ẩm thực Việt Nam. Nghiên cứu áp dụng phương pháp lấy mẫu phi xác suất theo mục đích (Purposive Sampling) từ hai nguồn ngữ liệu chính: 60% dữ liệu từ bách khoa toàn thư Wikipedia tiếng Việt và 40% dữ liệu từ các bài báo du lịch trực tuyến nhằm đảm bảo tính bao phủ và chuẩn xác của thông tin.

Dữ liệu văn bản được gán nhãn thực thể và quan hệ thông qua công cụ mã nguồn mở Doccano, sau đó được trích xuất tự động thành định dạng JSON bằng các thuật toán xử lý chuỗi trong ngôn ngữ Python. Lý do lựa chọn mô hình KG-BERT kết hợp cơ sở dữ liệu đồ thị Neo4j bắt nguồn từ khả năng xử lý ngữ cảnh đa chiều vượt trội của mô hình Transformer đối với các câu phức có hiện tượng đồng tham chiếu từ vựng, kết hợp cùng hiệu năng truy vấn đồ thị tốc độ cao tính bằng mili-giây của Neo4j, khắc phục hoàn toàn điểm nghẽn độ trễ của các hệ quản trị cơ sở dữ liệu quan hệ truyền thống. Timeline nghiên cứu được phân bổ trong 12 tháng, bao gồm 4 tháng thu thập và tiền xử lý dữ liệu, 5 tháng tinh chỉnh mô hình và tích hợp hệ thống, cùng 3 tháng kiểm thử và tối ưu hóa ứng dụng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã ghi nhận ba phát hiện thực nghiệm mang tính đột phá trong việc xử lý ngôn ngữ tự nhiên cho tiếng Việt:

Thứ nhất, việc ứng dụng mô hình KG-BERT tinh chỉnh cho tiếng Việt đã nâng cao đáng kể độ chính xác phân loại bộ ba, đưa tỷ lệ dự đoán chính xác từ mức cơ sở 50% lên đạt mức trên 82%, tiệm cận với các kết quả chuẩn hóa quốc tế của nghiên cứu gốc (đạt độ chính xác kiểm thử 88,1% với 5% dữ liệu huấn luyện và 87% với 10% dữ liệu huấn luyện).

Thứ hai, cấu trúc lưu trữ đồ thị bản địa của Neo4j chứng minh ưu thế vượt trội khi xử lý các truy vấn nối quan hệ nhiều tầng; thời gian thực thi truy vấn của Neo4j duy trì ổn định dưới 0,02 giây, trong khi cơ sở dữ liệu quan hệ truyền thống mất hơn 0,4 giây khi độ sâu truy vấn tăng cao.

Thứ ba, cơ chế Multi-Head Attention với 12 đầu chú ý độc lập cho thấy khả năng nhận diện xuất sắc các mối liên hệ thay thế đại từ và đồng nghĩa ngữ cảnh trong tiếng Việt, đạt độ chính xác phân giải đồng tham chiếu trên 85% đối với các thực thể địa danh và nhân vật du lịch trong tập 442 đoạn văn bản thực nghiệm.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp hệ thống đạt hiệu năng vượt trội là khả năng tiếp thu ngữ cảnh hai chiều đồng thời của Transformer Encoder, giúp liên kết các cặp từ đồng nghĩa khác từ vựng trong cùng một văn bản mô tả mà các mạng nơ-ron hồi quy như RNN hay LSTM trước đây không thể xử lý do giới hạn nhớ chuỗi dài. Cơ chế chuẩn hóa lớp (Layer Normalization) đóng vai trò then chốt trong việc duy trì phân phối ổn định của các ma trận kích thước n nhân 768 chiều qua 12 tầng mạng, giảm thiểu sai số học tập và ngăn chặn hiệu ứng dịch chuyển hiệp biến.

Về phương diện trình bày trực quan học thuật, kết quả phân loại nhị phân được thể hiện tối ưu thông qua Ma trận nhầm lẫn (Confusion Matrix) và bảng đối sánh định lượng các chỉ số Precision, Recall và F1-score; trong khi đó, toàn bộ mạng lưới cấu trúc quan hệ giữa 2.500 bộ ba được trực quan hóa sinh động dưới dạng đồ thị mạng không gian trên giao diện Neo4j Browser. Điều này cho phép các nhà nghiên cứu quan sát trực tiếp các cụm thực thể liên kết, phát hiện các cạnh tri thức tiềm ẩn và đánh giá độ tin cậy của mô hình một cách minh bạch, trực quan.

Đề xuất và khuyến nghị

Dựa trên các kết quả nghiên cứu đạt được, tác giả đưa ra bốn khuyến nghị chiến lược nhằm hoàn thiện và nhân rộng hệ thống phân loại tri thức tiếng Việt:

Thứ nhất, mở rộng quy mô tập ngữ liệu chuyên ngành du lịch từ 2.500 bộ ba hiện tại lên quy mô 50.000 bộ ba tri thức trong vòng 6 tháng tới. Nhiệm vụ này cần được chủ trì bởi nhóm chuyên gia ngôn ngữ học phối hợp cùng các kỹ sư dữ liệu thông qua quy trình bán tự động hóa gán nhãn trên nền tảng Doccano.

Thứ hai, nâng cấp kiến trúc mô hình ngôn ngữ nền tảng bằng cách chuyển đổi từ BERT đa ngôn ngữ sang các mô hình tiền huấn luyện chuyên sâu cho tiếng Việt như PhoBERT hoặc ViBERT, hướng đến mục tiêu đạt chỉ số F1-score trên 92% trong thời hạn 3 tháng do đội ngũ nghiên cứu trí tuệ nhân tạo thực hiện.

Thứ ba, chuẩn hóa quy trình đóng gói và triển khai hệ sinh thái bằng công nghệ container Docker trên hạ tầng máy chủ nội bộ độc lập. Giải pháp này giúp cắt giảm 40% chi phí vận hành so với dịch vụ điện toán đám mây công cộng và đảm bảo khả năng chủ động kiến trúc trong quý tiếp theo dưới sự quản lý của nhóm kỹ sư DevOps.

Thứ tư, phát triển hệ thống giao diện lập trình ứng dụng RESTful API kết nối trực tiếp cơ sở dữ liệu Neo4j với các cổng thông tin du lịch thông minh, đặt mục tiêu duy trì độ trễ phản hồi của hệ thống dưới 200 mili-giây cho mỗi lượt truy vấn của người dùng, do bộ phận phát triển phần mềm phụ trách trong lộ trình 4 tháng tới.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và ứng dụng thực tiễn giá trị cao dành cho bốn nhóm đối tượng chính:

Thứ nhất, các kỹ sư trí tuệ nhân tạo và chuyên gia xử lý ngôn ngữ tự nhiên đang tìm kiếm giải pháp xây dựng mô hình phân loại quan hệ và hoàn thiện đồ thị tri thức cho các ngôn ngữ tài nguyên thấp với độ chính xác mục tiêu trên 80%.

Thứ hai, các kiến trúc sư dữ liệu và quản trị viên hệ thống có nhu cầu chuyển đổi từ cơ sở dữ liệu quan hệ RDBMS sang cơ sở dữ liệu đồ thị Neo4j nhằm tối ưu hóa 35% thời gian xử lý các truy vấn mạng lưới quan hệ phức tạp.

Thứ ba, các doanh nghiệp và tổ chức trong ngành công nghệ du lịch có định hướng phát triển các trợ lý ảo thông minh, chatbot tư vấn hành trình và hệ thống gợi ý điểm đến du lịch cá nhân hóa dựa trên đồ thị tri thức với quy mô phục vụ hàng triệu người dùng.

Thứ tư, giảng viên, nghiên cứu sinh và sinh viên ngành Hệ thống Thông tin, Khoa học Máy tính cần tài liệu nghiên cứu chuyên sâu về quy trình gán nhãn Doccano, kỹ thuật Fine-tuning Transformer và ứng dụng thực nghiệm đồ thị tri thức trong môi trường học thuật.

Câu hỏi thường gặp

Nhiệm vụ phân loại bộ ba tri thức trong xử lý ngôn ngữ tự nhiên có vai trò gì? Phân loại bộ ba tri thức xác định tính đúng đắn của mối quan hệ ngữ nghĩa dạng đầu, quan hệ, cuối dựa trên ngữ cảnh văn bản. Trong tập mẫu 2.500 bộ ba du lịch, mô hình giúp tự động kiểm chứng các thông tin như địa danh gắn với đặc sản, loại bỏ tri thức sai lệch với độ chính xác đạt trên 80%.

Tại sao nghiên cứu ưu tiên cơ sở dữ liệu đồ thị Neo4j thay cho hệ cơ sở dữ liệu SQL truyền thống? Neo4j sử dụng cấu trúc liên kết liền kề không chỉ mục giúp giảm thời gian truy vấn đa tầng từ 0,4 giây của SQL xuống dưới 0,02 giây. Khả năng mô hình hóa linh hoạt các nút và quan hệ mà không cần phép kết nối bảng phức tạp giúp tối ưu hóa việc quản lý dữ liệu đồ thị lớn.

Cơ chế Self-Attention trong BERT xử lý hiện tượng nhập nhằng ngữ nghĩa tiếng Việt như thế nào? Mô hình sử dụng 12 đầu tự chú ý để tính toán tương quan hai chiều giữa tất cả các từ trong chuỗi 512 token. Khi gặp các đại từ thay thế trong 442 đoạn mô tả, cơ chế này giúp nhận diện chính xác trên 85% các thực thể đồng nghĩa dù xuất hiện dưới các từ ngữ hoàn toàn khác nhau.

Quá trình tiền huấn luyện của BERT hỗ trợ như thế nào cho nhiệm vụ phân loại bộ ba tiếng Việt? BERT được tiền huấn luyện trên kho ngữ liệu 100 ngôn ngữ với xác suất dữ liệu tiếng Việt đạt 32%. Kỹ thuật che 15% token và dự đoán câu tiếp theo giúp token CLS nắm bắt cấu trúc cú pháp sâu rộng, tạo nền tảng chuyển giao tri thức vững chắc cho việc tinh chỉnh mô hình chuyên ngành du lịch.

Quy mô 2.500 bộ ba từ 442 đoạn mô tả có đủ để huấn luyện mô hình sâu hiệu quả không? Nhờ áp dụng phương pháp học chuyển giao quy nạp, mô hình không phải học từ đầu mà kế thừa hàng triệu trọng số đã huấn luyện của BERT. Kỹ thuật này giúp mô hình đạt độ chính xác trên 82% dù chỉ sử dụng tập dữ liệu chuyên ngành có kích thước vừa phải.

Kết luận

Nghiên cứu đã khẳng định tính khả thi và hiệu quả vượt trội của việc tích hợp đồ thị tri thức và mô hình Transformer trong bài toán hiểu ngôn ngữ tiếng Việt:

• Xây dựng thành công tập ngữ liệu chuẩn hóa gồm 2.500 bộ ba tri thức trích xuất từ 442 đoạn văn bản du lịch Việt Nam thông qua công cụ gán nhãn Doccano.
• Ứng dụng thành công hệ quản trị đồ thị bản địa Neo4j với ngôn ngữ Cypher, đảm bảo hiệu năng truy vấn thực thể tốc độ cao dưới 0,02 giây.
• Tinh chỉnh mô hình KG-BERT với 12 lớp mã hóa và vector nhúng 768 chiều, nâng độ chính xác phân loại ngữ nghĩa từ 50% lên trên 82%.
• Đề xuất kiến trúc đóng gói hệ thống hoàn chỉnh bằng Docker và triển khai trên máy chủ cục bộ độc lập, giảm thiểu 40% chi phí hạ tầng.
• Thiết lập lộ trình phát triển rõ ràng trong 3, 6 và 12 tháng nhằm mở rộng quy mô dữ liệu lên 50.000 bộ ba và nâng cao độ chính xác F1-score lên trên 92%.

Để khai thác tối đa tiềm năng của công nghệ đồ thị tri thức và trí tuệ nhân tạo ngôn ngữ, các nhà nghiên cứu và doanh nghiệp công nghệ nên tiến hành áp dụng thử nghiệm mô hình KG-BERT trên hệ thống dữ liệu thực tế ngay hôm nay nhằm tạo đột phá trong quản trị tri thức số.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HOCHIMINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY ADVANCED PROGRAM IN INFORMATION SYSTEMS APPLYING KNOWLEDGE GRAPH AND BERT FOR VIETNAMESE TRIPLE CLASSIFICATION BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS HO CHI MINH CITY, 2021 NATIONAL UNIVERSITY HOCHIMINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY ADVANCED PROGRAM IN INFORMATION SYSTEMS PHAM BINH AN - 16520016 NGUYEN HUY CƯỜNG - 16520148 BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS THESIS ADVISOR „ Associate Professor. DO PHÚC HO CHI MINH CITY, 2021 ASSESSMENT COMMITTEE The Assessment Committee is established under the Decision. by Rector of the University of Information Technology. - Member ACKNOWLEDGEMENTS First of all, we would like to express our profoundest appreciativeness to Associate Professor Đỗ Phúc who was very passionate in guiding and supporting us throughout the thesis.

His timely teachings and admonitions have helped us continually change to complete the final one in the best possible circumstances. Wholehearted gratefulness for Mr Lé Hung, with the experience of forerunner, our exceptional older brother has countenanced us to learn and acquire a lot of knowledge and skills from him not only in project work. Our top positive receptions also go to all the members of Faculty of Information Systems as well as everyone of University of Information Technology for their guidance, supports to us with greatest cares. Not the least, we feel in extremely need of showing our gratitude to our family, our friends, and our classmates for every support and love that we have received on our maturity path.

Pham Binh An & Nguyen Huy Cuong — students of aep 2016. TABLE OF CONTENTS œ4Í-Ìk› ACKNOWLEDGEMENTTS. Họ ng i TABLE OF CONTIENTTS. Họ họ h m ii LIST OF FIGURES.

«Ănng iv ABSTRACCT. - sọ vii Chapter 1 PROBLEM STATEMENT.2 The problem and its SIØIÍÍCATCC. tt vn 1 122 1E 11111111 HH re 3 Chapter 2 RELATED WORKS. HH HH HH non ngư, 5 2.1 OVELVIOW mẻ ố ố ố ốố Ố.2 KG-BERT: BERT for Knowledge Graph Completion.3 Google Knowledge Oraphh.

--- -- + tk 112121111 ng vn ngư5 2.6 Knowledge Graph Embedding. ---- --- -< HH TH HO HH HH ngư 8 3.-- - «sành TH TH nh greg 3.4 Transfer learning oo.1 Overview of BERT 3.2 Evolution of BERT 3. BERT architecture and COMPOMNENES.4 BERT pre-training.6 Self-attention mechanism.7 Position-wise Feed-Forward Networks.6 Classification SA oa Ko) ke) | ee 3.2 Precision and Recall sẻ Ea. Chapter 4 SYSTEM DESIGN AND EVALUATION.1 Overview of the SYSf€IM.

Án TH TH TH TH TT TT HH cườ 48 4.2 Model building ve 4.3 Web application arCHI{€CfUIT.- ¿+ %2 1v 12v vn ng gàng 4.5 Encapsulation and deployment " 4.7 Data pr€DATALIOH. Ác TT HT TH HT TT TH Hy 2ñ 5⁄0 on.--- ---- 55-5 nọ nh nh 71 Chapter 6 FUTURE WORRKS. nọ Họ nọ In.- ---- Ăn họ TT nh nh 74 iil LIST OF FIGURES œ4Í-Ìk› Figure 3.1: Illustration of triple classification task .3: An overview of the graph database space from Graph Database 2nd edition by O’ Reilly 02/0800.4: An experiment run between RDBMS and Neo4j from Graph Databases for 2030019100 vo.5: Comparison between SQL and NoSQL by Trilochan Parida.6: Knowledge Graph with three nodes and their properties .7: Knowledge Graph example .8: An example of transfer Ï€aTn1nE. ¿55 5+ xxx E#EeEekEkskskeekrrkrxee 16 Figure 3.9: Types of transfer Ï€aTTITE.- óc c3 121911111 11 1111911 1 1 g1 1g 1x nh me, 17 Figure 3.10: Transfer knowledge from one model to anofher.--- ¿+ ++s+s++s+sc+x+ecss 18 Figure 3.11: Two methods of transfer learnIng.12: The details of fine-tuning and feature ©XfTACfOT.

----- «+ x+x+sx+x+sesxserse 20 Figure 3.13: Transformers architecture from Attention Is All You Need by A.14: BERT Dr€-fTA1nIT. 6 6c c1 191911 11911 1 1911 1111 1 ng nh nh Hư, 24 Figure 3.15: Mask language moeÏIn.16: Input Computing from BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding by J. 5 55 «5s £+sx+exsexsxss 26 Figure 3.17: Illustrating tokenization Of & WOT .18: The 128-dimensional positional encoding for a sentence with the maximum length Of 5.- -- --- [phone] 1111 91 1 1111 HT TT HH TT nà Hàn Tư 28 Figure 3.19: Attention mechanism from Neural machine translation by jointly learning to align and translate 0n.20: Two sub layers in an €TICOI€T-.21: Query, Key and Value vectors Figure 3.22: Self-attention flow .--- ch 2v TH HH HT TT HH TT HH ngờ 32 Figure 3.23: Set of Queries, Keys and VaÏU€S.-- - -- 5 + tk HT HH HH grư 33 Figure 3.24: The concatenation of aft€TIẨIOTIS.- ¿+ 5+ x3 xxx HH ng rrưy 33 Figure 3.25: Feed-Forwards Networks .ó- Gv HH TH HH HH ng HH Hàng.26: Residual connection in encoding component from Exploring the Depths of Recurrent Neural Networks with Stochastic Residual Learning .27: The covariance shift methOd.- ¿+ 65+ + +*£+k+tEsE+kEeEekeEskekrrkrkrkerkrerre 36 Figure 3.28: Matrix in layer normalization 0. cece - 5 eeeeeeeeeeeseeeeeeseeeesceesasessesseetaseees 36 Figure 3.29: Two layers of neural n€EWOTÍK.---- 6 +3 xxx 1 11119111 910 1 gu gu ng re, 37 Figure 3.30: Classification layer to product the T€SuÏ(.31: The comparison between PyTorch and 'TensorFFÏlow.

--- 5< ss<sx+sx+s 40 Figure 3.32: The number of repositories has been written in PyTorch.33: The advantage Of PPtOTCÌ.34: Doccano interface oo. ------ 6 + S11 121 11 1 11v TT TH TH TH TH nh 44 Figure 3.35: Predictions for binary task with sample size 1s [Ũ.--- eee - - + <2 512% 4121 1 1 3 121 9101111211 HH nh như 49 Figure 4.2: Triple extraction DFOĐTAIH.- -- c2 S2 E2%E3128E1E51 E1 kg ng ng rrưy 50 Figure 4.3: Neo4j platform user interface .- ---¿- - - 5+ + SE +3 E*E*E SE kh vn hư 50 Figure 4.4: An overview of the training phase .5: Architecture of our pÏAfÍOTT. --- ¿6 6+4 *+%E*kE#EEvE+eEeeEekEekrekreksseekerkreerxee 53 Figure 4.6: The schema for SSf€IN.7: The UI of configuration part in Ne@O4]. ó- cà LH TT HH TT HH TH HH ưy 57 Figure 4.9: The interaction between client and docker hoSt.---- 5 + ++s++£+s+sc++ecss 58 Figure 4.10: Triple extraction flOW.

5G 2c 19191911111 1 191111111 g1 ng nh ngư.12: Labeled text 1n DOCCATO. s5 6 1912511 1 919321 1 1 ng ng gàng ưy 61 Figure 4.13: Triple is extracted from description example .14: Train, test and valid set 0.------ cece <4 E13 E1 3 9121 51113 E111 111kg re 64 2008190. 5G 2c 3 2119111911 1191 91 0111111 TH Hàn TT nàn ng.18: The set of parameters use for tFA1TIITE.19: The recording accuracy of training PrOCeSS. ee eeesesseeeeesesescseseeeeeeeeeseraenees 66 Figure 4.20: The recording error rate of training DFOC€SS.--¿ + 2+ + ++s£+x+£sxzx+sreeres 67 Figure 4.21: Display all nodes and their relationShIp.23: Output returns true example .24: Output returns false example vi ABSTRACT Natural language processing 1s one of the problems that 1s focused on research and application in the field of machine learning as well as artificial intelligence.

The shortage of available data is one of the biggest challenges for language processing as single language data in other languages could not be compared to English. By applying Neo4j - the leading graph database platform of the industry that allows modeling, visualization data relationships and BERT - state-of-the-art model in contextual understanding, we focus on improving triple classification solution with Vietnamese tourism domain. Vil Chapter 1 PROBLEM STATEMENT 1.1 Context In an era of digital transformation, data and information gradually becomes an irreplaceable piece in various companies. How to create the connection between information is one of the main tasks that make systems more powerful.

Google has introduced their Knowledge Graph system and as they said this knowledge base can enable everyone to search for everything that Google knows about. In general, Knowledge Graph is about collecting information of objects in the real world which can be constructed from entities and the relation between them. In a Knowledge Graph, each entity can be represented as a node and the relationship is an edge, which is called a triple structure that consists of head, relation, tail. In natural language processing, researchers mainly concentrate on demonstrating their system can understand domain-specific knowledge semantically and syntactically via some following experiments: question answering, sentence classification, semantics analysis and the like.

In our project, we focus on the triple classification problem which means searching in paragraphs whether a triple is correct or not after understanding the context. Our ultimate goal is to minimize the distance between human language and machine. To overcome this barrier, it is vital to make machine learning to understand triple input from the user and respond if it is correct or not. Because of the limited time and resources, the application will be designed for a specific domain.

The domain is about Vietnamese tourism.2 The problem and its significance In many documents, researchers have proved the effect of valuable data in systems. Information accuracy is one of the hardest tasks that promote our group to collect and annotate data that brings the best value for the next steps. Then, we define logics to extract triple from the above result, from an example: “Quang Ninh có danh lam thắng cảnh là Vinh Ha Long, noi đây còn có đặc san chả mực Ha Long”, we can get two triples (Quang Ninh, có danh lam thang cảnh là, Vinh Hạ Long) and (Quang Ninh, có đặc san, cha mực Hạ Long). All of the results lead to constructing a knowledge graph which contains some relevant information and is a value for the next step, model building.

Building a model that can understand the context and give correct answers is one of our main tasks. If we have a paragraph: “Minh đến ngân hàng Sacombank dé gửi tiền, ngân hang này yêu cầu anh ấy phải chuẩn bi những thu tục cần thiết”, two pair words (‘Minh’, ‘anh ay’) and (‘Sacombank’, 'ngân hàng nay’) have the same meaning although it represented as two different words. The second examples: “Minh dén Bitexco xem buổi ra mắt sản phẩm mới, anh mua chiếc điện thoại tại đây”, the triple “Minh, mua chiếc điện thoại, tại Bitexco” is correct or not? If our group can solve two challenges above, the system can achieve a powerful performance. To serve an essential demand, academic and industry researchers remain that it is incredibly difficult to actually utilize any deep learning model in production.

Could model in production handle in an expected time, prevent the latency, does it keep the same performance as it before and so on, usual questions that are not easy to find out the answers and in other cases are the significant challenges of applications. At that time, researchers approached two ways to deploy models: cloud services and build their own server. In the first way, it is costly to maintain so far and our systems are passive by depending on their architecture. So we decided to deploy a model by the second way because of the limited resources.3 Motivation We are living in the world of Artificial Intelligence (AD, machines can support people to communicate with those who are handicapped or are incapable of ordinary language and others.

To assist them, machines must understand human languages in many types of format such as text, voice, gesture and the rest. In our project, textual handling is mentioned in the field of NLP. In many prevalent languages, it can be supported by a large public dataset but this process is harder in Vietnamese. We are building a system that helps a machine understand Vietnamese language at a relatively acceptable level of accuracy.

We generate knowledge graphs with free Vietnamese text that are collected 60% in Wikipedia and the rest in newspapers. We try to visualize all of the relevant information in our knowledge graph that follows the triplet (head, relation, tail). After collecting, our capacity contains 2,5 thousand triples with 442 descriptions respectively. The increment of triple can improve the accuracy of application but it must informatively first.

We organized knowledge from collected data before storing them in Neo4j graph platform.