ĐẠI HỌC: Phân Tích Ý Định từ Văn Bản Ngắn, Trực Tuyến Tiếng Việt

• Người hướng dẫn: PGS. Phan Xuân Hiếu
• Trường học: Trường Đại học Công nghệ
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Phân Tích Ý Định Từ Văn Bản Ngắn, Trực Tuyến Tiếng Việt
• Loại tài liệu: Luận Án Tiến Sĩ
• Năm xuất bản: 20
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ Ý ĐỊNH VÀ PHÂN TÍCH Ý ĐỊNH
• 1.1. Ý định và thể hiện ý định trong ngôn ngữ
• 1.2. Ý định trong văn bản trực tuyến
• 1.3. Phân tích ý định: bối cảnh khoa học
• 1.3.1. Phân tích và xác định ý định từ truy vấn tìm kiếm
• 1.3.2. Phân tích ý định trong các bài đăng
• 1.4. Một số kỹ thuật khai phá dữ liệu và mô hình học máy
• 1.4.1. Cơ bản về kỹ thuật phân lớp
• 1.4.2. Cơ bản về kỹ thuật trích xuất thông tin
• 1.4.3. Cơ bản về mạng nơ ron
• 1.5. Kết luận chương
• 2. PHÂN TÍCH Ý ĐỊNH TỪ VĂN BẢN TRỰC TUYẾN
• 2.1. Phân tích ý định từ văn bản trực tuyến tiếng Việt
• 2.1.1. Xây dựng dữ liệu thực nghiệm
• 2.1.2. Khó khăn - Thách thức
• 2.2. Định nghĩa ý định người dùng: bối cảnh khoa học
• 2.2.1. Định nghĩa ý định người dùng theo tiếp cận từ điển
• 2.2.2. Định nghĩa ý định người dùng theo hướng cấu trúc
• 2.2.3. Định nghĩa ý định hướng miền quan tâm
• 2.2.3.1. Định nghĩa quan điểm của Bing Liu
• 2.2.3.2. Định nghĩa ý định của Bing Liu
• 2.2.3.3. Định nghĩa ý định hướng miền quan tâm của luận án
• 2.2.4. Tiến trình ba pha phân tích và xác định ý định
• 2.3. Kết luận chương
• 3. PHÁT HIỆN Ý ĐỊNH VÀ XÁC ĐỊNH MIỀN QUAN TÂM CỦA Ý ĐỊNH
• 3.1. Nghiên cứu trên thế giới về phát hiện ý định và xác định miền quan tâm của ý định
• 3.1.1. Phát hiện bài đăng trực tuyến mang ý định
• 3.1.2. Xác định miền quan tâm của ý định
• 3.2. Phát hiện ý định
• 3.2.1. Phát biểu bài toán
• 3.2.2. Mô hình giải quyết bài toán
• 3.2.3. Dữ liệu thực nghiệm
• 3.2.4. Thiết kế thực nghiệm
• 3.2.5. Kết quả thực nghiệm
• 3.3. Xác định miền quan tâm của ý định
• 3.3.1. Phát biểu bài toán
• 3.3.2. Mô hình giải quyết bài toán
• 3.3.3. Xây dựng tập các miền quan tâm
• 3.3.4. Dữ liệu thực nghiệm
• 3.3.5. Thiết kế thực nghiệm
• 3.3.6. Kết quả thực nghiệm
• 3.4. Kết luận chương
• 4. PHÂN TÍCH VÀ TRÍCH CHỌN NỘI DUNG Ý ĐỊNH
• 4.2. Nghiên cứu trên thế giới về trích chọn nội dung ý định
• 4.3. Phát biểu bài toán
• 4.4. Trích chọn ý định theo tiếp cận học máy thống kê và học sâu
• 4.4.1. Xây dựng bộ nhãn thực nghiệm
• 4.4.2. Trích chọn ý định với phương pháp CRFs
• 4.4.3. Trích chọn ý định với phương pháp học sâu Bi–LSTM–CRFs
• 4.4.4. Độ đo đánh giá mô hình thực nghiệm
• 4.4.5. Thời gian thực nghiệm với mỗi mô hình
• 4.4.6. Dữ liệu thực nghiệm
• 4.4.7. Thiết kế thực nghiệm
• 4.4.8. Kết quả thực nghiệm
• 4.5. Trích chọn ý định dựa trên kết hợp các mô hình học sâu
• 4.5.1. Kỹ thuật học kết hợp (ensemble learning)
• 4.5.2. Xây dựng bộ nhãn thực nghiệm
• 4.5.3. Mô hình giải quyết bài toán
• 4.5.4. Dữ liệu thực nghiệm
• 4.5.5. Thiết kế thực nghiệm
• 4.5.6. Kết quả thực nghiệm
• 4.6. Kết luận chương
• 5. PHÂN TÍCH VÀ TRÍCH CHỌN Ý ĐỊNH ĐA MIỀN QUAN TÂM
• 5.2. Nghiên cứu trên thế giới về thích nghi miền trong xác định ý định
• 5.3. Trích chọn nội dung ý định theo tiếp cận đa miền quan tâm
• 5.3.1. Phát biểu bài toán
• 5.3.2. Xây dựng bộ nhãn không phụ thuộc miền
• 5.3.3. Mô hình trích xuất ý định đa miền quan tâm
• 5.3.4. Dữ liệu thực nghiệm
• 5.3.5. Thiết kế thực nghiệm
• 5.3.6. Kết quả thực nghiệm
• 5.3.7. Mô phỏng mô hình trích xuất ý định đa miền quan tâm
• 5.4. Kết luận chương
• KẾT LUẬN
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

I. Luận Án Tiến Sĩ Phân Tích Ý Định Tổng Quan Nghiên Cứu

Luận án tiến sĩ tập trung vào phân tích ý định từ văn bản ngắn trực tuyến tiếng Việt, một lĩnh vực đang thu hút sự quan tâm lớn trong bối cảnh bùng nổ thông tin trên mạng xã hội. Nghiên cứu này có ý nghĩa thực tiễn cao, đặc biệt đối với các hệ thống thương mại điện tử, khuyến nghị và quảng cáo trực tuyến, nơi việc hiểu rõ ý định người dùng là yếu tố then chốt để nắm bắt nhu cầu và định vị khách hàng tiềm năng. Việc tự động thu thập, phân tích và hiểu được ý định của người dùng thông qua những gì họ chia sẻ là chìa khoá quan trọng giúp chúng ta nắm bắt nhu cầu khách hàng nhanh hơn cũng như định vị các khách hàng tiềm năng hiệu quả hơn. Tuy nhiên, bài toán này đặt ra nhiều thách thức, đòi hỏi sự kết hợp giữa xử lý ngôn ngữ tự nhiên (NLP), học máy (Machine Learning) và khai phá dữ liệu văn bản.

1.1. Bối Cảnh và Tầm Quan Trọng Của Phân Tích Ý Định

Trong hơn một thập kỷ qua, sự phát triển bùng nổ của blog, diễn đàn và mạng xã hội đã tạo ra một lượng lớn dữ liệu văn bản trực tuyến. Người dùng chia sẻ thông tin, thể hiện quan điểm, và đặc biệt là chia sẻ những ý định mà họ muốn thực hiện trong tương lai với mong muốn nhận được phản hồi, tư vấn của những người dùng khác. Theo tài liệu nghiên cứu, những chia sẻ như “nhà em đang tìm chiếc suv rộng rãi, bền bỉ, ăn ít xăng để đi làm và cả nhà đi chơi cuối tuần, bác nào có crv hoặc santafe lướt thì inbox em” hay “mình đang tính tổ chức chuyến du lịch cho cả phòng vào hè này...”. Luận án này tập trung vào việc khám phá và tận dụng nguồn dữ liệu phong phú này để nâng cao hiệu quả phân tích ý định.

1.2. Mục Tiêu và Phạm Vi Nghiên Cứu Luận Án

Luận án tiến sĩ này hướng đến việc xây dựng một phương pháp tiếp cận toàn diện cho phân tích ý định từ văn bản ngắn trực tuyến tiếng Việt. Nghiên cứu tập trung vào ba vấn đề trọng tâm: (1) Đề xuất định nghĩa hình thức về ý định có khả năng khái quát được cấu trúc ý định vốn được thể hiện rất đa dạng trong văn bản. (2) Mô hình hoá vấn đề phân tích ý định theo một quy trình xuyên suốt với đầy đủ các bước phát hiện ý định, xác định miền quan tâm, và trích chọn nội dung cụ thể của ý định. (3) Phân tích và hiểu ý định trên đa miền quan tâm, đặc biệt là khả năng mở rộng phân tích ý định cho các miền dữ liệu mới.

II. Thách Thức Phân Tích Ý Định từ Văn Bản Ngắn Tiếng Việt

Việc phân tích ý định từ văn bản ngắn đặt ra nhiều thách thức đáng kể. Ý định rất đa dạng, ngôn ngữ thể hiện ý định có thể gây nhập nhằng. Ý định trong văn bản có thể ở dạng ẩn hoặc gián tiếp. Ngoài ra, việc các văn bản trên diễn đàn, mạng xã hội thường dùng từ địa phương, tiếng lóng, từ viết tắt, ngôn ngữ “teen” cũng gây ra không ít khó khăn cho việc phân tích ý định. Theo luận án, “dòng 7 chỗ xe nào chạy êm nhỉ ? ” không thể hiện rõ người viết muốn mua xe hay chỉ đơn thuần tìm hiểu thông tin. Chính vì vậy, việc nghiên cứu các phương pháp xử lý ngôn ngữ tự nhiên (NLP) và học máy (Machine Learning) phù hợp là vô cùng quan trọng.

2.1. Sự Đa Dạng và Phức Tạp Của Ý Định Trong Văn Bản

Luận án chỉ ra rằng ý định vốn rất đa dạng vì một người có thể thể hiện ý định về bất cứ điều gì tuỳ thuộc vào nhu cầu, mong muốn của họ. Ngôn ngữ thể hiện ý định có thể gây ra nhập nhằng. Ví dụ, câu “mình đang có hoa quả ngon, mẹ nào muốn mua thì inbox nhé ” có ý định là bán hoa quả, nhưng sự hiện diện của cụm từ muốn mua có thể đánh lừa máy tính. Điều này đòi hỏi các mô hình phân tích ý định phải có khả năng xử lý ngữ cảnh và sắc thái ngôn ngữ một cách tinh tế.

2.2. Ảnh Hưởng Của Ngôn Ngữ Mạng Xã Hội Đến Phân Tích Ý Định

Việc sử dụng từ địa phương, tiếng lóng, từ viết tắt, và ngôn ngữ “teen” trong văn bản ngắn trực tuyến tạo ra những rào cản đáng kể cho các hệ thống phân tích ý định. Theo tài liệu, có thể tồn tại nhiều ý định ngay trong một câu văn. Các mô hình cần được huấn luyện với dữ liệu đa dạng và được trang bị khả năng xử lý các biến thể ngôn ngữ khác nhau để đạt được độ chính xác cao.

III. Phương Pháp Xây Dựng Mô Hình Phân Tích Ý Định Tiếng Việt

Luận án đề xuất một quy trình phân tích ý định xuyên suốt, bao gồm các bước: phát hiện ý định, xác định miền quan tâm và trích chọn nội dung cụ thể. Theo đó, các nghiên cứu của Li (2010) [67], Castellanos và cộng sự (2012) [16], Chen và cộng sự (2013) [21], Heyrani–Nobari và cộng sự (2014) [76], Gupta và cộng sự (2014) [35], Wang và cộng sự (2015) [97], Kim và cộng sự (2016) [55], Shang (2017) [92] Labidi và cộng sự (2018) [65] đã đề xuất các phương pháp phù hợp cho từng điều kiện bài toán cụ thể. Mô hình được xây dựng trên cơ sở kết hợp các kỹ thuật học máy (Machine Learning) và xử lý ngôn ngữ tự nhiên (NLP) tiên tiến, chú trọng đến việc xử lý đặc trưng ngôn ngữ đặc thù của tiếng Việt.

3.1. Phát Hiện Ý Định Lọc Văn Bản Chứa Ý Định Của Người Dùng

Bước đầu tiên trong quy trình là phát hiện ý định, hay còn gọi là lọc văn bản chứa ý định của người dùng. Bước này có thể được mô hình hóa như một bài toán phân loại, trong đó văn bản được gán nhãn là chứa ý định hoặc không chứa ý định. Các kỹ thuật phân loại như SVM, Naive Bayes hoặc các mô hình học sâu (Deep Learning) có thể được sử dụng để giải quyết bài toán này.

3.2. Xác Định Miền Quan Tâm Của Ý Định Phân Loại Chủ Đề

Sau khi phát hiện ý định, cần xác định miền quan tâm của ý định. Ví dụ, một văn bản có thể liên quan đến du lịch, mua sắm, hoặc bất động sản. Theo luận án, mỗi miền quan tâm (miền ứng dụng) sẽ có một tập thuộc tính hay ràng buộc ý định riêng. Bước này thường được thực hiện bằng cách phân loại văn bản vào một trong các miền quan tâm đã được định nghĩa trước.

3.3. Trích Chọn Nội Dung Ý Định Nhận Diện Thông Tin Cụ Thể

Bước cuối cùng là trích chọn nội dung cụ thể của ý định. Chẳng hạn, với ý định du lịch, cần trích xuất thông tin về địa điểm, thời gian, phương tiện và các yêu cầu khác. Với ý định mua nhà sẽ xem xét các khía cạnh loại hình bất động sản (nhà đất hay chung cư), địa điểm, diện tích, hướng nhà . Kỹ thuật trích chọn thông tin, kết hợp với các mô hình học máy (Machine Learning) và xử lý ngôn ngữ tự nhiên (NLP), được sử dụng để thực hiện bước này.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu Chuyên Sâu

Nghiên cứu không chỉ tập trung vào lý thuyết mà còn hướng đến ứng dụng thực tiễn. Việc xây dựng các hệ thống phân tích ý định hiệu quả có thể mang lại nhiều lợi ích cho các doanh nghiệp, đặc biệt trong lĩnh vực thương mại điện tử, dịch vụ khách hàng và quảng cáo. Các hệ thống này có thể giúp doanh nghiệp hiểu rõ hơn nhu cầu của khách hàng, cung cấp dịch vụ cá nhân hóa và tăng cường hiệu quả marketing. Luận án này còn xây dựng và đánh giá các mô hình học máy cho từng bước trong quy trình phân tích ý định. Độ chính xác của các mô hình được đánh giá bằng các độ đo phù hợp, và kết quả được so sánh với các phương pháp khác.

4.1. Ứng Dụng Phân Tích Ý Định Trong Thương Mại Điện Tử

Trong lĩnh vực thương mại điện tử, phân tích ý định có thể được sử dụng để cải thiện trải nghiệm mua sắm của khách hàng. Bằng cách hiểu rõ ý định của khách hàng, các trang web thương mại điện tử có thể cung cấp các gợi ý sản phẩm phù hợp, giúp khách hàng tìm kiếm sản phẩm dễ dàng hơn và tăng doanh số bán hàng.

4.2. Cải Thiện Dịch Vụ Khách Hàng Thông Qua Phân Tích Ý Định

Phân tích ý định cũng có thể được sử dụng để cải thiện dịch vụ khách hàng. Bằng cách phân tích các phản hồi của khách hàng, doanh nghiệp có thể xác định các vấn đề mà khách hàng đang gặp phải và cung cấp các giải pháp nhanh chóng và hiệu quả hơn.

4.3. Tăng Cường Hiệu Quả Marketing Với Phân Tích Ý Định

Trong lĩnh vực marketing, phân tích ý định có thể được sử dụng để tạo ra các chiến dịch quảng cáo hiệu quả hơn. Bằng cách hiểu rõ ý định của khách hàng, các nhà marketing có thể nhắm mục tiêu quảng cáo đến đúng đối tượng và tăng tỷ lệ chuyển đổi.

V. Kết Luận và Hướng Nghiên Cứu Tiềm Năng Tương Lai

Luận án tiến sĩ này đã đóng góp vào việc giải quyết các vấn đề quan trọng trong lĩnh vực phân tích ý định từ văn bản ngắn trực tuyến tiếng Việt. Kết quả nghiên cứu có thể được sử dụng để xây dựng các hệ thống phân tích ý định hiệu quả, mang lại nhiều lợi ích cho các doanh nghiệp và người dùng. Tuy nhiên, vẫn còn nhiều hướng nghiên cứu tiềm năng trong lĩnh vực này, đặc biệt là việc phát triển các mô hình có khả năng xử lý ngôn ngữ đa nghĩa và các biến thể ngôn ngữ khác nhau. Đặc biệt là khả năng mở rộng phân tích ý định cho các miền dữ liệu mới.

5.1. Tóm Tắt Những Đóng Góp Chính Của Luận Án

Luận án đã đề xuất một quy trình phân tích ý định toàn diện, bao gồm các bước phát hiện ý định, xác định miền quan tâm và trích chọn nội dung. Luận án cũng đã xây dựng và đánh giá các mô hình học máy cho từng bước trong quy trình, và kết quả cho thấy các mô hình này có độ chính xác cao. Đồng thời đưa ra một định nghĩa, một cấu trúc đặc tả các thành phần của ý định cụ thể và bao quát hơn.

5.2. Các Hướng Nghiên Cứu Mở Rộng Trong Tương Lai

Các hướng nghiên cứu tiềm năng trong tương lai bao gồm: sử dụng knowledge graph, kết hợp multimodal learning, phát triển mô hình thích ứng. Việc phát triển các mô hình có khả năng xử lý ngôn ngữ đa nghĩa và các biến thể ngôn ngữ khác nhau. Hơn nữa, việc mở rộng phân tích ý định cho các miền dữ liệu mới cũng là một hướng nghiên cứu quan trọng.