Tổng quan luận án
Trong bối cảnh các dịch vụ mạng xã hội, diễn đàn thảo luận và blog trực tuyến phát triển mạnh mẽ, người dùng Internet tại Việt Nam đã hình thành thói quen chia sẻ các trạng thái, bình luận thể hiện nhu cầu, sở thích và các dự tính hành động trong tương lai. Nhu cầu tự động thu thập, phân tích và trích xuất cấu trúc ý định từ nguồn dữ liệu này có ý nghĩa thực tiễn đối với các hệ thống thương mại điện tử, hệ thống gợi ý và quảng cáo trực tuyến. Tuy nhiên, việc xử lý ngôn ngữ tự nhiên đối với bài toán này gặp nhiều rào cản do tính đa dạng của ý định, hiện tượng nhập nhằng ngữ nghĩa, sự tồn tại của ý định ẩn, vấn đề đa ý định trong văn bản ngắn và đặc thù ngôn ngữ phi chuẩn (từ lóng, viết tắt, sai chính tả).
Khảo sát tổng quan cho thấy các công trình trước đây còn tồn tại ba khoảng trống nghiên cứu trọng tâm:
- Thiếu một định nghĩa hình thức khái quát được cấu trúc ý định đa dạng trong văn bản trực tuyến ngắn thay vì chỉ mô tả các câu đơn giản.
- Chưa có một tiến trình mô hình hóa xuyên suốt tích hợp đầy đủ từ khâu phát hiện bài đăng chứa ý định, phân loại miền quan tâm đến trích chọn chi tiết các thành phần thuộc tính của ý định.
- Thiếu giải pháp trích chọn ý định trên đa miền quan tâm, khả năng thích nghi và mở rộng sang các miền dữ liệu mới, đồng thời thiếu hoàn toàn các tập ngữ liệu tiếng Việt gán nhãn chuẩn cho bài toán này.
Mục tiêu nghiên cứu tổng quát của luận án là: Đề xuất và xây dựng các mô hình tự động phân tích ý định từ các văn bản (bài đăng/bình luận) tiếng Việt ngắn trên các phương tiện truyền thông xã hội trực tuyến.
Để thực hiện mục tiêu trên, luận án xác định ba nội dung nghiên cứu cụ thể:
- Đề xuất định nghĩa và biểu diễn cấu trúc ý định phù hợp cho văn bản trực tuyến tiếng Việt có độ dài ngắn.
- Đề xuất tiến trình phân tích ý định ba pha, đồng thời mô hình hóa và giải quyết các bài toán cụ thể trong từng pha (lọc văn bản chứa ý định, xác định miền quan tâm, trích chọn các thông tin thuộc tính cụ thể).
- Đề xuất phương pháp phân tích và xác định ý định đa miền quan tâm, kiểm chứng thực nghiệm về mối tương quan giữa mô hình đơn miền và đa miền, cũng như khả năng chuyển giao tri thức sang miền dữ liệu mới.
Đối tượng nghiên cứu của luận án là các bài đăng và bình luận ngắn của người dùng trên các phương tiện truyền thông xã hội trực tuyến bằng tiếng Việt. Phạm vi nghiên cứu được giới hạn như sau:
- Về dạng ý định: Luận án tập trung vào các ý định tường minh (Explicit Intent - EI); chưa xử lý các ý định ẩn (Implicit Intent - II). Luận án xử lý trường hợp đa ý định giữa các câu/đoạn tách biệt, không xử lý đa ý định trong cùng một câu đơn hoặc các ý định lồng nhau; không xét yếu tố hiệu lực thời gian của ý định.
- Về dữ liệu: Các văn bản trực tuyến có độ dài từ 2 đến 500 từ (trong đó một từ tương đương với một âm tiết tiếng Việt), được thu thập từ các diễn đàn và mạng xã hội tiếng Việt.
Tổng quan tài liệu và vị trí của luận án
Bài toán phân tích và xác định ý định là một nhánh của hướng nghiên cứu nhận biết kế hoạch, hành động và ý định (Plan, activity, intent recognition), khởi đầu từ công trình của Schmidt, Sridharan và Goodson (1978). Theo Chen và cộng sự (2002), có hai hướng tiếp cận chính để xác định ý định người dùng trên môi trường trực tuyến:
- Hướng tiếp cận dựa trên hành vi và hồ sơ tương tác của người dùng (lịch sử nhấp liên kết, đăng nhập, lưu trang, tải dữ liệu), tiêu biểu là các nghiên cứu của Broder (2002), Lee và cộng sự (2005), Li và cộng sự (2008), Radlinski và cộng sự (2010), Shen và cộng sự (2011).
- Hướng tiếp cận dựa trên đặc trưng ngữ nghĩa, cú pháp và từ vựng của văn bản bài đăng, tiêu biểu là các công trình của Ashkan và cộng sự (2009), Castellanos và cộng sự (2012), Chen và cộng sự (2013), Gupta và cộng sự (2014), Wang và cộng sự (2015), Zhang và cộng sự (2016).
Các nghiên cứu xử lý ý định trên dữ liệu văn bản được chia thành ba nhóm chính:
- Nhóm phân tích ý định từ truy vấn tìm kiếm (Search Query): Broder (2002) phân loại truy vấn thành ba nhóm (Navigational, Informational, Transactional); Rose và Levinson (2004) điều chỉnh lớp Transactional thành Resource; Hu và cộng sự (2009) khai thác tri thức Wikipedia để nhận diện ý định du lịch, việc làm và tên người; Li (2010) mô hình hóa cấu trúc truy vấn thành Intent Head (IH) và Intent Modifiers (IM) bằng mô hình CRFs và Semi-Markov CRFs; Hashemi và cộng sự (2016) ứng dụng mạng CNN phân lớp truy vấn hai cấp; Chen (2014) phân loại ý định trên hệ thống hỏi đáp cộng đồng (CQA) thành năm loại (subjectivity, locality, navigationality, procedurality, causality).
- Nhóm phân tích ý định trong ngôn ngữ nói (Spoken Language).
- Nhóm phân tích ý định trong bài đăng/bình luận mạng xã hội: Phần lớn các tác giả mô hình hóa thành bài toán phân lớp nhị phân hoặc đa lớp để gán nhãn chủ đề (Chen và cộng sự, 2013; Hollerit và cộng sự, 2013; Ding và cộng sự, 2015; Purohit và cộng sự, 2015; Wang và cộng sự, 2015). Một số ít công trình nghiên cứu sâu về trích xuất cấu trúc ngữ nghĩa như Castellanos và cộng sự (2012), Nobari và cộng sự (2014), Labidi và cộng sự (2018). Các nghiên cứu bước đầu về học chuyển đổi và thích nghi miền được triển khai bởi Ngo và cộng sự (2017), Song và cộng sự (2018).
Vị trí của luận án: Luận án kế thừa cách tiếp cận trích xuất cấu trúc ngữ nghĩa và học máy thống kê/học sâu từ các nghiên cứu quốc tế, nhưng giải quyết bài toán một cách có hệ thống trên ngữ liệu văn bản ngắn tiếng Việt. Luận án khắc phục khoảng trống về việc thiếu khung tiến trình tích hợp ba pha, đề xuất cấu trúc biểu diễn ý định hướng miền quan tâm, thiết lập phương pháp trích xuất đa miền và đóng góp bộ ngữ liệu chuẩn tiếng Việt được gán nhãn phục vụ nghiên cứu thực nghiệm.
Cơ sở lý thuyết và phương pháp nghiên cứu
Luận án dựa trên nền tảng lý thuyết về ý định ngôn ngữ của Bratman (1987) và Scheer (2004), kết hợp mở rộng mô hình biểu diễn cấu trúc 5 thành phần của Bing Liu (2010). Trên cơ sở đó, luận án xây dựng định nghĩa ý định rõ hướng miền quan tâm dưới dạng một bộ 5 thành phần:
$$\text{Intent} = (Holder, Context, Domain, Intention_Keyword, Attributes)$$
Trong đó:
- $Holder$: Người đưa ra ý định (chủ thể viết bài).
- $Context$: Thông tin ngữ cảnh xuất hiện của ý định.
- $Domain$: Miền lĩnh vực/quan tâm của ý định.
- $Intention_Keyword$: Cụm từ khóa trực tiếp biểu thị hành vi ý định.
- $Attributes$: Tập hợp các thuộc tính, ràng buộc chi tiết của ý định trong miền tương ứng.
Tiến trình phân tích được thiết kế theo quy trình 3 pha:
- Pha 1: Lọc bài đăng mang ý định (bài toán phân lớp nhị phân: EI - Explicit Intent và NI - Non Intent/Implicit Intent).
- Pha 2: Xác định miền quan tâm của bài đăng mang ý định (bài toán phân lớp đa lớp vào 13 miền quan tâm xác định).
- Pha 3: Trích chọn nội dung chi tiết của ý định (bài toán gán nhãn chuỗi trích xuất các thành phần thuộc tính theo chuẩn B-I-O).
| Pha trong quy trình |
Bài toán mô hình hóa |
Phương pháp và thuật toán sử dụng |
| Pha 1: Lọc ý định |
Phân lớp nhị phân |
Maximum Entropy (ME), Support Vector Machines (SVMs), Convolutional Neural Network (CNN) |
| Pha 2: Xác định miền |
Phân lớp đa lớp (13 lớp) |
Maximum Entropy (ME), SVMs (chiến lược 1-against-all), CNN |
| Pha 3: Trích chọn nội dung |
Gán nhãn chuỗi (Sequence Labeling) |
Conditional Random Fields (CRFs), Bi-LSTM, Bi-LSTM-CRFs, Ensemble Learning |
Nguồn dữ liệu thực nghiệm được thu thập tự động từ các diễn đàn trực tuyến (Webtretho, Otofun, Lamchame) và các nhóm mở trên mạng xã hội Facebook tại Việt Nam. Quy trình tiền xử lý gồm 4 bước: (1) loại bỏ biểu tượng cảm xúc và ký hiệu đặc thù; (2) chuẩn hóa tách dấu câu thành từ riêng biệt; (3) chia tách các bài đăng đa ý định thuộc nhiều miền thành các đơn vị văn bản độc lập; (4) chuẩn hóa chữ thường phục vụ mã hóa vector từ trong các mô hình học sâu.
Dữ liệu được gán nhãn bởi nhóm từ 3 đến 5 nhân sự được tập huấn theo bộ hướng dẫn chi tiết. Quy trình kiểm tra chéo được thực hiện nghiêm ngặt; các trường hợp bất đồng được giải quyết bằng nguyên tắc bỏ phiếu biểu quyết đa số, hoặc có sự tham gia của 2 cố vấn khoa học độc lập khi số phiếu ngang nhau.
Nội dung chính theo từng chương
Chương 1. Tổng quan về ý định và phân tích ý định
Chương 1 hệ thống hóa các khái niệm nền tảng về ý định học thuật và các phương thức biểu đạt ý định qua ngôn ngữ. Tác giả phân loại văn bản thành ba trạng thái: văn bản mang ý định rõ (Explicit Intent - EI), văn bản mang ý định ẩn (Implicit Intent - II) và văn bản không mang ý định (Non-Intent - NI). Chương này tổng thuật hai nhóm tiếp cận chính trong bài toán nhận biết ý định: tiếp cận qua hành vi người dùng và tiếp cận qua phân tích nội dung văn bản.
Về mặt kỹ thuật, chương trình bày cơ sở toán học của các giải thuật học máy và khai phá dữ liệu:
- Phương pháp phân lớp thống kê Maximum Entropy (ME) và Support Vector Machines (SVMs) sử dụng kỹ thuật 1-against-all cho bài toán đa lớp.
- Khái niệm về bài toán trích xuất thông tin (IE), nhận dạng thực thể có tên (NER), nguyên lý gán nhãn theo quy tắc B-I-O và mô hình trường ngẫu nhiên có điều kiện (CRFs).
- Kiến trúc mạng nơ-ron: mạng truyền thẳng (feed-forward), mạng nơ-ron hồi quy (RNNs), cơ chế cổng (input, forget, output gates) trong tế bào LSTM để giải quyết vấn đề phụ thuộc dài hạn, và mô hình Bi-LSTM xử lý ngữ cảnh hai chiều.
Chương 2. Phân tích ý định từ văn bản trực tuyến
Chương 2 tập trung phân tích các khó khăn đặc thù khi xử lý ý định từ văn bản ngắn tiếng Việt trên môi trường mạng xã hội, bao gồm 8 thách thức chính: (1) sự đa dạng của ý định; (2) hiện tượng đa ý định; (3) tính nhập nhằng trong cách diễn đạt; (4) sự xuất hiện của ý định ẩn; (5) tính phi chuẩn của ngôn ngữ mạng xã hội; (6) độ thưa và mất cân bằng dữ liệu; (7) tính hiệu lực theo thời gian của ý định; (8) sự thiếu hụt ngữ liệu gán nhãn chuẩn.
Tác giả phân tích các định nghĩa ý định theo hướng tiếp cận từ điển của Jansen (2011), Shang (2017) và tiếp cận cấu trúc hóa của Bing Liu (2010), từ đó công bố định nghĩa ý định rõ hướng miền quan tâm (bộ 5 thành phần) và đề xuất khung tiến trình ba pha giải quyết bài toán. Chương này cũng mô tả chi tiết quy trình 4 bước tiền xử lý dữ liệu và các quy tắc gán nhãn phục vụ ba bài toán thực nghiệm.
Chương 3. Phát hiện ý định và xác định miền quan tâm của ý định
Chương 3 triển khai giải pháp kỹ thuật cho Pha 1 và Pha 2 trong tiến trình đã đề xuất:
- Pha 1 (Phát hiện ý định): Bài toán được thiết lập dưới dạng phân lớp nhị phân để phân biệt giữa bài đăng mang ý định rõ (EI) và bài đăng không chứa ý định/ý định ẩn (NI). Thử nghiệm đánh giá chéo 4-fold được thực hiện trên các mô hình ME, SVMs và CNN kết hợp các bộ đặc trưng từ vựng và vector biểu diễn từ.
- Pha 2 (Xác định miền quan tâm): Bài toán phân lớp đa lớp nhằm phân loại các bài đăng EI vào 13 miền quan tâm được định nghĩa trước. Thử nghiệm đánh giá chéo 5-fold được tiến hành với các mô hình ME, SVMs và CNN.
| STT |
Nhãn miền quan tâm |
Tên miền quan tâm |
| 1 |
ThietBiDienTu |
Thiết bị điện tử |
| 2 |
ThoiTrangPhuKien |
Thời trang & phụ kiện |
| 3 |
TaiChinh |
Tài chính |
| 4 |
PhucVuAnUong |
Phục vụ ăn uống |
| 5 |
DoDungTapHoa |
Đồ dùng & tạp hóa |
| 6 |
SucKhoeSacDep |
Sức khỏe & sắc đẹp |
| 7 |
NgheNghiepGiaoDuc |
Nghề nghiệp & giáo dục |
| 8 |
ThuCungCayCoi |
Thú cưng & cây cối |
| 9 |
BatDongSan |
Bất động sản |
| 10 |
TheThaoGiaiTri |
Thể thao & giải trí |
| 11 |
XeCoVanTai |
Xe cộ vận tải |
| 12 |
DuLichKhachSan |
Du lịch & Khách sạn |
| 13 |
Khac |
Khác |
Chương 4. Phân tích và trích chọn nội dung ý định
Chương 4 giải quyết Pha 3 bằng cách mô hình hóa bài toán trích chọn cụm từ chỉ ý định và các thông tin thuộc tính dưới dạng bài toán gán nhãn chuỗi. Luận án thiết kế các bộ nhãn đặc thù cho từng miền dữ liệu cụ thể:
| Miền quan tâm |
Quy mô bộ nhãn |
Mô tả thực thể thuộc tính trích xuất |
| Bất động sản |
13 nhãn (giai đoạn 1) / 18 nhãn (giai đoạn 2) |
Loại hình BĐS, địa điểm, diện tích, giá cả, liên hệ, tiện ích kèm theo... |
| Mỹ phẩm & Làm đẹp |
9 nhãn |
Tên sản phẩm, thương hiệu, công dụng, tình trạng da, mức giá... |
| Du lịch |
15 nhãn |
Điểm đến, thời gian khởi hành, số lượng người, phương tiện, dịch vụ... |
| Xe cộ |
17 nhãn |
Dòng xe, hãng sản xuất, số chỗ ngồi, mức tiêu hao nhiên liệu, tầm giá... |
Tác giả thực hiện so sánh mô hình học máy thống kê CRFs (kết hợp đặc trưng từ điển, biểu thức chính quy, cửa sổ trượt kích thước 5) với mô hình học sâu Bi-LSTM-CRFs (tích hợp word embedding và character-level representation). Tiếp đó, chương đề xuất phương pháp học kết hợp (Ensemble Learning) tích hợp các cấu hình mạng học sâu và chia sẻ tầng biểu diễn từ dựa trên ký tự, giúp cải thiện độ chính xác $F_1$-score trên các miền Bất động sản, Du lịch và Xe cộ.
Chương 5. Phân tích và trích chọn ý định đa miền quan tâm
Chương 5 mở rộng bài toán trích xuất sang bối cảnh đa miền (multi-domain / cross-domain). Nhằm giải quyết hạn chế của các bộ nhãn chuyên biệt theo từng miền (Specific Label Sets), luận án xây dựng Bộ 10 nhãn không phụ thuộc miền (Domain-independent / General Label Set).
| STT |
Mã nhãn chung |
Ý nghĩa thành phần ý định |
| 1 |
Intention-Action |
Hành động ý định chính |
| 2 |
Intention-Object |
Đối tượng hướng tới của ý định |
| 3 |
Attribute-Type |
Chủng loại, phân loại của đối tượng |
| 4 |
Attribute-Location |
Ràng buộc về địa điểm, vị trí |
| 5 |
Attribute-Price |
Ràng buộc về giá cả, ngân sách |
| 6 |
Attribute-Quantity |
Ràng buộc về số lượng, quy mô |
| 7 |
Attribute-Time |
Ràng buộc về thời gian, thời điểm |
| 8 |
Attribute-Feature |
Đặc điểm, tính năng, yêu cầu kỹ thuật |
| 9 |
Contact-Info |
Thông tin liên hệ (số điện thoại, email) |
| 10 |
Other-Constraints |
Các điều kiện, ràng buộc bổ trợ khác |
Luận án tiến hành các thực nghiệm so sánh hiệu năng giữa bộ nhãn riêng (32 nhãn tổng hợp) và bộ nhãn chung (10 nhãn) khi áp dụng các mô hình CRFs, Bi-LSTM và Bi-LSTM-CRFs trên tổ hợp 1, 2 và 3 miền quan tâm (Bất động sản, Du lịch, Xe cộ). Kết quả chứng minh tính khả thi của việc sử dụng bộ nhãn không phụ thuộc miền trong việc khái quát hóa tri thức và giảm thiểu chi phí gán nhãn cho các miền dữ liệu mới. Cuối chương, tác giả xây dựng mô hình giao diện thử nghiệm mô phỏng hệ thống trích xuất ý định trực tuyến đa miền.
Kết quả và những đóng góp mới
Luận án đã đạt được bốn kết quả và đóng góp khoa học chính:
- Về mặt định nghĩa và tiến trình: Đề xuất định nghĩa hình thức về ý định rõ hướng miền quan tâm dưới dạng bộ 5 thành phần $(Holder, Context, Domain, Intention_Keyword, Attributes)$, đồng thời xây dựng tiến trình phân tích ba pha có hệ thống (lọc ý định, xác định miền quan tâm, trích chọn thông tin chi tiết) áp dụng cho văn bản ngắn tiếng Việt.
- Về mặt phân lớp ý định: Mô hình hóa và giải quyết hiệu quả bài toán lọc ý định (phân lớp nhị phân) và xác định miền quan tâm (phân lớp đa lớp 13 miền) bằng các mô hình ME, SVMs và CNN kết hợp các đặc trưng ngôn ngữ học.
- Về mặt trích xuất cấu trúc ý định: Mô hình hóa bài toán xác định thuộc tính ý định thành bài toán gán nhãn chuỗi; xây dựng các bộ nhãn chi tiết cho từng miền (Bất động sản, Mỹ phẩm, Du lịch, Xe cộ); đề xuất mô hình Bi-LSTM-CRFs kết hợp biểu diễn mức ký tự và kỹ thuật học kết hợp (Ensemble Learning) giúp tối ưu hóa hiệu năng trích chọn.
- Về mặt mở rộng đa miền: Đề xuất phương pháp phân tích ý định độc lập miền thông qua bộ 10 nhãn không phụ thuộc miền; chứng minh bằng thực nghiệm khả năng chuyển giao mô hình sang các miền quan tâm mới mà không cần xây dựng lại toàn bộ tài nguyên nhãn từ đầu.
Đóng góp về tài nguyên dữ liệu: Luận án đã xây dựng và công bố các tập dữ liệu thực nghiệm tiếng Việt được thu thập từ các kênh truyền thông xã hội và gán nhãn thủ công phục vụ cho cả ba bài toán: phân lớp nhị phân, phân lớp đa lớp và gán nhãn chuỗi trích xuất thông tin.
Ý nghĩa thực tiễn: Các mô hình và quy trình do luận án đề xuất cung cấp giải pháp kỹ thuật để tự động khai thác nhu cầu của khách hàng tiềm năng, hỗ trợ nâng cao hiệu quả cho các hệ thống gợi ý sản phẩm, cá nhân hóa quảng cáo và phân tích thị trường trong thương mại điện tử.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế của luận án:
- Phạm vi nghiên cứu chỉ tập trung vào các ý định tường minh (Explicit Intent), chưa giải quyết các dạng ý định ẩn (Implicit Intent) vốn đòi hỏi tri thức suy luận phức tạp.
- Chưa xử lý các trường hợp đa ý định xuất hiện đồng thời trong cùng một câu đơn hoặc các cấu trúc ý định có tính chất lồng ghép nhau.
- Chưa xét đến chiều kích thời gian và tính hiệu lực của ý định (chưa phân biệt được ý định còn hiệu lực hay đã kết thúc trong quá khứ).
- Dữ liệu thực nghiệm trên mạng xã hội vẫn gặp phải các thách thức về độ thưa, hiện tượng mất cân bằng nhãn ở cấp độ câu và các lỗi chính tả, từ lóng chưa được chuẩn hóa triệt để.
Hướng nghiên cứu tiếp theo:
- Mở rộng nghiên cứu sang bài toán nhận diện và suy luận ý định ẩn (Implicit Intent) dựa trên việc tích hợp các nguồn tri thức ngữ cảnh bên ngoài.
- Phát triển các giải pháp xử lý đa ý định phức tạp trong cùng một câu và các ý định có quan hệ phân cấp, lồng nhau.
- Nghiên cứu mô hình xác định tính hiệu lực theo thời gian của ý định trong văn bản.
- Tiếp tục mở rộng các kỹ thuật thích nghi miền và làm giàu tập ngữ liệu tiếng Việt quy mô lớn cho nhiều miền lĩnh vực khác.
Giá trị tham khảo
Luận án có giá trị tham khảo chuyên môn đối với các nhóm đối tượng sau:
- Nghiên cứu sinh, học viên cao học và nhà nghiên cứu trong ngành Hệ thống thông tin, Khoa học dữ liệu và Xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt: Luận án cung cấp tài liệu tham khảo về phương pháp luận mô hình hóa bài toán NLU trên văn bản mạng xã hội, kỹ thuật thiết kế bộ đặc trưng và cấu hình mạng học sâu kết hợp (Bi-LSTM-CRFs, Ensemble Learning).
- Giảng viên đại học: Sử dụng làm tài liệu tham khảo cho các học phần chuyên đề về Khai phá dữ liệu văn bản, Xử lý ngôn ngữ tự nhiên và Trích xuất thông tin.
- Kỹ sư dữ liệu và chuyên gia phát triển hệ thống tại các doanh nghiệp: Tham khảo quy trình tiền xử lý dữ liệu mạng xã hội, bảng danh mục nhãn thực thể cho các ngành kinh doanh (Bất động sản, Xe cộ, Du lịch, Mỹ phẩm) và kiến trúc hệ thống trích xuất thông tin tự động phục vụ tiếp thị số và thương mại điện tử.
Các nội dung có giá trị tham khảo cao gồm: cấu trúc định nghĩa bộ 5 thành phần ý định, quy trình ba pha phân tích, bộ 10 nhãn không phụ thuộc miền và phương pháp học kết hợp chia sẻ biểu diễn ký tự.
Câu hỏi thường gặp
1. Định nghĩa ý định rõ hướng miền quan tâm của luận án bao gồm những thành phần cụ thể nào?
Ý định rõ hướng miền quan tâm được luận án mô hình hóa dưới dạng một bộ 5 thành phần: Người đưa ra ý định ($Holder$), Ngữ cảnh của ý định ($Context$), Miền lĩnh vực của ý định ($Domain$), Cụm từ khóa chỉ ý định ($Intention_Keyword$), và Tập các thuộc tính hoặc ràng buộc chi tiết của ý định ($Attributes$).
2. Quy trình phân tích ý định ba pha do luận án đề xuất gồm những bước nào?
Quy trình gồm:
- Pha 1: Lọc bài đăng mang ý định (phân lớp nhị phân thành bài đăng mang ý định rõ EI và bài đăng không mang ý định/ý định ẩn NI).
- Pha 2: Xác định miền quan tâm (phân lớp đa lớp bài đăng EI vào một trong 13 miền quan tâm đã định nghĩa).
- Pha 3: Trích chọn nội dung ý định (gán nhãn chuỗi trích xuất cụm từ chỉ ý định và các giá trị thuộc tính cụ thể theo định dạng B-I-O).
3. Dữ liệu thực nghiệm của luận án được thu thập từ đâu và quy trình gán nhãn được kiểm soát thế nào?
Dữ liệu gồm các bài đăng ngắn (từ 2 đến 500 từ) được thu thập từ các diễn đàn (Webtretho, Otofun, Lamchame) và nhóm mở Facebook. Dữ liệu được gán nhãn thủ công bởi nhóm 3 đến 5 sinh viên theo hướng dẫn chi tiết, sau đó tiến hành kiểm tra chéo. Bất đồng nhãn được xử lý bằng nguyên tắc biểu quyết đa số hoặc có sự tham gia của 2 cố vấn khoa học.
4. Giải pháp trích chọn ý định đa miền quan tâm được luận án thực hiện như thế nào?
Luận án đề xuất Bộ 10 nhãn không phụ thuộc miền (General Label Set) để thay thế các bộ nhãn riêng biệt theo từng miền. Mô hình học sâu Bi-LSTM và Bi-LSTM-CRFs được huấn luyện trên bộ nhãn chung này để có khả năng khái quát hóa và trích xuất cấu trúc ý định trên nhiều miền khác nhau mà không cần xây dựng lại nhãn từ đầu cho miền mới.
5. Vì sao luận án chỉ tập trung vào ý định rõ (Explicit Intent) mà chưa xử lý ý định ẩn (Implicit Intent)?
Ý định ẩn đòi hỏi quá trình suy luận ngữ cảnh phức tạp và thường không biểu hiện thông qua các từ khóa hành động trực tiếp trong văn bản. Luận án ưu tiên giải quyết hoàn chỉnh bài toán trích xuất cấu trúc trên các ý định tường minh trước, đồng thời xếp các bài đăng ý định ẩn vào nhóm không mang ý định để tiếp tục nghiên cứu trong tương lai.
Kết luận
Luận án "Phân tích ý định từ văn bản ngắn, trực tuyến tiếng Việt" của NCS. Lương Thái Lê (ngành Hệ thống thông tin) đã xây dựng thành công khung phương pháp luận hoàn chỉnh để phát hiện, phân loại và trích xuất cấu trúc ý định người dùng trên dữ liệu mạng xã hội tiếng Việt. Bằng việc đề xuất cấu trúc ý định bộ 5 thành phần, tiến trình xử lý ba pha, mô hình học sâu kết hợp Bi-LSTM-CRFs và bộ nhãn không phụ thuộc miền, luận án đã giải quyết các khó khăn chính về đặc thù ngôn ngữ tiếng Việt và tính đa dạng của dữ liệu trực tuyến. Công trình cung cấp cả đóng góp về mặt lý thuyết mô hình hóa lẫn giá trị ứng dụng thực tiễn cho các hệ thống khai phá dữ liệu và thương mại điện tử.
