Đ¾I HàC ĐÀ NÀNG TR¯âNG Đ¾I HàC BÁCH KHOA TRÄN UYÊN TRANG KHAI PHÁ QUAN ĐIÂM VàI Kþ THUÀT HàC SÂU (Opinion mining with deep learning) LUÀN ÁN TI¾N SĨ Kþ THUÀT ĐÀ NẴNG – 2023 Đ¾I HàC ĐÀ NÀNG TR¯âNG Đ¾I HàC BÁCH KHOA TRÄN UYÊN TRANG KHAI PHÁ QUAN ĐIÂM VàI Kþ THUÀT HàC SÂU (Opinion mining with deep learning) Ngcnh: Khoa hác máy tính M愃̀ sĀ: 9.01 LUÀN ÁN TI¾N SĨ Kþ THUÀT Cán bộ h°ớng dẫn: 1. Hoàng Thß Thanh Hà 2. Đặng Hoài Ph°¢ng ĐÀ NẴNG – 2023 ii LâI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu do tôi thực hiện, dưới sự hướng dẫn của TS. Hoàng Thị Thanh Hà và TS.
Đặng Hoài Phương. Tôi cam đoan các kết quả nghiên cứu được trình bày trong luận án là trung thực và không sao chép từ bất kỳ công trình nghiên cứu nào khác. Mọi trích dẫn trong luận án đều đề cập đến nguồn gốc xuất xứ rõ ràng và đầy đủ. Tác giÁ TrÅn Uyên Trang iii MĀC LĀC LâI CAM ĐOAN.
IV DANH MĀC THUÀT NGĊ VÀ TĆ VI¾T TÂT. VII DANH MĀC BÀNG. IX DANH MĀC HÌNH. TÍNH CÂP THI¾T CĂA LUÀN ÁN.
MĀC TIÊU, ĐÞI T¯þNG VÀ PH¾M VI NGHIÊN CĄU CĂA LUÀN ÁN. 6 CH¯¡NG 1- TàNG QUAN VÀ KHAI PHÁ QUAN ĐIÂM VÀ Kþ THUÀT HàC SÂU. KHAI PHÁ QUAN ĐIÂM. CÁC CÂP ĐÞ KHAI PHÁ QUAN ĐIÂM.
Khai phá quan điểm mức tài liệu. Khai phá quan điểm mức câu. Khai phá quan điểm mức khía cạnh hay mức đặc trưng. CÁC H¯àNG NGHIÊN CĄU KHAI PHÁ QUAN ĐIÂM.
Hướng tiếp cận dựa trên ngữ liệu. Hướng tiếp cận máy học. Các nghiên cứu liên quan. MÞT SÞ H¾N CH¾ CĂA CÁC TI¾P CÀN KHAI PHÁ QUAN ĐIÂM HIÞN NAY.
HàC SÂU VÀ NHÓM Kþ THUÀT HàC SÂU Đ¯þC SĈ DĀNG TRONG CÁC MÔ HÌNH KHAI PHÁ QUAN ĐIÂM ĐÀ XUÂT. Các kỹ thuật học sâu phổ biến dùng trong xử lý ngôn ngữ tự nhiên và khai phá quan điểm. ĐÀ XUÂT NGHIÊN CĄU: KHAI PHÁ QUAN ĐIÂM VàI Kþ THUÀT HàC SÂU. K¾T LUÀN CH¯¡NG 1.
47 CH¯¡NG 2-TRÍCH RÚT KHÍA C¾NH TRONG KHAI PHÁ QUAN ĐIÂM VàI H¯àNG TI¾P CÀN HàC SÂU. TRÍCH RÚT KHÍA C¾NH VàI H¯àNG TI¾P CÀN HàC SÂU. MÔ HÌNH TRÍCH RÚT KHÍA C¾NH VàI TI¾P CÀN HàC SÂU ĐÀ XUÂT. Mô hình tích hợp BiGRU-CRF cho trích rút khía cạnh.
Mô hình tích hợp Bi-IndyLSTM-CRF cho trích rút khía cạnh. K¾T QUÀ THČC NGHIÞM. Tập dữ liệu và công cụ sử dụng trong thực nghiệm. Kết quả thực nghiệm và đánh giá hiệu quả trích rút khía cạnh.
K¾T LUÀN CH¯¡NG 2. 67 CH¯¡NG 3-KHAI PHÁ QUAN ĐIÂM MĄC KHÍA C¾NH ĐA TÁC VĀ VàI H¯àNG TI¾P CÀN HàC SÂU. KHAI PHÁ QUAN ĐIÂM MĄC KHÍA C¾NH ĐA TÁC VĀ. MÔ HÌNH KHAI PHÁ QUAN ĐIÂM MĄC KHÍA C¾NH ĐA TÁC VĀ VàI TI¾P CÀN HàC SÂU ĐÀ XUÂT.
Mô hình CNN-BiGRU cho trích rút khía cạnh và quan điểm. Mô hình CNN-IOB2 cho trích rút từ mục tiêu. Mô hình MABSA cho trích rút và phân loại ba tác vụ tiếp theo: khía cạnh, thực thể và quan điểm. K¾T QUÀ THČC NGHIÞM CÁC MÔ HÌNH.
Tập dữ liệu và công cụ sử dụng trong thực nghiệm. Kết quả thực nghiệm, đánh giá hiệu quả khai phá quan điểm đa tác vụ 91 3. K¾T LUÀN CH¯¡NG 3. 97 CH¯¡NG 4-KHAI PHÁ QUAN ĐIÂM MĄC KHÍA C¾NH ĐA TÁC VĀ, ĐA MIÀN VàI H¯àNG TI¾P CÀN HàC SÂU.
KHAI PHÁ QUAN ĐIÂM MĄC KHÍA C¾NH ĐA MIÀN. MÔ HÌNH KHAI PHÁ QUAN ĐIÂM MĄC KHÍA C¾NH ĐA TÁC VĀ ĐA MIÀN ĐÀ XUÂT. Mô hình khai phá quan điểm mức khía cạnh đa miền CNN-BiLSTM. Mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền CNN- BiIndyLSTM-Attention.
K¾T QUÀ THČC NGHIÞM. Tập dữ liệu và công cụ sử dụng trong thực nghiệm. Kết quả thực nghiệm và đánh giá hiệu quả khai phá quan điểm đa tác vụ trên đơn miền và đa miền. K¾T LUÀN CH¯¡NG 4.
124 K¾T LUÀN VÀ H¯àNG PHÁT TRIÂN. 126 H¯àNG PHÁT TRIÂN. 132 DANH MĀC CÁC CÔNG TRÌNH KHOA HàC Đà CÔNG BÞ. 133 TÀI LIÞU THAM KHÀO.
135 vi DANH MĀC THUÀT NGĊ VÀ TĆ VI¾T TÂT STT ThuÁt ngċ Ti¿ng Anh Vi¿t tÃt 1 Đ¡n vß tuyến tính đ°ợc chỉnh Rectified Linear Unit ReLU l°u 2 Hác máy Machine learning ML 3 Hác sâu Deep learning DL 4 Khai phá quan điểm/Phân tích Opinion mining/Sentiment analysis OM/SA cảm xúc 5 Khai phá quan điểm māc tci Document_based sentiment analysis DBSA liệu 6 Khai phá quan điểm māc câu Sentence_based sentiment analysis SBSA 7 Khai phá quan điểm māc khía Aspect/Feature_based sentiment ABSA c¿nh/đặc tr°ng analysis 8 Khai phá quan điểm māc khía Multitask aspect/feature_based MABSA c¿nh/đặc tr°ng đa tác vụ sentiment analysis 9 Khai phá quan điểm māc khía Multidomain aspect/feature_based c¿nh/đặc tr°ng đa miền sentiment analysis 10 Ma trận đồng xuất hiện Co-occurrence matrix 11 M¿ng neural hồi quy Recurrent Neural Network RNN 12 M¿ng neural hồi quy hai Bidirectional Recurrent Neural BiRNN chiều Network 13 M¿ng bộ nhớ ngắn dci Long_Short Term Memory LSTM 14 M¿ng bộ nhớ ngắn dci hai Bidirectional Long_Short Term BiLSTM chiều Memory 15 M¿ng bộ nhớ ngắn dci độc lập Independently Long_Short Term IndyLSTM Memory 16 M¿ng bộ nhớ ngắn dci độc lập Bidirectional Independently BiIndyLSTM hai chiều Long_Short Term Memory 17 M¿ng đ¡n vß hồi quy có cổng Gated Recurrent Unit GRU 18 M¿ng đ¡n vß hồi quy có cổng Bidirectional Gated Recurrent Unit BiGRU hai chiều 19 M¿ng neural đệ quy Recursive Neural Network 20 M¿ng neural tích chập Convolutional Neural Network CNN 21 Máy vector hỗ trợ Support Vector Machine SVM 22 Mô hình Markov ẩn Hidden Markov Models HMM 23 Phân bổ Dirichlet tiềm ẩn Latent Dirichlet Allocation LDA 24 Phân lo¿i miền Domain classification 25 Phân lo¿i quan điểm Sentiment classification 26 Phân rã đ¿o hcm Gradient decay 27 Phân tích ngữ nghĩa tiềm ẩn Latent Semantic Analysis LSA 28 Phân tích ngữ nghĩa tiềm ẩn Probabilistic Latent Semantic pLSA xác suất Analysis 29 Quan điểm Opinion 30 Quan điểm tích cực Positive opinion 31 Quan điểm tiêu cực Negative opinion 32 Quan điểm trung lập Neutral opinion vii 33 Quá khớp Overfitting 34 Trích rút khía c¿nh Aspect extraction 35 Trích rút từ mục tiêu quan Opinion target extraction điểm 36 Trích rút thực thể Entity extraction 37 Tr°ßng ngẫu nhiên có điều Conditional Random Field CRF kiện 38 Triệt tiêu/bùng nổ đ¿o hcm Vanishing/exploding gradient 39 Vector tocn cục Global Vector GloVe viii DANH MĀC BÀNG BÁng 1. Các mô hình khai phá quan điểm dựa trên h°ớng tiếp cận ngữ liệu nổi bật vc hiệu suất cÿa các mô hình. Các mô hình khai phá quan điểm dựa trên h°ớng tiếp cận máy hác nổi bật vc hiệu suất cÿa các mô hình. Tập dữ liệu SemEval 2014.
So sánh độ đo F1 trên mô hình BiGRU-CRF và Bi-IndyLSTM-CRF với các mô hình hiện có. Sử dụng miền Restaurant trong tập dữ liệu SemEval 2016 cho thực nghiệm. Kết quả thực nghiệm mô hình hiện có so với các mô hình đề xuất cÿa luận án trong Ch°¡ng 2 vc Ch°¡ng 3 trên miền Laptop cÿa tập dữ liệu SemEval 2014. Kết quả thực nghiệm mô hình hiện có so với các mô hình đề xuất cÿa luận án trong Ch°¡ng 2 vc Ch°¡ng 3 trên miền Restaurant cÿa tập dữ liệu SemEval 2014.
Kết quả thực nghiệm xét trên độ đo F1 vc Accuracy cÿa các mô hình hiện có vc mô hình CNN-IOB2 trên miền Restaurant cÿa SemEval 2016. Kết quả thực nghiệm mô hình MABSA đề xuất xét trên các độ đo Precision, Recall, F1 vc Accuracy trên miền Restaurant cÿa tập SemEval 2016. Tập dữ liệu huấn luyện gồm các đ¡n miền Restaurant, Laptop cÿa tập SemEval 2016, đa miền Laptop_Restaurant, vc đa miền Laptop_Restaurant_Hotel. Trích rút khía c¿nh xét trên độ đo Precision, Recall vc F1 cÿa hai mô hình đề xuất so với các mô hình hiện có trên miền Laptop vc Restaurant.
Kết quả thực nghiệm mô hình CNN-BiLSTM trên đa miền Laptop_Restaurant. Kết quả thực nghiệm mô hình CNN-BiIndyLSTM-Attention trên đa miền Laptop_Restaurant_Hotel. Trích rút khía c¿nh xét trên độ đo Precision, Recall vc F1 cÿa hai mô hình đề xuất so với các mô hình hiện có trên đ¡n miền Restaurant, đa miền Laptop_Restaurant vc đa miền Laptop_Restaurant_Hotel. Bảng tổng hợp đặc điểm cÿa các mô hình khai phá quan điểm đề xuất.
128 ix DANH MĀC HÌNH Hình 1. Các cấp độ cụ thể trong khai phá quan điểm. Mô hình m¿ng neural đ¡n giản gồm 1 lớp ẩn. Mô hình m¿ng hác sâu gồm 3 lớp ẩn.
M¿ng neural tích chập. Tính toán với MaxPooling. Mô hình CNN trong xử lý văn bản. Mô hình m¿ng RNN vc các tính toán bên trong RNN.
Cấu trúc cÿa mô-đun trong RNN. Cấu trúc cÿa mô-đun trong LSTM. Cấu trúc chi tiết cÿa một mô-đun LSTM. Cấu trúc m¿ng BiLSTM.
Cấu trúc c¡ bản cÿa GRU. Cấu trúc m¿ng BiGRU. Cấu trúc m¿ng Bidirectional IndyLSTM. Quy trình trích rút khía c¿nh cÿa mô hình BiGRU-CRF.
Cấu trúc mô hình BiGRU-CRF cho trích rút khía c¿nh trong câu quan điểm. Quy trình trích rút khía c¿nh cÿa mô hình Bi-IndyLSTM-CRF. Cấu trúc mô hình Bi-IndyLSTM-CRF cho trích rút khía c¿nh trong câu quan điểm. Biểu đồ so sánh độ chính xác F1 cÿa hai mô hình đề xuất với các mô hình đ愃̀ đ°ợc đánh giá cao tr°ớc đây.
Quy trình trích rút, phân lo¿i khía c¿nh vc quan điểm cÿa mô hình CNN-BiGRU. Cấu trúc mô hình CNN-BiGRU cho khai phá quan điểm māc khía c¿nh trích rút đồng thßi khía c¿nh vc quan điểm. Quy trình trích rút từ mục tiêu cÿa mô hình CNN-IOB2. Cấu trúc mô hình CNN-IOB2 cho trích rút từ mục tiêu.
Quy trình trích rút, phân lo¿i khía c¿nh, thực thể vc quan điểm cÿa mô hình MABSA. Cấu trúc mô hình khai phá quan điểm māc khía c¿nh đa tác vụ MABSA cho phân lo¿i khía c¿nh, thực thể vc quan điểm. So sánh độ chính xác cÿa tác vụ trích rút khía c¿nh xét trên độ đo F1 cÿa các mô hình hiện có so với mô hình CNN-BiGRU đề xuất. So sánh độ chính xác cÿa tác vụ phân lo¿i quan điểm xét trên độ đo Accuracy cÿa mô hình hiện có so với mô hình CNN-BiGRU đề xuất.
Biểu đồ so sánh độ chính xác cÿa mô hình đề xuất với các mô hình hiện có xét trên độ đo F1 vc Accuracy. Biểu đồ biểu diễn độ đo Precision, Recall, F1 vc Accuracy cÿa mô hình MABSA đề xuất. Quy trình thực hiện cÿa mô hình khai phá quan điểm māc khía c¿nh đa miền CNN- BiLSTM. Cấu trúc mô hình khai phá quan điểm māc khía c¿nh đa miền CNN-BiLSTM.
Quy trình thực hiện cÿa mô hình CNN-BiIndyLSTM-Attention. Cấu trúc mô hình khai phá quan điểm māc khía c¿nh đa tác vụ đa miền .