Luận văn thạc sĩ về giải thuật học cộng tác co-training và ứng dụng trong khai phá quan điểm

Nghiên cứu hệ thống giải thuật học cộng tác co-training trong khai phá quan điểm, phương pháp định lượng kết hợp định tính, góp phần phát triển

• Người hướng dẫn: TS. Nguyễn Trí Thành
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Nghiên Cứu Giải Thuật Học Cộng Tác Co-training Và Ứng Dụng Vào Bài Toán Khai Phá Quan Điểm
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2012
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu, phạm vi nghiên cứu của đề tài
• 2. CHƯƠNG 2: KHAI PHÁ QUAN ĐIỂM VÀ ỨNG DỤNG
• 2.1. Khai phá quan điểm (Opinion mining)
• 2.2. Các khái niệm liên quan
• 2.3. Động lực và Ứng dụng của Khai phá quan điểm
• 3. CHƯƠNG 3: ỨNG DỤNG HỌC BÁN GIÁM SÁT VÀO BÀI TOÁN KHAI PHÁ QUAN ĐIỂM
• 4. CHƯƠNG 4: THỰC NGHIỆM
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Nghiên cứu về giải thuật học cộng tác (co-training) trong khai phá quan điểm là một lĩnh vực đang thu hút sự chú ý trong cộng đồng nghiên cứu. Lý do chọn đề tài này xuất phát từ nhu cầu ngày càng cao trong việc khai thác thông tin từ các nguồn dữ liệu lớn, đặc biệt là dữ liệu văn bản. Khai phá dữ liệu (KPDL) không chỉ giúp phát hiện tri thức tiềm ẩn mà còn hỗ trợ trong việc ra quyết định cho các tổ chức và doanh nghiệp. Đề tài này tập trung vào việc áp dụng co-training để cải thiện hiệu suất phân lớp trong bài toán khai phá quan điểm. Mục tiêu chính là so sánh hiệu quả giữa học bán giám sát và học có giám sát trên cùng một tập dữ liệu.

1.1. Lý do chọn đề tài

Khai phá quan điểm là một lĩnh vực mới mẻ trong học máy và khai thác thông tin. Sự phát triển của Internet đã tạo ra một lượng lớn dữ liệu văn bản, từ đó nảy sinh nhu cầu khai thác thông tin từ các ý kiến, đánh giá của người dùng. Việc áp dụng co-training cho phép tận dụng cả dữ liệu có nhãn và không có nhãn, giúp giảm thiểu chi phí gán nhãn. Điều này đặc biệt quan trọng trong bối cảnh mà dữ liệu chưa được gán nhãn chiếm tỷ lệ lớn. Nghiên cứu này không chỉ có giá trị lý thuyết mà còn mang lại ứng dụng thực tiễn trong nhiều lĩnh vực như marketing, phân tích cảm xúc và quản lý thương hiệu.

II. Khai phá quan điểm và ứng dụng

Khai phá quan điểm (Opinion Mining) là một lĩnh vực nghiên cứu nhằm trích xuất thông tin về cảm nghĩ từ dữ liệu văn bản. Khai phá quan điểm bao gồm phân tích tính chủ quan và tính cảm nghĩ trong văn bản. Các khái niệm như tính phân cực và đối tượng của cảm nghĩ là rất quan trọng trong việc xác định nội dung cảm xúc. Hệ thống khai phá quan điểm có khả năng tự động nhận diện và phân loại các ý kiến, từ đó cung cấp thông tin hữu ích cho các quyết định kinh doanh. Việc áp dụng co-training trong lĩnh vực này giúp cải thiện độ chính xác của các mô hình phân lớp, đặc biệt khi dữ liệu có nhãn hạn chế.

2.1. Động lực và ứng dụng của khai phá quan điểm

Quan điểm đóng vai trò quan trọng trong quá trình ra quyết định. Các tổ chức và doanh nghiệp cần hiểu rõ ý kiến của khách hàng để điều chỉnh chiến lược kinh doanh. Khai phá quan điểm có thể được ứng dụng trong nhiều lĩnh vực như marketing, phân tích chính trị, và nghiên cứu thị trường. Ví dụ, trong marketing, việc phân tích cảm nghĩ của khách hàng về sản phẩm giúp doanh nghiệp xác định điểm mạnh và điểm yếu của sản phẩm, từ đó đưa ra các quyết định phù hợp. Hệ thống khai phá quan điểm không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc thu thập và phân tích dữ liệu.

III. Ứng dụng học bán giám sát vào bài toán khai phá quan điểm

Nghiên cứu này áp dụng học bán giám sát để giải quyết bài toán phân lớp trong khai phá quan điểm. Co-training là một trong những phương pháp hiệu quả trong việc tận dụng dữ liệu chưa gán nhãn. Bằng cách sử dụng hai bộ phân lớp độc lập, mỗi bộ sẽ học từ các đặc trưng khác nhau của dữ liệu, từ đó cải thiện độ chính xác của mô hình. Việc lựa chọn dữ liệu và trích chọn đặc trưng là rất quan trọng trong quá trình này. Các đặc trưng như SentiWordNet Score, POS Statistics, và TFIDF được sử dụng để xác định nhãn cho các câu văn trong tập dữ liệu.

3.1. Tổng quát về hướng tiếp cận và giải quyết bài toán

Hướng tiếp cận trong nghiên cứu này bao gồm việc lựa chọn dữ liệu từ kho tài liệu MPQA2.0, trích chọn đặc trưng và xác định nhãn cho các câu văn. Quá trình tiền xử lý dữ liệu cũng được thực hiện để đảm bảo chất lượng dữ liệu đầu vào. Việc huấn luyện và đánh giá mô hình được thực hiện trên các tập dữ liệu khác nhau để so sánh hiệu quả của co-training với các thuật toán học có giám sát khác. Kết quả thực nghiệm cho thấy co-training có thể cải thiện đáng kể độ chính xác của mô hình phân lớp, đặc biệt trong các bài toán có dữ liệu chưa gán nhãn lớn.

IV. Thực nghiệm

Thực nghiệm được thực hiện để đánh giá hiệu quả của co-training trong bài toán khai phá quan điểm. Các kết quả chính đạt được cho thấy rằng co-training không chỉ cải thiện độ chính xác mà còn giảm thiểu thời gian huấn luyện. Những nhược điểm của phương pháp cũng được chỉ ra, như việc phụ thuộc vào chất lượng của dữ liệu đầu vào. Hướng phát triển trong tương lai bao gồm việc mở rộng ứng dụng của co-training cho các ngôn ngữ khác, đặc biệt là tiếng Việt, nhằm nâng cao khả năng khai thác thông tin từ các nguồn dữ liệu phong phú.

4.1. Những kết quả chính đạt được

Kết quả thực nghiệm cho thấy rằng việc áp dụng co-training mang lại hiệu quả cao hơn so với các phương pháp học có giám sát truyền thống. Đặc biệt, trong các bài toán phân lớp cảm nghĩ, co-training cho phép tận dụng tối đa dữ liệu chưa gán nhãn, từ đó cải thiện độ chính xác của mô hình. Những nhược điểm như độ phức tạp trong việc lựa chọn đặc trưng và khả năng phụ thuộc vào dữ liệu cũng được thảo luận. Hướng phát triển trong tương lai sẽ tập trung vào việc cải thiện các thuật toán và mở rộng ứng dụng cho các ngôn ngữ khác.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh hiện nay, dữ liệu dạng văn bản chiếm khoảng 85% tổng lượng dữ liệu lưu trữ trong các tổ chức và trên Internet, với hơn 3 tỷ tài liệu text được đánh chỉ số bởi các công cụ tìm kiếm phổ biến. Việc khai thác tri thức từ lượng dữ liệu khổng lồ này, đặc biệt là các ý kiến, cảm nghĩ của người dùng, đóng vai trò quan trọng trong nhiều lĩnh vực như kinh doanh, chính sách công và nghiên cứu xã hội. Bài toán khai phá quan điểm (opinion mining) nhằm trích xuất và phân tích các quan điểm, cảm xúc từ dữ liệu text, giúp các tổ chức và cá nhân có thể hiểu rõ hơn về thái độ, nhận định của công chúng đối với sản phẩm, dịch vụ hay các vấn đề xã hội.

Luận văn tập trung nghiên cứu giải thuật học cộng tác (Co-training) – một kỹ thuật học bán giám sát – và ứng dụng vào bài toán khai phá quan điểm ở mức câu văn tiếng Anh. Mục tiêu chính là so sánh hiệu quả của thuật toán Co-training với học có giám sát truyền thống trên cùng tập dữ liệu MPQA2.0, đồng thời tìm ra các tham số tối ưu cho thuật toán Co-training nhằm nâng cao độ chính xác phân lớp tính chủ quan và tính phân cực cảm nghĩ của câu. Phạm vi nghiên cứu bao gồm dữ liệu tiếng Anh từ kho MPQA2.0 với 692 tài liệu, 15.802 câu, phân bố trong 5 tập con khác nhau, thu thập từ các bài báo và tài liệu đa dạng trong khoảng thời gian từ năm 2001 đến 2002.

Nghiên cứu có ý nghĩa thiết thực trong việc giảm chi phí gán nhãn dữ liệu thủ công, đồng thời nâng cao hiệu quả khai thác tri thức từ dữ liệu text lớn, góp phần phát triển các hệ thống phân tích cảm xúc tự động có khả năng ứng dụng rộng rãi trong tiếp thị, chính sách công và các lĩnh vực khác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

• Khai phá quan điểm (Opinion Mining): Là lĩnh vực nghiên cứu trích xuất và phân tích các quan điểm, cảm xúc từ dữ liệu văn bản. Khai phá quan điểm bao gồm phân tích tính chủ quan (subjectivity classification) và phân tích tính phân cực cảm nghĩ (polarity classification) với ba lớp chính: tích cực, tiêu cực và trung lập.

• Học máy (Machine Learning): Được định nghĩa là nghiên cứu các thuật toán cải thiện hiệu năng thực hiện nhiệm vụ dựa trên kinh nghiệm. Trong đó, học có giám sát (supervised learning) sử dụng dữ liệu đã gán nhãn để xây dựng mô hình phân lớp, còn học bán giám sát (semi-supervised learning) tận dụng cả dữ liệu có nhãn và không nhãn nhằm nâng cao hiệu quả học.

• Thuật toán Support Vector Machines (SVM): Là thuật toán học có giám sát hiệu quả trong phân lớp văn bản, đặc biệt với dữ liệu có số chiều lớn. SVM tìm siêu phẳng tối ưu phân tách các lớp dữ liệu với biên lớn nhất, giảm thiểu hiện tượng overfitting.

• Thuật toán Co-training: Là kỹ thuật học bán giám sát, trong đó hai bộ phân lớp được huấn luyện trên hai tập thuộc tính độc lập (khung nhìn) của cùng một tập dữ liệu. Thuật toán này cho phép tận dụng dữ liệu không nhãn để cải thiện chất lượng phân lớp.

Các khái niệm chuyên ngành quan trọng bao gồm: tính chủ quan, tính phân cực cảm nghĩ, vector đặc trưng SentiWordNet, POS Statistics, TFIDF, và các chỉ số đánh giá phân lớp như độ chính xác (precision), độ hồi tưởng (recall).

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng kho dữ liệu MPQA2.0 gồm 692 tài liệu, 15.802 câu tiếng Anh, phân bố trong 5 tập con (ORI, ULA, XBANK, OpQA, ULA-LU). Nghiên cứu tập trung vào 3 tập con ORI, ULA và XBANK do tính đại diện và chất lượng dữ liệu.

• Tiền xử lý dữ liệu: Loại bỏ câu lỗi mã ký tự, chuẩn hóa văn bản, xác định nhãn tính chủ quan và tính phân cực cảm nghĩ dựa trên các đánh dấu thủ công trong MPQA2.0.

• Trích chọn đặc trưng: Sử dụng 4 nhóm đặc trưng chính ở mức câu:

  • SentiWordNet Score (SS): vector các điểm tích cực, tiêu cực, khách quan của từng từ.
  • POS Statistics (PS): thống kê tần suất các loại từ trong câu.
  • Word Count (WC): số lần xuất hiện của từ không phải từ dừng.
  • TFIDF: trọng số tần suất từ trong câu so với toàn bộ tập câu.

• Phương pháp phân tích:

  • Xây dựng bộ phân lớp SVM cho bài toán phân lớp tính chủ quan (nhị phân) và tính phân cực cảm nghĩ (đa lớp).
  • Áp dụng thuật toán Co-training với hai khung nhìn được chọn từ các đặc trưng trên.
  • So sánh hiệu quả giữa học có giám sát và học bán giám sát Co-training dựa trên các chỉ số precision, recall, accuracy.

• Timeline nghiên cứu:

  • Thu thập và tiền xử lý dữ liệu: 2 tháng.
  • Trích chọn đặc trưng và xây dựng mô hình SVM: 3 tháng.
  • Thực hiện thuật toán Co-training và đánh giá: 3 tháng.
  • Phân tích kết quả và hoàn thiện luận văn: 2 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của thuật toán Co-training vượt trội so với học có giám sát:
   Trên tập dữ liệu MPQA2.0, thuật toán Co-training đạt độ chính xác trung bình cao hơn khoảng 5-7% so với SVM học có giám sát truyền thống trong phân lớp tính chủ quan và tính phân cực cảm nghĩ. Ví dụ, với nhãn tính chủ quan, Co-training đạt precision 0.82 và recall 0.79, trong khi SVM chỉ đạt precision 0.76 và recall 0.74.

2. Lựa chọn đặc trưng ảnh hưởng lớn đến hiệu quả phân lớp:
   Hai khung nhìn hiệu quả nhất cho Co-training là SentiWordNet Score (SS) và POS Statistics (PS). Khi sử dụng kết hợp hai đặc trưng này, mô hình đạt độ chính xác cao nhất, vượt trội hơn so với các cặp đặc trưng khác như TFIDF và Word Count.

3. Tỷ lệ dữ liệu có nhãn và không nhãn ảnh hưởng đến kết quả:
   Khi tỷ lệ dữ liệu có nhãn trong tập huấn luyện tăng từ 10% lên 50%, độ chính xác của Co-training tăng từ khoảng 75% lên 85%. Tuy nhiên, khi tỷ lệ dữ liệu có nhãn vượt quá 60%, lợi ích của học bán giám sát giảm dần, gần bằng học có giám sát.

4. Phân lớp tính phân cực cảm nghĩ đa lớp khó hơn phân lớp tính chủ quan nhị phân:
   Độ chính xác phân lớp tính phân cực cảm nghĩ đạt khoảng 78% với Co-training, thấp hơn so với phân lớp tính chủ quan (khoảng 83%), do tính phức tạp và đa dạng ngôn ngữ trong biểu đạt cảm xúc.

Thảo luận kết quả

Kết quả cho thấy thuật toán Co-training tận dụng hiệu quả dữ liệu không nhãn để cải thiện chất lượng phân lớp, phù hợp với đặc điểm bài toán khai phá quan điểm khi dữ liệu có nhãn thường khan hiếm và tốn kém để gán nhãn thủ công. Việc lựa chọn hai khung nhìn độc lập và đại diện như SS và PS giúp mô hình học được các khía cạnh khác nhau của câu, từ ngữ mang tính cảm xúc đến cấu trúc ngữ pháp, từ đó nâng cao hiệu quả phân lớp.

So sánh với các nghiên cứu trước đây, kết quả đạt được nằm trong khoảng giữa mức cao nhất và thấp nhất được báo cáo, đồng thời không trái ngược với các công trình liên quan. Việc phân lớp ở mức câu, thay vì mức tài liệu, cũng góp phần làm tăng độ khó do câu thường ngắn và chứa ít thông tin hơn, nhưng lại cho phép phân tích chi tiết hơn các quan điểm mâu thuẫn trong cùng một văn bản.

Dữ liệu được trình bày qua các biểu đồ so sánh độ chính xác giữa các thuật toán, bảng thống kê các chỉ số precision, recall theo từng tỷ lệ dữ liệu có nhãn, giúp minh họa rõ ràng sự cải thiện của Co-training so với học có giám sát.

Đề xuất và khuyến nghị

1. Áp dụng thuật toán Co-training trong các hệ thống khai phá quan điểm thực tế:
   Động từ hành động: Triển khai; Target metric: Độ chính xác phân lớp; Timeline: 6-12 tháng; Chủ thể thực hiện: Các tổ chức nghiên cứu và doanh nghiệp phát triển phần mềm phân tích dữ liệu.

2. Phát triển bộ dữ liệu tiếng Việt có gán nhãn cho khai phá quan điểm:
   Động từ hành động: Xây dựng; Target metric: Quy mô và chất lượng dữ liệu; Timeline: 12-18 tháng; Chủ thể thực hiện: Các viện nghiên cứu ngôn ngữ và trường đại học.

3. Tối ưu hóa tham số thuật toán Co-training và lựa chọn đặc trưng phù hợp cho từng ngôn ngữ:
   Động từ hành động: Nghiên cứu; Target metric: Hiệu quả phân lớp; Timeline: 6 tháng; Chủ thể thực hiện: Các nhà nghiên cứu học máy và xử lý ngôn ngữ tự nhiên.

4. Mở rộng ứng dụng Co-training cho các bài toán phân tích cảm xúc đa ngôn ngữ và đa miền:
   Động từ hành động: Mở rộng; Target metric: Khả năng áp dụng đa dạng; Timeline: 12 tháng; Chủ thể thực hiện: Các tổ chức nghiên cứu quốc tế và doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, đặc biệt lĩnh vực học máy và xử lý ngôn ngữ tự nhiên:
   Giúp hiểu sâu về thuật toán Co-training và ứng dụng trong khai phá quan điểm, từ đó phát triển các nghiên cứu tiếp theo.

2. Doanh nghiệp phát triển phần mềm phân tích dữ liệu và khai thác ý kiến khách hàng:
   Áp dụng các kỹ thuật học bán giám sát để nâng cao hiệu quả phân tích cảm xúc, giảm chi phí gán nhãn dữ liệu.

3. Các tổ chức nghiên cứu ngôn ngữ và phát triển bộ dữ liệu ngôn ngữ:
   Tham khảo phương pháp trích chọn đặc trưng và xử lý dữ liệu để xây dựng bộ dữ liệu gán nhãn chất lượng.

4. Chính phủ và các tổ chức chính sách công:
   Sử dụng kết quả khai phá quan điểm để phân tích ý kiến công chúng, hỗ trợ ra quyết định dựa trên dữ liệu thực tế.

Câu hỏi thường gặp

1. Co-training là gì và tại sao lại hiệu quả trong khai phá quan điểm?
   Co-training là thuật toán học bán giám sát sử dụng hai bộ phân lớp huấn luyện trên hai tập thuộc tính độc lập. Nó tận dụng dữ liệu không nhãn để cải thiện mô hình, giúp giảm chi phí gán nhãn và nâng cao độ chính xác phân lớp, đặc biệt phù hợp với bài toán khai phá quan điểm có dữ liệu nhãn hạn chế.

2. Tại sao chọn MPQA2.0 làm nguồn dữ liệu nghiên cứu?
   MPQA2.0 là kho dữ liệu tiếng Anh lớn, đa dạng với hơn 15.000 câu được gán nhãn chi tiết về tính chủ quan và phân cực cảm nghĩ ở mức câu và cụm từ, phù hợp để đánh giá các thuật toán phân lớp trong khai phá quan điểm.

3. Các đặc trưng nào được sử dụng để biểu diễn câu trong nghiên cứu?
   Bao gồm SentiWordNet Score (điểm tích cực, tiêu cực, khách quan của từ), POS Statistics (tần suất loại từ), Word Count (số lần xuất hiện từ không dừng), và TFIDF (trọng số từ trong câu so với tập câu). Hai đặc trưng SS và PS được chọn làm khung nhìn cho Co-training.

4. Làm thế nào để đánh giá hiệu quả của bộ phân lớp?
   Sử dụng các chỉ số độ chính xác (precision), độ hồi tưởng (recall), và accuracy trên tập dữ liệu đánh giá độc lập. Các chỉ số này phản ánh khả năng phân lớp đúng của mô hình trên dữ liệu chưa thấy trước đó.

5. Có thể áp dụng kết quả nghiên cứu cho ngôn ngữ khác ngoài tiếng Anh không?
   Có thể, nhưng cần xây dựng bộ dữ liệu gán nhãn tương ứng và điều chỉnh đặc trưng phù hợp với đặc điểm ngôn ngữ đó. Việc mở rộng sang tiếng Việt hoặc các ngôn ngữ khác là hướng phát triển tiếp theo được đề xuất.

Kết luận

• Luận văn đã nghiên cứu và ứng dụng thành công thuật toán học bán giám sát Co-training vào bài toán khai phá quan điểm ở mức câu tiếng Anh, sử dụng dữ liệu MPQA2.0.
• Thuật toán Co-training cho thấy hiệu quả vượt trội so với học có giám sát truyền thống, đặc biệt khi dữ liệu có nhãn hạn chế.
• Việc lựa chọn đặc trưng SentiWordNet Score và POS Statistics làm khung nhìn giúp nâng cao chất lượng phân lớp.
• Nghiên cứu góp phần giảm chi phí gán nhãn dữ liệu và mở rộng khả năng khai thác tri thức từ dữ liệu text lớn.
• Các bước tiếp theo bao gồm phát triển bộ dữ liệu tiếng Việt, tối ưu thuật toán và mở rộng ứng dụng đa ngôn ngữ, đa miền.

Để tiếp tục phát triển lĩnh vực khai phá quan điểm, các nhà nghiên cứu và doanh nghiệp được khuyến khích áp dụng và mở rộng các phương pháp học bán giám sát, đồng thời hợp tác xây dựng bộ dữ liệu chất lượng cao phục vụ nghiên cứu và ứng dụng thực tiễn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ý kiến đánh giá của khách hàng, ngƣời dùng, cá nhân về một sản phẩm, dịch vụ, chính sách hay một vấn đề nào đó tồn tại với số lƣợng lớn trong kho lƣu trữ của các công ty, trên mạng internet. Đối với các công ty, việc khai thác lƣợng thông tin này giúp họ hiểu rõ hơn về khách hàng, sản phẩm, dịch vụ của mình. Với các tổ chức, chính phủ thì đây cũng là một nguồn cung cấp thông tin hữu ích hỗ trợ cho việc ra quyết định, điều chỉnh chính sách. Bên cạnh các thuật toán học có giám sát, thì các thuật toán học bán giám sát cũng là một hƣớng nghiên cứu có nhiều ứng dụng trong thực tế.

Đề tài này hƣớng tới tìm hiểu một thuật toán học cộng tác - một trong các thuật toán học bán giám sát - và ứng dụng vào bài toán khai phá quan điểm. Do đặc điểm chỉ cần lƣợng nhỏ dữ liệu đã đƣợc gắn nhãn cùng với lƣợng lớn dữ liệu chƣa đƣợc gắn nhãn làm dữ liệu huấn luyện. Điều này giúp cho việc thu thập, gắn nhãn cho tập dữ liệu huấn luyện ít tốn kém hơn. Những nghiên cứu, luận văn liên quan đến phân tích tính chủ quan và phân tích cảm nghĩ ở nhiều các mức khác nhau cũng nhƣ liên quan đến kỹ thuật Co-training cũng đã xuất hiện nhiều.

Tuy nhiên việc kết hợp chúng lại với nhau, dùng kỹ thuật Co-training vào phân tích tính chủ quan và phân tích cảm nghĩ, thì chƣa đƣợc phổ biến nhiều qua các bài báo, bằng cả tiếng Việt và tiếng Anh, đƣợc công khai trên mạng. Ngoài ra việc phân tích ở mức câu cũng là một trở ngại so với ở mức tài liệu [5]. Đề tài luận văn này định hƣớng giải quyết bài toán phân lớp các câu cảm nghĩ nhƣ sau: Cho một tập văn bản gồm nhiều câu văn tiếng Anh. Phân lớp xem câu nào là câu mô tả cảm nghĩ, câu nào không.

Đối với những câu mô tả cảm nghĩ, dùng bộ phân lớp phân cực để xác định đó là câu mô tả cảm nghĩ tích cực, tiêu cực hay trung lập. Trong đó, các bộ phân lớp đƣợc xây dựng dựa trên kỹ thuật Co-training. Trên cơ sở định hƣớng đó, nội dung trình bày báo cáo luận văn bao gồm: (1) lý do, mục tiêu của đề tài và các đề tài nghiên cứu liên quan – Chƣơng 1; (2) trình bày các kiến thức cơ sở liên quan – Chƣơng 2; (3) cách tiếp cận và giải quyết bài toán – Chƣơng 3; (4) thực nghiệm và các kết quả - Chƣơng 4; (5) kết luận và hƣớng phát triển của đề tài. z Trang 8 CHƢƠNG 1 – GIỚI THIỆU 1.

Lý do chọn đề tài Khai phá dữ liệu (KPDL) là một chuyên ngành mới, thu hút đƣợc nhiều nghiên cứu trong thời gian gần đây. Hƣớng tiếp cận và giải quyết vấn đề dựa trên KPDL là hoàn toàn khác so với cách xử lý Cơ sở dữ liệu (CSDL) truyền thống. Trong xử lý CSDL truyền thống, các thao tác xử lý chỉ có thể truy xuất và đƣa ra các thông tin đã có dƣới dạng liệt kê các giá trị dựa trên tính toán, thống kê các giá trị bản ghi hoặc một báo cáo gồm tập hợp nhiều giá trị bản ghi, giá trị tính toán, thống kê khác nhau. KPDL có thể đƣa ra kết quả là những tri thức tiềm ẩn trong tập dữ liệu mà các xử lý truyền thống nhƣ trƣớc đây không thể truy vấn đƣợc.

Trong KPDL, dữ liệu thích hợp là vấn đề quan trọng đầu tiên để có thể khám phá đƣợc tri thức có giá trị. Tùy vào cấu trúc của dữ liệu mà KPDL sẽ có tên gọi tƣơng ứng thích hợp. Riêng đối với dữ liệu text thì đƣợc gọi là Khai phá text. Dữ liệu dạng text là dạng dữ liệu tự nhiên và chiếm tỉ lệ nhiều nhất trong các dạng dữ liệu mà con ngƣời tạo ra.

Trên Internet, có khoảng 3 tỉ tài liệu dạng text đƣợc đánh chỉ số bởi các máy tìm kiếm phổ biến nhất (Sullivan, 2005). Trong các công ty, lƣợng lớn dữ liệu text trong thƣ điện tử, ghi chú, trang cổng thông tin, tài liệu công ty đƣợc số hóa. Một số ƣớc lƣợng chỉ ra rằng có đến 85% lƣợng dữ liệu công ty đƣợc lƣu trữ dƣới dạng tài liệu text không có cấu trúc. Việc khai thác tri thức từ lƣợng thông tin này là một yêu cầu thiết thực đối với nhân loại.

Dữ liệu text thƣờng ẩn chứa rất nhiều tri thức có giá trị mà con ngƣời tạo ra nhằm chia sẻ với mọi ngƣời về các kinh nghiệm đã trãi qua. Do đó, mỗi khi cần đƣa ra một quyết định gì, chúng ta thƣờng tham khảo đến những kinh nghiệm của ngƣời đi trƣớc bằng cách tìm kiếm trên Internet. Với các công cụ Khai phá quan điểm, thì việc trích xuất những tri thức này sẽ đƣợc thực hiện một cách tự động và có hệ thống. Giúp chúng ta nắm bắt đƣợc các khía cạnh liên quan đến quan điểm của công chúng về một vấn đề nào đó cần quan tâm.

Từ đó giúp cho việc ra quyết định có cơ sở vững chắc. Với lƣợng dữ liệu text sẵn có lớn nhƣ vậy cộng thêm nhu cầu của con ngƣời muốn khai thác hay phân tích các khía cạnh liên quan đến quan điểm thì việc nghiên cứu bài toán khai phá quan điểm chắc chắn sẽ có nhiều ứng dụng trong tƣơng lai. z Trang 9 Trong bài toán khai phá quan điểm, có 2 bài toán phân lớp con là phân lớp sự tồn tại của cảm nghĩ và phân lớp tính phân cực của cảm nghĩ. Nói đến phân lớp thì đƣợc hiểu là học có giám sát, trong đó mô hình / hàm phân lớp đƣợc xây dựng từ tập dữ liệu có nhãn.

Do vậy dữ liệu chƣa đƣợc gán nhãn là vô dụng đối với học có giám sát. Nếu tận dụng đƣợc cả dữ liệu chƣa có nhãn mà có thể nâng cao đƣợc hiệu năng so với học có giám sát thì sẽ đƣợc lợi là không phải làm việc gán nhãn một cách thủ công với những dữ liệu chƣa có nhãn có thể đƣợc thu thập một cách dễ dàng. Việc tận dụng cả dữ liệu chƣa đƣợc gán nhãn để xây dựng mô hình / hàm phân lớp tốt hơn nhƣ vậy đƣợc gọi là học bán giám sát. Chính vì những lý do nêu trên mà đề tài đƣợc định hƣớng giải bài toán khai phá quan điểm dựa trên học bán giám sát.

Những vấn đề liên quan trọng Khai phá quan điểm cần đƣợc tham khảo từ những đề tài, nghiên cứu khác bao gồm: các đặc trƣng, thuật toán Co-training, thuật toán phân lớp trong bài toán khai phá quan điểm. Mỗi vấn đề tồn tại trong rất nhiều nghiên cứu đã đƣợc công bố. Ở đây chỉ liệt kê một hoặc hai nghiên cứu tiêu biểu nhất cho mỗi vấn đề. Liên quan đến trích chọn đặc trƣng trong bài toán Khai phá quan điểm, có nhiều nghiên cứu, trong đó tiêu biểu là “Sentence Level Subjectivity and Sentiment Analysis Experiments in NTCIR-7 MOAT Challenge” [3].

Nghiên cứu này có cách tiếp cận 2 bài toán phân lớp ở mức câu trong Khai phá quan điểm trên các tập dữ liệu khác nhau, trong đó các thực nghiệm đƣợc tiến hành với nhiều đặc trƣng câu khác nhau đƣợc chia thành các nhóm đặc trƣng nhất định. Về thuật toán Co-training, có rất nhiều nghiên cứu tiếp theo sau bài báo của Tom Mitchell, tác giả đề xuất ra giải thuật. Tuy nhiên, nghiên cứu của chính tác giả, đạt giải thƣởng bài báo xuất sắc nhất của ICML năm 1998 (Best paper of ICML 1998) và giải thƣởng bài báo xuất sắc nhất trong 10 năm của ICML/COLT (ICML/COLT 10-Year Best Paper Award) vào năm 2008, là cơ bản nhất. “Combining Labeled and Unlabeled Data with Co-Training” [4], của hai tác giả Avrim Blum và Tom Mitchell, năm 1998: đề xuất thuật toán Co-Training và chứng minh đƣợc tính hiệu quả của nó so với phân lớp dựa trên học máy có giám sát.

Thuật toán phân lớp đƣợc sử dụng phổ biến trong khai phá quan điểm là Support Vector Machine (SVM). Nghiên cứu của hai tác giả Vũ Thanh Nguyên, z Trang 10 Trang Nhật Quang từ Đại học Quốc gia thành phố Hồ Chí Minh, “Ứng dụng thuật toán phân lớp rút trích thông tin văn bản FSVM trên Internet” [2] nêu lên tầm quan trọng của việc chọn hàm thành viên trong SVM. Những cách giải quyết trong luận văn này có một phần đƣợc tham khảo từ những nghiên cứu liên quan nêu trên, một phần đƣợc rút ra từ những những thử nghiệm có kết quả cao. Đánh giá chung thì cách tiếp cận trong luận văn cho các độ đo (độ chính xác, …) nằm trong khoảng giữa của mức cao nhất và mức thấp nhất đƣợc kết luận trong các nghiên cứu trên.

Đồng thời kết quả trong phạm vi luận văn này (Chƣơng 4) không trái ngƣợc với các kết quả của các công trình nghiên cứu liên quan đƣợc liệt kê và không đƣợc liệt kê ở đây. Mục tiêu, phạm vi nghiên cứu của đề tài Mục tiêu chính của đề tài là đƣa ra đƣợc so sánh đánh giá giữa một thuật toán học bán giám sát và một thuật toán học có giám sát trên cùng tập dữ liệu huấn luyện có nhãn và tập dữ liệu đánh giá. Cụ thể là đƣa ra đƣợc các số liệu thực nghiệm chứng minh Co-training có các số đo tốt hơn so với một thuật toán học có giám sát trên cùng tập dữ liệu. Đồng thời đƣa ra đƣợc các tham số tối ƣu cho Co-training qua thực nghiệm trên các tập dữ liệu huấn luyện và đánh giá khác nhau đƣợc trích xuất từ kho dữ liệu MPQA2.

Việc chọn kho dữ liệu MPQA, tiếng Anh, xuất phát từ nguyên nhân khách quan là do chƣa có tập dữ liệu nào bằng tiếng Việt đƣợc tạo ra để phục vụ cho việc nghiên cứu Khai phá quan điểm. Hơn nữa các nghiên cứu về xử lý ngôn ngữ tiếng Việt cũng chƣa đƣợc công bố nhiều. Để đạt đƣợc mục tiêu trên, nghiên cứu sẽ đƣợc tiến hành qua các bƣớc: tìm hiểu về kho dữ liệu MPQA2.0; nghiên cứu các đặc trƣng câu và cách trích xuất; các bƣớc tiền xử lý và chuẩn bị dữ liệu cho phân lớp, cài đặc hai bộ phân lớp con riêng lẻ, hai bộ phân lớp con dựa trên Co-training với các nhãn phân lớp tƣơng ứng là nhãn về sự tồn tại cảm nghĩ và nhãn về tính phân cực cảm nghĩ ở mức câu; cuối cùng thực hiện huấn luyện và đánh giá trên cùng các tập huấn luyện và đánh giá; tổng hợp các kết quả và đánh giá. z Trang 11 CHƢƠNG 2 – KHAI PHÁ QUAN ĐIỂM VÀ ỨNG DỤNG 2.

Khai phá quan điểm (Opinion mining) 2. Các khái niệm liên quan a. “Opinion” (ý kiến, quan điểm) đƣợc từ điển “Oxford Advanced Learner’s Dictionary” định nghĩa là “your feelings or thoughts about sb/sth, rather than a fact”.