mở đầu cho một phương pháp mới về phân tích tác giả văn bản, dựa trên các thông tin kết hợp từ nhiều khía cạnh khác nhau của văn bản. Mostella và Wallace áp dụng phương pháp phân loại Naïve Bayes, sử dụng các đặc trưng là tần suất của một tập các từ chức năng (là các từ có chức năng ngữ pháp như the, of, about. Nghiên cứu đã cho thấy các kết quả đáng tin cậy và mở ra một giai đoạn mới cho kỹ thuật phân tích tác giả văn bản dựa trên các đặc trưng văn bản và kỹ thuật xây dựng mô hình mới. Ý tưởng cơ bản của phương pháp này là tìm cách biểu diễn các tài liệu như các điểm trong một không gian nào đó.
Sau đó, với tài liệu mới cần phân tích, gán nó cho tác giả có các tài liệu được xem là “gần” tài liệu mới nhất theo một độ đo khoảng cách phù hợp nào đó. Phương pháp này đem lại hiệu quả khá tốt, do vậy nó tiếp tục được sử dụng trong các nghiên cứu gần đây và được thử nghiệm trên các độ đo và tập đặc trưng khác nhau. Điển hình là các phương pháp như Delta của Burrows [18] và sau đó được mở rộng thêm qua các nghiên cứu khác như [19], [42], [43] hay phương pháp so sánh xác xuất gần đúng dựa trên phân phối Laplace của các từ có tần suất cao [9], [102]. Ngoài ra, một số hàm đo độ tương tự khác cũng được nghiên cứu sử dụng làm độ đo phân biệt các tác giả dựa trên các tập đặc trưng khác nhau [20], [37], [53], [101].
Một loại kỹ thuật khác được nghiên cứu bởi Burrows (như trích dẫn trong [47]) ứng dụng kỹ thuật phân tích thành phần chính trên tần suất các từ để phân tích tác giả văn bản. Ý tưởng chính của phương pháp là trực quan hóa sự khác biệt giữa các văn bản được viết các tác giả khác nhau bằng cách “chiếu” các véc tơ tần suất từ có số chiều lớn của các văn bản xuống một không gian con chỉ có hai chiều tạo nên bởi hai thành phần chính. Phương pháp này sau đó được nghiên cứu tiếp bởi [15], và được sử dụng để giải quyết các bài toán về phân tích tác giả cho kết quả tốt [16]. Về khía cạnh xác suất, các phương pháp này đã khai thác sự phụ thuộc thống kê của tần suất các từ trong văn bản.3 Phương pháp học máy Học máy là kỹ thuật có nhiều ưu điểm trong việc phân tích tác giả văn bản và được sử dụng trong hầu hết các nghiên cứu gần đây trong lĩnh vực này.
Sử dụng học máy, các văn bản mẫu sẽ được biểu diễn thành các véc tơ đặc trưng được gán nhãn và các thuật toán học máy sẽ được sử dụng để xây dựng mô hình phân loại, cho phép định ra ranh giới giữa các lớp phân loại (các tác giả hoặc các đặc điểm tác giả). Có nhiều thuật toán học máy được thử nghiệm, trong đó thuật toán SVM được sử dụng nhiều nhất và được chứng minh cho kết quả tốt nhất trong nhiều trường hợp. Nhiều nghiên cứu đã thử nghiệm thuật toán SVM trên các tập đặc trưng khác nhau và đều cho kết quả tốt như nghiên cứu của De Vel [107] nhận diện tác giả email cho kết quả có độ chính xác 85.7%; Corney et al. [23] phân tích xác định giới tính tác giả email độ chính xác 70%; Zheng [118] thực hiện nghiên cứu nhận diện tác giả email và nhóm tin tiếng Anh + tiếng Trung; Zhao và Zobel [116] cải tiến các phương pháp phân tích tác giả để áp dụng cho việc nhận diện tác giả các bản tin trực tuyến trên các diễn đàn tiếng Anh và tiếng Ả rập của các nhóm cực đoan đạt kết quả hơn 90% khi dùng SVM; Koppel et al.
[60] sử dụng SVM để xác định ngôn ngữ gốc của tác giả các bài luận tiếng Anh đạt kết quả có độ chính xác 80%; Koppel et al. [59] đề xuất phương pháp so sánh độ sâu về khác biệt đặc trưng dựa trên thuật toán cơ sở là SVM; Zhang và Zhang [114] và Pham et al. [89] nghiên cứu nhận diện đặc điểm người viết blogs dùng SVM; Peersman et al. [84] sử dụng SVM để dự đoán giới tính và tuổi của các tác giả bài viết trên mạng xã hội của Bỉ với độ chính xác lên tới 88%; Rangel et al.
[93] nghiên cứu việc sử dụng SVM để nhận diện giới tính và tác giả của nhiều loại văn bản trực tuyến khác nhau như blogs, bài viết mạng xã hội, đánh giá sản phẩm v. Ngoài SVM còn có nhiều công trình khác cũng nghiên cứu, ứng dụng các thuật toán học máy khác vào lĩnh vực phân tích tác giả. Zheng et al. [118] thử nghiệm ba thuật toán SVM, Decision Tree, Back Propagation Network (BPN) để phân tích tác giả bản tin và cho kết quả SVM và BPN nhận diện chính xác hơn Decision Tree; Graham et al.
[34] sử dụng mạng nơ ron để phân đoạn văn bản theo 14 phong cách; Argamon et al. [11] sử dụng phương pháp học máy hồi quy đa thức dựa trên xác suất Bayesian Multinomial Regression (BMR) để nhận diện đặc điểm tác giả bài viết blogs cho kết quả có độ chính xác 76% ở giới tính và 77% ở độ tuổi; Iqbal [47] sử dụng kỹ thuật tạo vân chữ viết dựa trên các thuật toán tối đa hóa kỳ vọng (Expectation Maximization), K-Means và trích ra các mẫu thường xuất hiện; Nguyen et al. [77], [78] sử dụng hồi quy logic (Logistic Regression) và hồi quy tuyến tính (Linear Regression) để dự toán tuổi của tác giả bài viết blogs và diễn đàn. Nhìn chung, phương pháp học máy hiện nay đang được các nhà nghiên cứu tập trung khai thác và cải tiến để áp dụng vào lĩnh vực phân tích tác giả văn bản, nhằm ngày càng nâng cao độ chính xác.
Bên cạnh các thuật toán kinh điển, nhiều thuật toán khác đang được nghiên cứu cũng với các kỹ thuật hỗ trợ như chọn lọc đặc trưng (feature selection), thuật toán học máy kết hợp (ensemble learning), thuật toán học sâu (deep learning), v. Mặc dù việc lựa chọn thuật toán học máy phù hợp là một vấn đề quan trọng, nghiên cứu của Koppel et al. [58] cho thấy trong lĩnh vực phân tích tác giả văn bản, việc lựa chọn tập đặc trưng lại có tầm quan trọng cao hơn. Phần tiếp theo sẽ trình bày về các đặc trưng nhận diện được sử dụng phổ biến trong phân tích tác giả văn bản.4 Nhận xét và đánh giá Trong các phương pháp phân tích được trình bày ở trên, học máy là phương pháp được sử dụng phổ biến và ưa chuộng nhất hiện nay trong phân tích tác giả nói riêng và các hoạt động phân tích dữ liệu nói chung.
Qua các kết quả khả quan từ các nghiên cứu trước đây, học máy đã chứng tỏ sức mạnh trong việc thao tác với lượng dữ liệu lớn và đa chiều, mang lại các kết quả chính xác và ngày càng chứng tỏ tiềm năng hơn. Chính vì lý do này, luận án sử dụng học máy như phương pháp nghiên cứu chính cho mục tiêu phân tích tác giả bài viết diễn đàn tiếng Việt.5 Các đặc trưng nhận diện Trong phân tích tác giả văn bản, tập đặc trưng có thể được xem như một hình thức biểu diễn văn bản theo các đặc thù của tác giả. Như đã nói ở trên, các nghiên cứu trong thời kỳ đầu tập trung vào tìm kiếm một đặc trưng duy nhất có tính chất bất biến với một tác giả cụ thể nhưng thay đổi giữa các tác giả khác nhau. Đặc trưng được nghiên cứu nhiều nhất là các đặc trưng về độ phức tạp của văn bản, bao gồm độ dài trung bình từ (theo âm tiết hoặc ký tự), số từ trung bình/câu, hoặc độ phong phú của từ (vocabulary richness), v.
Mặc dù các đặc trưng này chưa chứng tỏ được sự hữu ích khi sử dụng cho phương pháp bất biến đơn nhất, chúng có thể được sử dụng như một đặc trưng bổ sung cho tập đặc trưng của các nghiên cứu dựa trên các phương pháp hiện đại hơn sau này [3], [4], [23], [106], [117]. Khác với phương pháp bất biến đơn nhất, các phương pháp sau này sử dụng một tập các đặc trưng thay vì một đặc trưng duy nhất để phân tích tác giả văn bản. Với một tập đặc trưng được lựa chọn, một văn bản có thể được biểu thị bằng một véc tơ đặc trưng mà mỗi mục giá trị thể hiện tần suất của đặc trưng đó trong văn bản [55]. Rất nhiều loại đặc trưng khác nhau đã được các nhà nghiên cứu phân tích và sử dụng cho các tác vụ phân tích tác giả văn bản, nhưng các kết quả thực nghiệm cho thấy không có tập đặc trưng nào là hoạt động tốt nhất trong mọi trường hợp.
Theo Argamon et al. Các đặc trưng phong cách thể hiện cách thức sử dụng các thành phần của ngôn ngữ mà không liên quan đến nội dung, trong khi đặc trưng dựa trên nội dung chủ yếu thể hiện cách sử dụng các thành phần như các từ ngữ có liên quan đến các nội dung cụ thể. Ngoài ra, trong nghiên cứu này, chúng tôi đề xuất thêm cách phân loại đặc trưng theo tính độc lập hay phụ thuộc vào tập dữ liệu. Các đặc trưng độc lập có thể được lựa chọn mà không cần tham chiếu đến tập dữ liệu, trong khi các đặc trưng phụ thuộc được trích chọn ra từ chính tập dữ liệu huấn luyện mô hình.1 Các đặc trưng theo phong cách Các đặc trưng theo phong cách có thể được chia thành ba loại, bao gồm đặc trưng về từ vựng, đặc trưng về ngữ pháp, và đặc trưng về cấu trúc.
Đặc trưng về từ vựng. Các nghiên cứu về xử lý văn bản nói chung thường thường xem một văn bản như một chuỗi các từ hoặc chuỗi các ký tự. Khi đó, các đặc trưng về từ vựng được sử dụng để phân biệt thói quen sử dụng các ký tự và các từ trong văn bản. Các đặc trưng phổ biến thuộc loại này bao gồm số các ký tự, các từ được dùng, tần suất sử dụng các ký tự, của các loại từ, độ dài từ, độ dài câu [3], [6], [7], [71], [107].
Ngoài ra, các đặc trưng khác như tần suất của các chữ cái, các ký tự đặc biệt, độ phong phú trong cách dùng từ cũng được sử dụng [4], [6], [7], [11], [12], [22], [49]. Đặc trưng độ phong phú của từ đánh giá tính đa dạng của việc dùng từ trong văn bản. Các đặc trưng điển hình của loại này là tỷ lệ số từ phân biệt trên tổng số từ, số từ chỉ xuất hiện 1 lần, số từ chỉ xuất hiện 2 lần v. Tuy nhiên, các đặc trưng này có nhược điểm là phụ thuộc nhiều vào độ dài văn bản.