MỞ ĐẦU Khảo sát các kỹ thuật chọn lọc đặc trưng kinh điển, và đề xuất kỹ thuật chọn lọc đặc trưng mới vận dụng mô hình máy học. Nêu rõ ưu điểm của kỹ thuật chọn lọc đặc trưng đề xuất; đồng thời, so sánh, đánh giá giữa kỹ thuật chọn lọc đặc trưng đề xuất với các kỹ thuật trước đây.4 Đối tượng và phạm vi nghiên cứu 1.1 Đối tượng nghiên cứu Đối tượng nghiên cứu của luận văn bao gồm: Phân tích cấu trúc xây dựng các trang thông tin điện tử chính thống và phổ biến tại Việt Nam. Các phương pháp tiền xử lý văn bản được sử dụng cho bài toán TC trong lĩnh vực NLP. Phương pháp trích xuất các đặc trưng chuyển đổi văn bản các ký tự chữ thành các vectors số thực.
Các kỹ thuật giúp giảm chiều đặc trưng nhằm sử dụng hiệu quả một số ít các đặc trưng. Các mô hình máy học có thể áp dụng để giải quyết hiệu quả vấn đề phân loại bản tin online tiếng Việt được nghiên cứu trong luận văn.2 Phạm vi nghiên cứu Vì những giới hạn về thời gian và trang thiết bị, luận văn sẽ giới hạn phạm vi nghiên cứu như sau: Quá trình thu thập các dữ liệu có thể sẽ có sự chêch lệch về số lượng bản tin giữa các chủ đề; tùy vào sự cho phép của các trang thông tin điện tử khác nhau. Luận văn sẽ vận dụng các thư viện sẵn có trong mô phỏng cũng như xây dựng mô hình nhằm tận dụng tối đa hiệu quả mà các thư viện này mang lại trong các thuật toán; cũng như tối ưu hóa thời gian nghiên cứu. Một vài hệ số trong các kỹ thuật sử dụng trong luận văn như chiều dài vector đặc trưng, hay số nút ẩn trong NN được chọn ở mức phù hợp với hiệu năng của thiết bị nghiên cứu.5 Phương pháp nghiên cứu Trong luận văn này, phương pháp nghiên cứu được sử dụng là kế thừa các công trình nghiên cứu trước đây.
Các công trình liên quan đến áp dụng máy học trong NLP được khảo sát, phân tích, tổng hợp, và đánh giá ưu nhược điểm. Sau đó, đề xuất một hay nhiều giải pháp để khắc phục nhược điểm; cũng như phát huy ưu điểm dựa trên tính kỹ thuật, và đưa ra hướng giải quyết cho giải pháp đã đề xuất. Do hạn chế về công nghệ và chi phí xây dựng, việc khảo sát giải pháp đề xuất trên hệ thống thực tế là không khả thi. Việc nghiên cứu sẽ được tiến hành thông qua mô phỏng bằng chương trình máy tính và lấy kết quả trên các mô hình.
Phương pháp có thể trình bày qua các bước sau: Tham khảo các bài báo nghiên cứu khoa học (từ các tạp chí khoa học uy tín như IEEE, Springer, Wiley) liên quan đến vấn đề phân loại văn bản sử dụng máy học. Tiến hành thu thập cơ sở dữ liệu cho nghiên cứu từ các bản tin online đã được đăng trên các trang tin tức trực tuyến uy tín tại Việt Nam như: dantri. Xem xét tổng quan vấn đề phân loại chủ đề bản tin online dựa trên các tài liệu đã xác định, tổng kết các nội dung đã được thực hiện thành một chuỗi các công trình có tính liên quan về phân loại chủ đề bản tin. Từ các hướng tiếp cận trước đây, thực hiện việc xây dựng mô hình máy học cho phân loại chủ đề bản tin online tiếng Việt.
Tiến hành khảo sát nhiều mô hình máy học khác nhau, lựa chọn các thông số kỹ thuật tối ưu nhất cho mô hình phân loại bản tin online tiếng Việt. Tiến hành viết các chương trình máy tính cho giải thuật đề ra và chạy mô phỏng kết quả bằng số liệu với ngôn ngữ lập trình Python. Đưa ra thảo luận nhận xét về các kết quả phân loại bản tin của các mô hình khảo sát, tính hiệu quả và yếu điểm của phương pháp đề ra. Viết báo cáo các quy trình, các phân tích và kết quả thực nghiệm các mô hình phân loại bản tin online.
Cuối cùng đưa ra các kết luận và kiến nghị.6 Bố cục của luận văn Toàn bộ luận văn sẽ được trình bày theo một bố cục liên hệ mạch lạc với nhau xuyên suốt trong luận văn này. Các nội dung của luận văn sẽ được chia thành các chương cụ thể 8 1. MỞ ĐẦU để có thể dễ dàng xem xét và nắm bắt vấn đề cũng như tạo sự mạch lạc, logic cho luận văn. Cụ thể, bố cục luận văn sẽ được trình bày như sau: Chương 2 - TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU sẽ trình bày tóm tắt một số phương pháp trích xuất đặc trưng cơ bản được sử dụng trong lĩnh vực NLP.
Các kỹ thuật chọn lọc đặc trưng được nghiên cứu, sử dụng và đánh giá trong các nghiên cứu trước đây. Ngoài ra, chương này cũng cung cấp kiến thức toán tối ưu cơ bản cho các mô hình máy học. Chương 3 - MÔ HÌNH KẾT HỢP NN VÀ SVM sẽ đi sâu và chi tiết về các đề xuất được thực hiện trong luận văn. Từ việc mô tả bộ dữ liệu được thu thập, xử lý và phân chia chủ đề, các kỹ thuật tiền xử lý được áp dụng cho bộ dữ liệu, và các trích xuất đặc trưng từ các bản tin trong bộ dữ liệu; đến phương pháp giảm chiều dữ liệu được đề xuất trong luận văn, và cuối cùng là bộ phân lớp sử dụng máy học.
Chương 4 - KẾT QUẢ THỰC NGHIỆM là các kết quả mô phỏng, khảo sát, so sánh giữa các mô hình máy học khác nhau được thực hiện. Đồng thời, cũng so sánh với các mô hình khác đã được trình bày trong các nghiên cứu trước đây cho cùng vấn đề phân loại bản tin online tiếng Việt. Các kết luận và định hướng phát triển trong tương lai sẽ được nêu ra ở Chương 5 - KẾT LUẬN CHUNG VÀ HƯỚNG NGHIÊN CỨU. Cuối cùng là danh mục các tài liệu tham khảo trong luân văn.7 Các bài báo đã hoàn thành trong luận văn Trong quá trình thực hiện luận văn, các nội dung nghiên cứu đề cập trong các chương kế tiếp đã được viết thành 2 bài báo khoa học đã được gửi lên các tạp chí, và hội nghị quốc tế.
Cụ thể được liệt kê như sau: Bài báo đã được đăng trên hội nghị quốc tế ISEE: 1. Kha, “Feature extraction using neural networks for vietnamese text classification,” in 2021 International Symposium on Electrical and Electronics Engineering (ISEE). Bài báo đã được chấp nhận trên tạp chí quốc tế JAIT: 1. To Nguyen Phuoc Vinh and Ha Hoang Kha, “Vietnamese news articles classi- fication using neural networks,” in Journal of Advances in Information Technology (JAIT).
9 Chương 2 TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ LÝ THUYẾT LIÊN QUAN Trong chương này, luận văn trình bày một số phương pháp tạo đặc trưng trong tác vụ NLP nói chung hay phân loại văn bản nói riêng. Các phương pháp này được gọi chung là nhúng từ bằng cách thể hiện một từ bằng một vector số thực. Tiếp theo, luận văn sẽ liệt kê một số phương pháp chọn lọc đặc trưng phổ biến trong phân loại văn bản nhầm giúp giảm số lượng đặc trưng được tạo ra trong quá trình nhúng từ, điều này làm tăng độ hiệu quả của bộ phân lớp. Cuối cùng, chương này sẽ đề cập tới một số kiến thức toán tối ưu cơ bản.1 Nhúng từ Ngôn ngữ tự nhiên là một hệ thống phức tạp được dùng để biểu đạt ngữ nghĩa.
Trong hệ thống này, các từ là đơn vị cơ bản nhất của ngữ nghĩa. Vector từ được hiểu trực tiếp theo đúng cái tên của nó là một vector dùng để đại diện cho một từ. Vector này cũng có thể dùng trực tiếp như một vector đặc trưng. Kỹ thuật biến đổi các từ trong văn bản thành các vectors số thực được gọi là nhúng từ.
Nhiều năm trở lại đây, nhúng từ đã dần trở thành kỹ thuật cơ bản không thể thiếu trong NLP.1 One-hot vector Một one-hot vector là một vector thưa với chỉ một phần tử bằng một, trong khi các phần tử còn lại bằng không. Với một từ điển có N từ khác nhau, mỗi từ có thể tương ứng một-một với một con số nguyên từ 0 đến N − 1 [25]. Những số nguyên này tương ứng với các từ trong từ điển và được gọi là chỉ số của từ. Giả sử rằng chỉ số của một từ là i, để 10 2.
TỔNG QUAN CÁC VẤN ĐỀ NGHIÊN CỨU VÀ LÝ THUYẾT LIÊN QUAN áp dụng one-hot vector đại diện cho từ này, chúng ta tạo một vector với tất cả các phần tử có giá trị là 0 ngoại trừ phần tử thứ i. Theo cách này, mỗi từ trong một văn bản sẽ được thể hiện bằng một vector có độ dài N tương ứng với độ dài của từ điển. Dù one-hot vector có cấu trúc đơn giản, nhưng chúng không thật sự tốt trong các tác vụ NLP. Một lý do chính là các one-hot vectors không thể thể hiện chính xác mối quan hệ giữa các từ khác nhau.
Ví dụ như việc tính độ tương quan cosine giữa hai one-hot vectors x và y ∈ RN : xT y cos (θ) = ∈ [−1, 1] .1) kxk kyk Bởi vì, x và y là các one-hot vectors nên giá trị hàm tương quan sẽ luôn bằng không. Do vậy, việc sử dụng one-hot vector để biểu diễn một từ không thể hiện được mối quan hệ giữa các từ khác nhau trong văn bản.2 Mô hình Skip-gram Mô hình skip-gram [26] giả sử rằng một từ có thể được dùng để tạo ra một từ khác xung quanh nó trong một câu. Ví dụ trong câu: “Mẹ yêu thương con cái”, nếu lấy từ “thương” làm tâm và xét trong khoảng hai từ trước và sau từ “thương” ta được Hình 2.1, cho central target word mà ta quan tâm là từ “thương”, mô hình skip-gram liên quan tới việc tính xác suất có điều kiện để tạo ra ngữ nghĩa cho các từ nằm trong context window có kích thước là hai từ - “mẹ”, “yêu”, “con”, “cái”.2) Giả sử rằng việc tạo ra những context words liền kề là độc lập với nhau, khi đó (2.3) Trong mô hình skip-gram, mỗi từ được đại diện bởi hai vectors d chiều, được dùng để tính xác suất có điều kiện. Giả sửa rằng, một từ tại vị trí thứ i trong từ điển, vector biểu diễn cho nó là vi ∈ Rd khi từ này là central target word; và vector ui ∈ Rd khi từ này là từ được tạo ra bởi một central target word khác.
Gọi central target word và từ được tạo ra là wc và wo là hai từ nằm tại vị trí c và o trong từ điển. Xác suất có điều kiện cho việc tạo ra từ liên quan tương ứng với central target word được xác định theo (2.