Chương 1: Nghiên cứu tổng quan Chương này trình bày các kết quả nghiên cứu tổng quan liên quan đến học máy, các phương pháp học máy, phân lớp dữ liệu và phân loại văn bản, nghiên cứu ứng dụng kỹ thuật học bán giám sát vào lĩnh vực phân loại văn bản tiếng Việt. Trên cơ sở nghiên cứu, đánh giá các vấn đề còn tồn tại, đề xuất những nội dung nghiên cứu trình bày trong các chương tiếp theo. Xây dựng kho dữ liệu Chương này trình bày các vấn đề cơ bản về kho dữ liệu như: giới thiệu về kho dữ liệu, phân tích, đặc tả dữ liệu, đưa ra giải pháp xây dựng kho, phân tích thiết kế kho dữ liệu, đồng thời thiết kế cơ sở dữ liệu cho kho để phân loại văn bản tiếng Việt. Mục đích xây dựng kho dữ liệu ở chương này là để phục vụ huấn luyện và kiểm thử cho thực nghiệm ở các chương sau.
Chương 3: Phân loại dựa trên mô hình cự ly đường trắc địa Chương này trình bày kết quả nghiên cứu phân loại văn bản dựa trên mô hình cự ly trắc địa. Nội dung chủ yếu liên quan đến các khái niệm mô hình cự ly trắc địa, xây dựng mô hình cự ly trắc địa dựa trên máy véc tơ hỗ trợ, thuật toán tính cự ly trắc địa và ứng dụng để xây dựng phần mềm phân loại văn bản tiếng Việt. Chương 4: Rút gọn số chiều véc tơ dựa trên đồ thị Dendrogram Chương này trình bày kết quả nghiên cứu về đồ thị Dendrogram, kết hợp mô hình đồ thị Dendrogram và dữ liệu Từ điển Bách khoa toàn thư Wikipedia để thực hiện phân cụm từ và áp dụng để rút gọn số chiều của véc tơ trong quá trình phân loại văn bản tiếng Việt. NGHIÊN CỨU TỔNG QUAN Trong chương này, giới thiệu các kết quả nghiên cứu tổng quan liên quan đến học máy, phân loại văn bản và đề xuất các vấn đề nghiên cứu.
Nội dung chính trình bày các khái niệm, phương pháp và kỹ thuật sử dụng trong học máy. Tiếp theo, trình bày về phân loại văn bản, cách biểu diễn văn bản bằng véc tơ và các phương pháp phân loại văn bản đang sử dụng phổ biến hiện nay. Trên cơ sở đó, đề xuất những vấn đề nghiên cứu trong các chương tiếp theo. Khái niệm Học máy [51] là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc phát triển các kỹ thuật cho phép các máy tính có thể "học" [70][87].
Cụ thể hơn, học máy là một phương pháp để tạo ra các phần mềm máy tính thông qua việc phân tích các tập dữ liệu. Học máy là lĩnh vực liên quan nhiều đến thống kê do cả hai lĩnh vực đều tập trung vào việc nghiên cứu để phân tích dữ liệu. Tuy nhiên, học máy có sự khác biệt với thống kê, học máy tập trung vào nghiên cứu sự phức tạp của các giải thuật trong quá trình tính toán, xử lý dữ liệu. Trên thực tế, có nhiều bài toán suy luận được xếp loại là bài toán NP- khó, vì thế một phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ để có thể xử lý được lớp các bài toán nhị phân một cách tổng quát nhất.
Trên cơ sở đó, người ta phân loại học máy theo hai dạng sau: - Học máy dựa trên quy nạp: Máy học phân biệt các khái niệm dựa trên dữ liệu đã thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều, sẵn có. - Học máy dựa trên suy diễn: Máy học phân biệt các khái niệm dựa vào các luật. Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ học máy.
Ứng dụng của học máy Chúng ta đều biết khái niệm về việc xếp hạng trang web. Đó là quá trình gửi một 9 câu truy vấn đến một công cụ tìm kiếm, sau đó sẽ được trả một danh sách các trang web có liên quan đến câu đã truy vấn theo một thứ tự nhất định. Để thực hiện được chức năng này, một công cụ tìm kiếm phải “Biết” được những kiến thức về các trang phù hợp hay liên quan với truy vấn. Ví dụ về kết quả sắp xếp của các trang web được truy vấn bởi từ khóa “Học máy”.
Những kiến thức như vậy có thể được tổng hợp từ nhiều nguồn khác nhau như: cấu trúc liên kết, nội dung hay tần số sử dụng của các trang web. Ngoài ra cũng có thể được kết hợp với cách xếp hạng thủ công để đưa ra kết quả xếp hạng tự động từ một câu truy vấn. Tuy nhiên học máy chính là một sự lựa chọn tốt hơn cả cho việc thiết kế một công cụ tìm kiếm. Việc sử dụng lọc cộng tác trong hệ thống tư vấn như ở các trang Amazon hay Netflix nhằm khuyến khích người sử dụng mua sách hay thuê phim cũng là một ví dụ minh họa cho một ứng dụng của học máy.
Tương tự như việc xếp hạng trang web, chúng ta cần một bảng sắp xếp danh sách các ấn phẩm (sách hoặc phim) theo sở thích của khách hàng. Điểm khác ở đây chính là chúng ta không có những câu truy vấn mà chỉ có những lời bình, lý lịch hay thói quen mua hoặc thuê ấn phẩm trước đó của khách hàng. Chúng ta có thể sử dụng những thông tin từ các khách hàng tương tự để đưa ra các quy luật, quy tắc cho việc sắp xếp. Vì vậy, việc giải quyết những vấn đề trên một cách tự động là hết sức cấp bách nhằm mục đích tránh phỏng đoán sai cũng như tiết kiệm thời gian.
Một ứng dụng khác của học máy đó chính là dịch tự động cho văn bản. Thông thường, để dịch văn bản từ thứ tiếng này sang thứ tiếng khác, chúng ta cần phải hiểu rõ tất cả những quy tắc được quy định bởi các chuyên gia (nhà ngôn ngữ học) am hiểu cả hai ngôn ngữ mà chúng ta cần dịch. Đây là một việc làm khá phức tạp và tốn nhiều chi phí bởi vì chúng ta không thể thu thập được hết tất cả các quy tắc, cũng như không phải bất kì văn bản nào cũng tuân theo một quy tắc nhất định. Thay vào đó chúng ta có thể sử dụng một số bản dịch mẫu để học một cách tự động phương pháp dịch giữa hai ngôn ngữ.
Nói cách khác, học máy chính là một công cụ tốt nhất để xây dựng một hệ thống phiên dịch tự động. 10 Có rất nhiều ứng dụng học máy như sử dụng nhận dạng khuôn mặt để phục vụ các hệ thống điều khiển tự động hay bảo mật. Khi cho một hình ảnh hay một đoạn phim của một người, bài toán được đặt ra đó là: “Hãy trả lời câu hỏi người đó là ai?”. Nói cách khác, hệ thống cần phân biệt, nhận dạng khuôn mặt của một người từ danh mục tên (Ví dụ: Tuấn, Liên, Tâm, …) hay cần trả lời đó là một khuôn mặt đã được đăng ký từ trước hay chưa.
Rất dễ giải quyết vấn đề này nếu như khuôn mặt của một người không bao giờ thay đổi. Tuy nhiên, trên thực tế khuôn mặt người có thể thay đổi theo cảm xúc, trạng thái sức khỏe,… Ngoài ra, việc thay đổi kiểu tóc, đeo kính hay không, cường độ ánh sáng cũng làm cho bức ảnh đầu vào sai lệch đi rất nhiều so với dữ liệu có trong hệ thống. Vì vậy, hệ thống cần phải học và tìm ra những đặc trưng tốt nhất trong việc nhận dạng mặt người. Đó chính là nhiệm vụ của học máy.
Các dạng dữ liệu trong học máy Khi nói tới học máy, chúng ta không thể bỏ qua việc định dạng các thể loại của dữ liệu. Việc định dạng dữ liệu giúp chúng ta có thể tìm ra những hướng giải quyết vấn đề mới nhờ vào việc sử dụng những kỹ thuật có chung kiểu dữ liệu. Ví dụ, trong xử lý ngôn ngữ tự nhiên, dữ liệu thường là những chuỗi ký tự. Vì vậy ta cũng có thể ứng dụng những kỹ thuật trong xử lý ngôn ngữ tự nhiên vào lĩnh vực tin sinh học như là phân tích trình tự DNA vì thực ra kiểu dữ liệu trong trình tự DNA cũng là chuỗi ký tự.
Sau đây là một số kiểu dữ liệu thường được nhắc tới và sử dụng trong học máy. - Véc tơ: là kiểu dữ liệu cơ bản nhất trong học máy. Nó thể hiện các đặc tính của một sự vật, sự việc trong một môi trường cụ thể. Ví dụ, ta thường thấy một công ty quản lý hồ sơ cá nhân của nhân viên bao gồm những đặc tính, thể hiện trên các biến của véc tơ (giới tính, chiều cao, cân nặng, ngày sinh, trình độ,.
Trong khi đó, một nông dân giới thiệu sản phẩm rau quả của họ thông qua tiêu chí (chủng loại, kích thước, trọng lượng, hình dáng, màu sắc). Cũng như vậy, chúng ta cũng có thể thể hiện mỗi văn bản được biểu diễn thành một véc tơ, mỗi thành phần của véc tơ là một từ khóa trong tập văn bản gốc và được gán một giá trị trọng số xác định dựa 11 trên tần suất xuất hiện của các từ hay cụm từ trong văn bản. - Danh sách: là danh sách các dữ liệu hoặc đặc tính được liệt kê của sự vật, sự việc. Khác với véc tơ, danh sách không nhất thiết phải liệt kê đầy đủ các thông số của đặc tính.
Ví dụ, một bác sỹ không nhất thiết phải thực hiện đầy đủ tất cả các bước trong quy trình khám mà vẫn có thể xác định được bệnh nhân có khỏe mạnh hay không. Trong trường hợp này, chúng ta có thể sử dụng danh sách để tiết kiệm bộ nhớ máy tính. - Tập hợp: là một tập hợp các dữ liệu, trong đó thứ tự của các phần tử dữ liệu có ảnh hưởng không quan trọng đến kết quả của các thuật toán trong học máy và các phần tử thường không ảnh hưởng lẫn nhau. - Ma trận: là thể hiện mối quan hệ cặp đôi.
Nó như là một bảng dữ liệu 2 chiều trong đó dữ liệu có thể được xác định khi và chỉ khi biết chính xác số hàng và số cột của dữ liệu đó. Ví dụ, ta có thể thể hiện một bảng điểm của một lớp học bằng một ma trận, mỗi hàng thể hiện điểm các môn học của một sinh viên và mỗi cột thể hiện điểm của tất cả các sinh viên đối với một môn học. Tương tự biểu diễn văn bản, ta chia văn bản thành n đoạn, mỗi đoạn biểu diễn bằng một véc tơ, ta có n véc tơ. Xắp xếp các véc tơ này thành n cột và n hàng liên tiếp thành một ma trận.
- Hình ảnh: hình ảnh được hiểu như một mảng hai chiều, trong đó dữ liệu là các con số. Nó cũng có thể hiểu như một ma trận.