đặt vấn đề tại đây, sau đó yêu cầu của bạn sẽ được gửi đến địa chỉ support@congty. Câu hỏi sẽ được gửi đến một tài khoản email duy nhất, sẽ có người tiếp nhận và phân phối chúng đến các chuyên gia tương ứng để trả lời câu hỏi của bạn. Và đối với hệ thống này, dường như công việc đã dồn rất nhiều cho thư ký — là người phải đọc để hiểu vấn đề đang cần được hỗ trợ về vấn đề gì, liên quan đến lĩnh vực nào, chuyên môn của chuyên gia nao,. từ đó quyết định chuyền câu hỏi cho chuyên gia tương ứng.
Thông thường đối với hệ thống như vậy từ lúc người dùng gửi câu hỏi đến lúc nhận được thư xác nhận “vấn dé của bạn đã được hệ thống ghỉ nhận và chuyên gia đang xử ý nớ” mat khoảng hai ba ngày. Nếu trong một ngày số lượng câu hỏi gửi đến hệ thống quá nhiều làm sao người thư ký có thể giải quyết xué việc phân loại và chuyển câu hỏi đến chuyên gia. Hơn nữa, người thư ký cho hệ thống này phải là người có kiến thức căn bản về các lĩnh vực mà hệ thống hỗ trợ dé có thé đọc hiểu được hết các yêu cầu từ người dùng. Chúng ta thấy rằng hệ thống hỗ trợ thông tin trên internet là rất phổ biến, và vấn dé nảy sinh sự quá tải cho công việc thư ký trong hệ thống này.
Day chính là vấn đề mà luận văn mong muốn đạt được đề giải quyết cơ chế phân phối tự động câu hỏi đến chuyên gia trong các hệ thống hỗ trợ. Hệ thống hỗ trợ phân loại câu hỏi tự động 2. Mô tá hoạt động của hệ thống 11 ae haying L dùng Hình 2.1 — Mô hình hệ thống Hệ thống hỗ trợ phân loại tự động các câu hỏi từ xa được xây dựng đề giao tiếp với người dùng qua môi trường world wide web, người sử dụng chỉ đơn giản sử dụng trên máy tính có nối mạng của họ để đưa ra các câu hỏi, các vấn đề cần được hỗ trợ đến hệ thống. Các vấn đề từ người dùng đưa đến hệ thống sẽ được phân loại và chuyển đến chuyên gia một cách tự động, khi vấn đề thuộc lĩnh vực mới phát sinh mà hệ thống không thẻ phân loại được, thì câu hỏi sẽ được chuyền bằng tay qua thư ký.
Tài khoản cho người sử dụng chia ra làm 3 loại: - Khách hàng: đối tượng cần hỏi đáp, cần được hỗ trợ. Các vấn đề cần được giải đáp, hỗ trợ sẽ được khách hàng mô tả bằng văn bản trên ô text trên trang web. - Thư ký: người phân loại câu hỏi bằng tay đối với các câu hỏi mà hệ thống không thể phân loại tự động được. - Chuyên gia: người đưa ra các giải pháp, các câu trả lời cho khách hàng khi vấn đề của họ được chuyền đến mình.
Vai trò của thành phần trong hệ thống Tập các văn bản thuộc : nhiêu chủ đê Sửa lỗi thông thường: sai chính tả, nhiêu khoảng trang. Người dùng L— Ỷ h : ——— — ay Mô tả vấn đề mới phát sinh băng văn bản Ỷ Tạo từ điên vo — .a Xay dung N Loại bỏ các từ không cây quyết \ mang ý nghĩa với tat định văn j cả các chủ đê Ñ ⁄ \ ¬. Tác nhân huấn luyện hệ thong Thư ký / Phuong an giai ` LE———> quyết của chuyên — \ gia / Hình 2.2 — Các thành phan trong hệ thống Các thành phần chủ yếu của hệ thống được mô tả trong hình 2. Theo đó, ta có thể phân chia ra làm hai phần lớn: 13 - Phần giao tiếp và tương tác với người sử dụng.
- Tác nhân huấn luyện hệ thống: Ở đây sẽ bao gồm hầu hết các bước chính cần thực hiện trong luận văn. ° Tập các văn bản thuộc nhiều chủ dé: đây là các văn bản thuộc nhiều chủ đề khác nhau, số lượng văn bản tuỳ thuộc vào lĩnh vực và chủ đề mà hệ thống cần phân loại. Tập văn bản này được sử dụng để huấn luyện hệ thống, nói cách khác nó là co sở dé xây dựng bộ từ điển rồi từ đó xây dựng cây quyết định để phục vụ cho việc phân loại. Sửa lỗi cú pháp thông thường: thành phần này giúp hiệu chỉnh tập văn bản để giúp cho việc phân loại được chính xác hơn.
Các văn bản thường gặp một số lỗi như bỏ dấu sai chính tả (ví dụ chữ toán hay viết sai thành fan), giữa các chữ có nhiều hơn một khoảng trắng, viết chưa hết câu mà xuống hàng. Tach từ: thông kê các từ đơn, từ đôi, từ ba có trang tat cả các văn bản. Trong thành phần này có sử dụng phương pháp Markov hỗn hợp Bi-gram và Tri-gram để tách từ đôi, từ ba trong tiếng Viét[S]. Tao từ điển: Các từ sau khi qua bước phân đoạn được đưa vào cơ sở dữ liệu để tạo nên một bộ từ điển một cách tự động.
Bộ từ điển này được dùng dé biểu diễn các văn bản của tập văn bản huấn luyện và các văn bản cần phân loại. Loại bỏ từ không mang ý nghĩa với các chủ đề: Để giảm nhỏ bộ kích thước của bộ từ dién, giảm kích thước các ma trận khi biểu diễn văn bản đồng thời giúp cho việc giảm chỉ phí tính toán. Ở đây tác giả đề xuất sử dụng phương pháp thống kê # kết hợp với 14 các tiêu chí đưa ra đề loại bỏ những từ không mang ý nghĩa phân loại với tất cả các chủ đề. Xây dựng cây quyết định: Cây quyết định sử dụng là cây nhị phân được xây dựng từ bộ từ điển.
Mỗi chủ đề sẽ được xây dựng một cây quyết định riêng. Văn bản cần được phân loại sẽ lần lượt đưa vào từng cây quyết định. Mỗi cây quyết định cho biết văn bản cần phân loại có thuộc về chủ đề này hay không. Trong bước này có thực hiện xây dựng cây quyết định đầy đủ và xén tỉa cây quyết định để loại bỏ những nút không có giá trị thông tin hoặc giá trị thông tin bị sai.
Cây quyết định sau khi xén tỉa giúp cho việc phân loại văn bản được chính xác và nhanh chóng hơn. CO SO LY THUYET DE GIAI QUYET BAI TOAN 3. Thống kê tần xuất xuất hiện từ trong van ban Bước đầu tiên trong việc phân loại văn bản là chuyền đổi văn bản nay từ một hay nhiều chuỗi các từ sang một dạng thích hợp dé có thé được xử lý bởi các thuật toán. Các văn bản thường được coi là một tập hợp của các tr mà không cần chú ý đến cấu trúc câu, trật tự các từ trong câu, thì của câu, từ loại.
Vì vậy khi phân loại văn bản tiếng Việt, việc cần làm đầu tiên là phải phân đoạn các câu trong văn bản thành các từ đơn, từ ghép hai, ghép ba.một cách chính xác. Ngôn ngữ tiếng Việt tồn tại rất nhiều từ kép, từ lay, từ Hán Viét,. Dé đạt được độ chính xác cao trong việc phân loại văn bản thì việc nhận dạng chính xác các từ này là rất quan trọng. Để phân đoạn văn bản, đầu tiên cin phải xác định tần xuất xuất hiện của các từ đơn, từ đôi, từ ba.
trong toàn bộ các tập văn bản huấn luyện. Việc xác định tần xuất xuất hiện các từ được tiến hành như sau. Dựa vào các ký tự phân cách từ như: khoảng trắng, dấu cham phẩy câu, dấu mở đóng ngoặc. các từ đơn được tách ra khỏi văn bản.
Tiếp theo, tất cả các từ hai tiếng đứng gần nhau sẽ được thống kê. Tương tự, các từ ba tiếng đứng gần nhau cũng sẽ được thống kê. Vi dụ: xét câu gồm các từ như sau: ABCDEFG Với câu trên, các từ 1 tiếng được thống kê là A, B, C, D, E, F, G. Các từ 2 tiếng được thống kê là: A B, B C, C D, D E, E F và F G.
Các từ 3 tiếng được thống kê là A BC, BC D,C DE,DEF,EFG. Biểu diễn văn bản Thông thường người ta sử dụng mô hình không gian vector dé biéu diễn một văn bản. Trong mô hình này một văn bản được biểu diễn bằng một vector các từ. Số chiều M của không gian vector là số từ mẫu dùng dé biểu diễn tập văn bản.
[9] “công ty “tiên ” ở đi.1 Mô hình không gian vector 2 chiều Tập gồm 3 văn bản 7, d2, đ3 với số chiều M=2 là hai mẫu từ công ty và tién. Trong hình trên văn bản d/ gồm 2 từ tién và 4 từ công ty. Một tập các văn bản sẽ được biểu diễn bởi một ma trận A với mỗi cột là một vector biểu diễn cho một văn bản. Mỗi phan tử trong ma trận A tượng trưng cho sự xuất hiện của một từ trong một văn bản nào đó.
A= (aix) Trong đó ax biểu diễn sự xuất hiện của từ 7 trong văn bản k. Do mỗi văn bản thường chỉ chứa một số từ nào đó nên ma trận A sẽ có nhiều phần tử có giá trị bằng 0. Số hàng M của ma trận là tổng số các từ khác nhau trong các văn bản. M có thể là một số rất lớn.
Vì vậy một khó khăn trong việc phân loại văn bản là phải xử lý một ma trận với kích thước rất lớn. 17 Dễ dàng nhận thấy, nếu một từ xuất hiện trong văn bản càng nhiều, khả năng từ đó có liên quan đến chủ dé của văn bản đó càng lớn. Nếu một từ xuất hiện trong hau hết các văn bản thuộc về các chủ đề khác nhau thi từ đó không mang ý nghĩa thông tin với một chủ đề nào cả. Gọi fx là số lần từ i xuất hiện trong văn bản k Na tông số các văn bản M là tổng số các từ khác nhau n; là số văn ban có từ i xuất hiện Có nhiều phương pháp dé xác định a, , điển hình có: - Phương pháp boolean 1 fx >0 ay = 0 _ Su =0 giá trị a, bằng 1 trong trường hợp từ ¿ có xuất hiện trong van bản k và bằng 0 trong trường hợp ngược lại.
- Phương pháp tần xuất từ (word frequency) iz SẼ bằng số lần xuất hiện của từ i trong văn bản k (aj. = fix) - Phuong phap tf x idf (term frequency x inverse document frequency) Từ i xuất hiện trong văn bản k còn được xem xét đến sự xuất hiện của nó ở các văn bản khác đụ = Sin na) N aj, sẽ tỉ lệ thuận với fy và tong số các văn bản N đồng thời tỉ lệ nghịch với tổng số văn bản có từ i xuất hiện - Phương pháp tfc (term frequency component) 18 Phương pháp này tương tự như phương pháp tf x idf.