đặt vấn đề, mục tiêu phạm vi đề tài, định hướng giải pháp và bố bục đồ án • Chương 2 - Dữ liệu văn bản Việt Nam: đặc điểm phân cấp hành chính, đặc điểm địa chỉ Việt Nam, các dữ liệu địa chỉ sử dụng trong đồ án. • Chương 3 - Cơ sở lý thuyết: cơ sở lý thuyết về các phương pháp, công nghệ sử dụng trong đồ án. • Chương 4 - Phương pháp giải quyết: trình bày về việc áp dụng các phương pháp với bài toán chuẩn hóa địa chỉ. • Chương 5 - Đánh giá và cài đặt thử nghiệm: trình bày về dữ liệu thử nghiệm, các kịch bản thử nghiệm, đánh giá độ chính xác của các phương pháp theo các kịch bản này.com/duyvuleo/VNTC Sinh viên thực hiện - 14 • Chương 6 - Kết luận và hướng phát triển: Nhận xét tổng quan về đề tài, những khó khăn, thiếu sót trong đề tài cũng như phương hướng phát triển trong tương lai.
Sinh viên thực hiện - 15 Chương 2 Dữ liệu văn bản Tiếng Việt Văn bản là một loại hình phương tiện để ghi nhận, lưu giữ và truyền đạt các thông tin từ chủ thể này sang chủ thể khác bằng ký hiệu gọi là chữ viết. Nó gồm tập hợp các câu có tính trọn vẹn về nội dung, hoàn chỉnh về hình thức, có tính liên kết chặt chẽ và hướng tới một mục tiêu giao tiếp nhất định. Hay nói khác đi, văn bản là một dạng sản phẩm của hoạt động giao tiếp bằng ngôn ngữ được thể hiện ở dạng viết trên một chất liệu nào đó (giấy, bia đá,. Các văn bản tiếng Việt có các đặc trưng riêng, và có sự khác biệt về mặt kí pháp, cú pháp và ngữ pháp của tiếng Việt trong văn bản so với các ngôn ngữ phổ biến trên thế giới như tiếng Anh, tiếng Pháp 2.
Đặc trưng văn bản tiếng Việt Tiếng Việt là một ngôn ngữ đơn lập, đặc điểm này bao quát toàn bộ đặc trưng tiếng Việt về mặt ngữ âm, ngữ nghĩa và ngữ pháp. Do đó, chúng ta phải tiến hành nghiên cứu đặc điểm này của tiếng Việt để có thể có được hướng nghiên cứu phù hợp cho bài toán xử lý phân loại văn bản tiếng Việt 2. Các đơn vị của tiếng Việt 2. Tiếng và đặc điểm của tiếng Trong tiếng Việt, cũng như trong các văn bản tiếng Việt, tiếng là một thành phần khá quan trọng.
Trong ký pháp, mỗi tiếng đứng độc lập, và có thể phát hiện được ngay các tiếng trong tiếng nói cũng như trong văn bản. • Tiếng và giá trị ngữ âm: Ngữ âm chính là mặt âm của ngôn ngữ. Trên thực tế, các ứng dụng liên quan đến tiếng Việt như dịch thuật, lưu trữ người ta vẫn ghi lại âm thành dạng văn bản, sau đó mới tiến hành các thao tác xử lý. Mỗi tiếng chính là một âm tiết và được ghi lại thành một cụm trong văn bản • Tiếng và giá trị ngữ pháp: Nếu xét về mặt ngữ nghĩa thì tiếng là đơn vị nhỏ nhất có thể có nghĩa.
Thực ra ta có thể thấy rằng đơn vị ngữ âm thấp nhất là âm vị thì hoàn toàn không có nghĩa (ví dụ như các chữ cái đứng riêng rẽ). Tuy nhiên Sinh viên thực hiện - 16 cũng có những tiếng có nghĩa (ví dụ như ạ, ừ). Các tiếng bao gồm: các tiếng tự nó có nghĩa (ví dụ như chuông, bút, gió), các tiếng bản thân không hề có nghĩa mà chỉ dùng để kết hợp tạo thành nghĩa cho đơn vị trực tiếp cao hơn, đó là từ (ví dụ: lãng,dãng không có nghĩa nhưng lãng đãng có nghĩa). • Tiếng và giá trị ngữ pháp: Khía cạnh ngữ pháp bao gồm những quy tắc cấu tạo từ, cấu tạo câu.
Và ta có thể thấy rằng tiếng là đơn vị ngữ pháp dùng để cấu tạo từ. Các tiếng cấu tạo nên từ bao gồm 2 trường hợp sau: từ một tiếng(ví dụ: cây, đá, hoa) và từ nhiều tiếng. Từ và các đặc điểm của từ • Từ là đơn vị nhỏ nhất để đặt câu: từ có thể gồm có một tiếng nhưng cũng có thể gồm hai hay nhiều tiếng, tuy nhiên từ là đơn vị nhỏ nhất để đặt câu • Từ có nghĩa hoàn chỉnh và cấu tạo ổn định: Điều này thể hiện rõ ở các từ 1 tiếng còn đối với những từ nhiều tiếng thì đó là những đặc điểm xác định lẫn nhau, cấu tạo ổn định dẫn đến nghĩa hoàn chỉnh và ngược lại 2. Câu và các đặc điểm của câu Trong nghữ pháp tiếng Việt, từ và câu là những đơn vị ngữ pháp rất quan trọng.
Đối với con người, từ được coi như sẵn có trong kho từ vựng được tích luỹ trong quá trình sống. Còn để có thể hiểu, giao tiếp thì con người phải dùng đến câu. Trong ngôn ngữ, câu là đơn vị ở bậc cao hơn cả. Nói gì, viết gì cũng phải thành câu • Câu có ý nghĩa hoàn chỉnh: Tính hoàn chỉnh về nghĩa của câu là tính hoàn chỉnh của cả một quá trình tư duy, quá trình thông báo diễn ra trong một hoàn cảnh nhất định • Câu có cấu tạo đa dạng: Câu có dạng đơn giản như là câu đơn, và còn có những cấu trúc phức tạp hơn gọi là câu ghép.
Xét về mặt ngữ nghĩa, câu đơn có nhiều dạng khác nhau, biểu lộ những ý nghĩa, trạng thái, nội dung cần thông báo khác nhau. Ngữ pháp của tiếng Việt 2. Trong phạm vi cấu tạo từ Trong phạm vi cấu tạo từ, phương tiện ngữ pháp chủ yếu là sự kết hợp các tiếng. Trật tự sắp xếp các tiếng rất quan trọng trong cấu tạo từ.
Kết hợp hai phương tiện này, có hai phương thức cấu tạo từ chủ yếu là láy và ghép. Láy là việc sắp đặt các tiếng thành đôi, kề cận nhau, có sự phối hợp về ngữ âm tạo nên nghĩa. Ghép là việc sắp đặt các tiếng thành nhóm, kề cận nhau, có sự phối hợp về ngữ nghĩa tạo nên nghĩa của từ ghép. Sinh viên thực hiện - 17 2.
Trong phạm vi cấu tạo câu Bao gồm các phương diện như sau: • Trật tự sắp đặt các từ là phương tiện chính để biểu thị quan hệ ngữ pháp • Hư từ là những từ dùng để biểu thị một số những quan hệ cú pháp nhất định. Ví dụ trong câu Anh, chị đã đi chơi rồi, có thể dùng từ và để nối hai từ anh, chị để làm rõ hơn mối quan hệ liên hợp, bình đẳng giữa hai từ 2. Từ tiếng Việt 2. Từ đơn - từ ghép Từ trong tiếng Việt có thể có một tiếng hay gồm nhiều tiếng.
Những từ nhiều tiếng lại có thể được ghép bởi những tiếng hay từ khác có nghĩa. Ví dụ hai từ đất, nước ghép với nhau thành một từ có ý nghĩa trừu tượng hơn là đất nước. Những từ này được gọi là các từ ghép. Do tồn tại cả hai dạng từ đơn (một tiếng) và từ ghép, do đó việc tách các từ trong một câu là vấn đề quan trong.
Ví dụ: Học sinh học sinh học. Ở đây ta có thể tách ra các từ như sau:học sinh|học|sinh học 2. Từ loại Có thể phân loại các từ theo cách thức cấu tạo như đã xét ở phần trên, cũng có thể phân loại theo các chữ cái đầu như khi ta làm từ điển. Tuy nhiên, có một cách phân loại đặc biệt quan trọng về mặt cấu tạo câu, đó là xác định từloại cho mỗi từ tiếng Việt.
tiếng Việt có thể có những từ loại sau: • Danh từ (Việt Nam, Hà Nội) • Động từ (đi, đứng, soạn bài) • Tính từ (xấu, đẹp, trắng, đỏ) • Phó từ (sẽ, đã, rồi, rất) • Liên từ (của, thì) • Đại từ (tôi, nó, anh, em, hắn) • Trợ từ (nhỉ, hả, nhé) • Cảm từ (ái chà, chao ôi, vâng, dạ) • Loại từ (con, cái) • Giới từ (cùng, với, bằng, để) • Số từ (một, hai) • Trạng từ (hôm qua) Sinh viên thực hiện - 18 2. Các đặc điểm chính tả và văn bản tiếng Việt Một số vấn đề về chính tả tiếng Việt mà ta cần quan tâm như sau: • Các từ đồng âm thường sử dụng tùy tiện như “Mĩ”/“Mỹ”, “kĩ”/“kỹ”. • Từ địa phương: Người ta vẫn hay sử dụng một số từ địa phương thay cho các từ phổ thông trong văn bản. Ví dụ “cây kiểng” thay cho “cây cảnh” • Vị trí dấu: Theo quy định đánh dấu tiếng Việt, dấu được đặt trên nguyên âm có ưu tiên cao nhất.
Tuy nhiên khi soạn văn bản, do có nhiều bộ gõ tiếng Việt khác nhau nên nhiều khi dấu được đặt không theo chuẩn. Ví dụ hai chữ: “hỏa” hay “hoả”. • Cách viết hoa: Theo quy định, đầu câu và đầu tên riêng phải viết hoa. Tuy nhiên vẫn tồn tại một số cách viết như sau: “Công ty Xi măng Hà nội”.
• Phiên âm tiếng nước ngoài: Các cách viết như ví dụ sau vẫn mặc định được chấp nhận trong văn bản tiếng Việt: “Singapore”/ “Xinh-ga-po”. • Từ gạch nối: Do cách viết dấu gạch nối tuỳ tiện nên không thể phân biệt giữa nối tên riêng hay chú thích. Dữ liệu huấn luyện cho phương pháp sử dụng các mô hình học sâu Trong phạm vi của đồ án lần này, tôi sử dụng mô hình các mô hình học sâu trong bài toán phân loại văn bản. Về dữ liệu huấn luyện, được thu thập từ các nguồn: • Dữ liệu từ website kenh14.com 2 : chứa các văn bản theo chủ đề của từng bài báo vì vậy đã được gán nhãn cụ thể.
Trong bộ dữ liệu này tôi đã thu thâp được theo 8 chủ đề sau: 1 https://kenh14.vn 2 https://baomoi.com Sinh viên thực hiện - 19 – Điện ảnh: 4866 văn bản – Du lịch: 5367 văn bản – Giáo dục: 5330 văn bản – Kinh doanh: 5750 văn bản – Ngân hàng: 5408 văn bản – Sức khỏe: 2984 văn bản – Thể thao: 3967 văn bản – Thời sự pháp luật: 5718 văn bản • Dữ liệu có sẵn từ trang Github 3 : Dữ liệu này đã được phân chia các chủ để thành các thư mục, mỗi thư mục bao gồm nhiều đoạn văn bản trong đó.com/duyvuleo/VNTC Sinh viên thực hiện - 20 Chương 3 Cơ sở lý thuyết Ở chương này, tôi tập trung vào việc giới thiệu các thuật toán, mô hình, các công nghệ mà tôi sử dụng trong đồ án và đi sâu về mặt lý thuyết. Mô hình mạng nơ-ron tích chập (Convolutional Neural Networks) CNN (Convolutional Neural Networks) - Mô hình mạng neural tích chập là một trong những mô hình deep learning (mô hình học sâu) phổ biến nhất và có ảnh hưởng nhiều nhất trong cộng đồng Computer Vision. CNN được dùng trong trong nhiều bài toán như nhân dạng ảnh, phân tích video, ảnh MRI, hoặc cho bài các bài của lĩnh vự xử lý ngôn ngữ tự nhiên và hầu hết đều giải quyết tốt các bài toán này.