Tài liệu: Natural language processing mideterm project

Dự án giữa kỳ xử lý ngôn ngữ tự nhiên khám phá các kỹ thuật phân tích văn bản, mô hình học máy và ứng dụng thực tế trong lĩnh vực NLP hiện đại.

• Tác giả: Hồ Đăng Phúc Bảo
• Người hướng dẫn: Thầy Lê Anh Cường
• Trường học: Trường Đại Học Tôn Đức Thắng
• Chuyên ngành: Xử lý ngôn ngữ tự nhiên
• Đề tài: Natural language processing midterm project
• Loại tài liệu: Báo cáo giữa kỳ
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Natural Language Processing Midterm

Natural Language Processing (NLP) là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo. Dự án midterm NLP tại Đại học Tồn Đức Thắng được thực hiện bởi các sinh viên khóa 24 dưới sự hướng dẫn của Thầy Lê Anh Cường. Bài dự án này tập trung vào việc phân loại bài báo và phân tích dữ liệu văn bản từ các nguồn tin tức Việt Nam. Mục tiêu chính là áp dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để xây dựng hệ thống phân loại tự động, giúp tổ chức và quản lý thông tin hiệu quả hơn. Dự án được hoàn thành vào tháng 3 năm 2023 tại thành phố Hồ Chí Minh.

1.1. Mục tiêu của dự án NLP Midterm

Dự án NLP midterm hướng tới việc phát triển các mô hình phân loại văn bản tiếng Việt. Các sinh viên thực hiện công việc thu thập dữ liệu, tiền xử lý văn bản và đánh giá hiệu suất của các phương pháp khác nhau. Mục tiêu cuối cùng là tạo ra một hệ thống phân loại bài báo tự động với độ chính xác cao.

1.2. Đối tượng và phạm vi nghiên cứu

Dữ liệu sử dụng trong dự án bao gồm các bài báo tin tức từ các nguồn khác nhau tại Việt Nam. Phạm vi nghiên cứu tập trung vào lĩnh vực thể thao, đặc biệt là bóng đá Việt Nam. Các sinh viên áp dụng nhiều phương pháp xử lý và mô hình học máy để đạt được kết quả tối ưu.

II. Các phương pháp xử lý và trích xuất đặc trưng

Trong dự án NLP midterm, sinh viên đã áp dụng ba phương pháp trích xuất đặc trưng chính để chuẩn bị dữ liệu: Bag of Words (BOW), TF-IDF và Word2Vec. Mỗi phương pháp có những ưu điểm riêng trong việc biểu diễn văn bản và cải thiện hiệu suất của các mô hình phân loại. Ngoài ra, dự án còn sử dụng các độ đo khoảng cách như Cosine Similarity và Euclidean Distance để đánh giá sự tương đồng giữa các tài liệu. Những phương pháp này là nền tảng quan trọng cho việc xây dựng hệ thống phân loại hiệu quả trong xử lý ngôn ngữ tự nhiên.

2.1. Phương pháp Bag of Words BOW

Bag of Words là phương pháp trích xuất đặc trưng cơ bản, chuyển đổi văn bản thành vector tần suất từ. Phương pháp này bỏ qua thứ tự từ nhưng giữ lại tần suất xuất hiện. Dự án sử dụng BOW kết hợp với các mô hình như Naive Bayes, KNN, Decision Tree, Logistic Regression, SVM và Random Forest.

2.2. Phương pháp TF IDF và Word2Vec

TF-IDF cải thiện BOW bằng cách tính trọng số từ dựa trên tần suất và tầm quan trọng. Word2Vec là phương pháp hiện đại hơn, tạo biểu diễn vector của từ dựa trên ngữ cảnh. Cả hai phương pháp này tăng độ chính xác của hệ thống phân loại bài báo.

III. Các mô hình học máy được áp dụng

Dự án NLP midterm sử dụng sáu mô hình học máy khác nhau để phân loại bài báo: Naive Bayes, K-Nearest Neighbors (KNN), Decision Tree (DT), Logistic Regression (LR), Support Vector Machine (SVM) và Random Forest (RF). Mỗi mô hình được kết hợp với các phương pháp trích xuất đặc trưng khác nhau để đánh giá hiệu suất. Các kết quả so sánh cho thấy sự khác biệt trong độ chính xác và khả năng tổng quát hóa của từng mô hình. Việc thử nghiệm toàn diện này giúp xác định mô hình tốt nhất cho bài toán phân loại văn bản tiếng Việt.

3.1. Mô hình phân loại cơ bản Naive Bayes và KNN

Naive Bayes là mô hình xác suất đơn giản, dựa trên định lý Bayes, phù hợp cho phân loại văn bản. KNN là phương pháp học không tham số, phân loại dựa trên k láng giềng gần nhất. Cả hai mô hình này cho kết quả khả quan với dữ liệu tin tức.

3.2. Mô hình nâng cao SVM DT LR và RF

SVM là mô hình mạnh mẽ cho phân loại dữ liệu phức tạp. Decision Tree dễ hiểu và dễ giải thích. Logistic Regression là phương pháp tuyến tính hiệu quả. Random Forest kết hợp nhiều cây quyết định, cải thiện độ chính xác và giảm overfitting.

IV. Kết quả và đánh giá dự án NLP Midterm

Dự án Natural Language Processing midterm đã đạt được những kết quả đáng kể trong việc phân loại bài báo tiếng Việt. Các sinh viên thực hiện đã chuẩn bị dữ liệu, áp dụng ba phương pháp trích xuất đặc trưng khác nhau và đánh giá hiệu suất của sáu mô hình học máy. Tổng cộng, dự án so sánh hơn 18 kết hợp khác nhau giữa phương pháp và mô hình. Những phát hiện này cung cấp kiến thức quý báu về xử lý ngôn ngữ tự nhiên và phân loại văn bản. Dự án không chỉ hoàn thành các yêu cầu học tập mà còn đóng góp cho sự phát triển của NLP ứng dụng tại Việt Nam.

4.1. Kết quả thực nghiệm và so sánh hiệu suất

Các kết quả thực nghiệm cho thấy hiệu suất của các mô hình khác nhau đáng kể. Phương pháp TF-IDF thường cho kết quả tốt hơn so với BOW. Word2Vec là phương pháp hiện đại nhất, cải thiện độ chính xác. Mô hình SVM và Random Forest cho hiệu suất cao nhất.

4.2. Kết luận và hướng phát triển tương lai

Dự án NLP midterm thành công trong việc xây dựng hệ thống phân loại hiệu quả. Hướng phát triển tương lai bao gồm sử dụng mô hình Deep Learning, mạng neural và transformer models. Những cải tiến này sẽ tăng độ chính xác và khả năng xử lý dữ liệu phức tạp hơn.

Trích đoạn nội dung tài liệu

TONG LIEN DOAN LAO DONG VIET NAM TRUONG DAI HOC TON DUC THANG KHOA CONG NGHE THONG TIN ĐẠI HỌC TỒN ĐỨC THANG TON DUC THANG UNIVERSITY NATURAL LANGUAGE PROCESSING MIDETERM PROJECT Người hướng dẫn: THẦY LÊ ANH CƯỜNG Người thực hiện: HỒ ĐĂNG PHÚC BẢO - 520H0448 PHẠM HÙNG PHÁT - 520H0272 Khoá: 24 THANH PHO HO CHI MINH, NAM 2023 TONG LIEN DOAN LAO DONG VIET NAM TRUONG DAI HOC TON DUC THANG KHOA CONG NGHE THONG TIN ĐẠI HỌC TỒN ĐỨC THANG TON DUC THANG UNIVERSITY NATURAL LANGUAGE PROCESSING MIDTERM PROJECT Người hướng dẫn: THẦY LÊ ANH CƯỜNG Người thực hiện: HỒ ĐĂNG PHÚC BẢO - 520H0448 PHẠM HÙNG PHÁT - 520H0272 Khoá: 24 THANH PHO HO CHI MINH, NAM 2023 LOI CAM ON Lời đầu tiên, chúng em xin chân thành cảm ơn thầy Lê Anh Cường đã dạy và hướng dẫn chỉ tiết những nên tảng cơ bán để chúng em hoàn thành bài dự án giữa kì một cách hoàn chỉnh và đầy đủ. Trong quá trình làm bài có thể sẽ có sai sót mong thầy thông cảm và góp ý, chỉnh sửa để chúng em hoàn thiện hơn bài làm của mình. Một lần nữa chúng em xin cảm ơn thầy và chúc thầy luôn có sức khỏe thật tốt và thành công trong sự nghiệp. Hồ Chí Minh, ngày 20 tháng 3 năm 2023 Tác giả (ký và ghi rõ họ tên) BAO CAO ĐƯỢC HOÀN THÀNH TAI TRUONG DAI HOC TON DUC THANG Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi và được sự hướng dẫn khoa học của Thầy Lê Anh Cường.

Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bô dưới bất kỳ hình thức nào trước đây. Những số liệu trong các bảng biểu phục vụ cho việc phân tích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau có ghi rõ trong phần tài liệu tham khảo. Ngoài ra, trong bài báo cáo còn sử dụng một số nhận xét, đánh giá cũng như số liệu của các tác giả khác, cơ quan tô chức khác đều có trích dẫn và chú thích nguồn gốc. Nếu phát hiện có bất kỳ sự gian lận nào tôi xin hoàn toàn chịu trách nhiệm về nội dung bài báo cáo của mình.

Trường Đại học Tôn Đức Thắng không liên quan đến những vi phạm tác quyền, bản quyên do tôi gây ra trong quá trình thực hiện (nếu có). Hồ Chí Minh, ngày 20 tháng 3 năm 2023 Tác giả (ký và ghi rõ họ tên) PHAN XAC NHAN VA DANH GIA CUA GIANG VIEN Phân xác nhận của giảng viên hướng dân TP. Hồ Chí Minh, ngày tháng năm (kí và ghi rõ họ tên) Phần đánh giá của giảng viên chấm bài TP. Hồ Chí Minh, ngày tháng năm (kí và ghi rõ họ tên) 1H DANH MUC HINH ANH Picture 1.

Dữ liệu các bài bao ctta Viet Nam. ccc Lọ n1 1n v19 vn HH HH He nu nang 1 PIcture 2. Phân tích thông tin của tập dữ liệu. Xay dựng với độ do Cosine SIm1ÌATIEV.

Két qua khi nhap nội dung bải báo nội dung “bóng đá Việt Nam”. Xay dung v1 d6 do Euclidean distances. ccc HH Ho HH ngu He 6 Picture 6. Két qua khi nhap nội dung bải báo nội dung “bóng đá Việt Nam”.

Xay dựng với độ do Cosine Š1m1ÏATIẨV. ác nọ c1 0111111111110 1H11 te, 9 Picture §. Kết quả khi nhập nội dung bài báo nội dung “bóng đá Việt Nam”. Xay dựng với độ do Euclidean đistanc€§.

ác HH H21 111 n1 Hye, 10 Picture 10.Kết quả khi nhập nội dung bài báo nội dung “bóng đá Việt Nam”.--cs¿ 10 Picture I1 Xây dựng với độ do Euclidean đistances. ‹ cnnn HH 1110121 esse 13 Picture 12. Kết quá khi nhập nội dung bài báo nội dung “bóng đá Việt Nam”. Xây dựng với độ đo Cosine SIINHÏATTẨV.

Kết quá khi nhập nội dung bài báo nội dung “bóng đá Việt Nam”. Xây dựng phương pháp BON. HH tt HH. H11 tt He 17 Picture 16.

Xay dựng với mô hình NaIve Bayes. án HH kg 17 Picture 17. Kết qua phân loại bài báo bằng phương pháp BOW với mô hình Naive Bayes. Xay dyng voi m6 hinh K-Nearest Neighbor (KNN).

Kết quá phân loại bài báo bằng phương pháp BOW với mô hình KNN. Voi m6 hinh DT (Decision 'Tree§). L1 HS 1011110111121121211 11 tru 19 Picture 21. Kết quá phân loại bài báo bằng phương pháp BOW với mô hình DT.

Voi m6 hình LR (LogIstic Reøressiof\).111 nn 1111110101121 He He, 21 Picture 23. Kết quá phân loại bài báo bằng phương pháp BOW với mô hình LR. Với mô hình SVM (Support Vector Machine$). Kết quá phân loại bài báo bằng phương pháp BOW với mô hình SVM.

Voi m6 hình RF (Random ψoresf). Kết quá phân loại bài báo bằng phương pháp BOW với mô hình RF. Xây dựng phương pháp TF-IDE. - 222 11 12211 32111122101 211 1tr te 24 PIicture 29.

Với mô hình NB (NaIve Bay€§). nnnnn HH 01111 n1 111kg, 24 Picture 30. Kết quá phân loại bài báo bằng phương pháp TF-IDF với mô hình NB. Voi m6 hinh DT (Decision 'Tree§).

Két qua phan loai bài báo bằng phương pháp TF-IDF với mô hình DT. Voi m6 hình LR (LogIstic Reøressiof\).11 1S 101111011 1 Ho He 27 Picture 34. Két quá phân loại bài báo bằng phương pháp TF-IDF với mô hình LR. Với mô hình SVM (Support Vector Machines).- te nhhehướn 28 Picture 36.

Két quá phân loại bài báo bằng phương pháp TF-IDF với mô hình SVM. Voi m6 hình RF (Random ψoresf). Kết quá phân loại bài báo bằng phương pháp TF-IDF với mô hình RF. Xây dựng phương pháp Word2Vec.

Với mô hình NB (Naive Baye8). Kết quá phân loại bài báo băng phương pháp Word2Vee với mô hình NB. Voi m6 hinh KNN (K-Nearest NeIghbor). Kết quá phân loại bai bao bang phuong phap Word2Vec voi mé hinh KNN.

Với mô hình DT (Decision '[Te€$).- ie cceteneiesseesesiesestesnesesserieiey 33 PIcture 45. Kết quả phân loại bài báo băng phương pháp Word2Vec với mô hình DT. Với mô hình LR (LogIstic Reøressiof\).- ác 111 1n 1011010112 1 Ha He 34 Picture 47. Kết quá phân loại bài báo bằng phương pháp Word2Vee với mô hình LR.

Với mô hình SVM (Support Vector Machine$). Kết quá phân loại bài báo bằng phương pháp Word2Vee với mô hình SVM. Voi m6 hình RF (Random ψoresf). Kết quá phân loại bài báo bằng phương pháp Word2Vec với mô hình RE.

Xây dựng phương pháp Doc2Vec. n1 1 HH Ho nà 37 PIcture 53. Với mô hình NB (NaIve Bay€§). Kết quá phân loại bài báo bằng phương pháp Doe2Vec với mô hình NB.

Voi m6 hinh KNN (K-Nearest NeIghbor). Kết quá phân loại bài báo bằng phương pháp Doe2Vec với mô hình KNN. Voi m6 hinh DT (Decision 'Tree§). ác c1 nnn SH 10110101111211212 11111 tr.

Kết quá phân loại bài báo bằng phương pháp Doe2Vec với mô hình DT. Với mô hình LR (Logistic Regression). Kết quả phân loại bài báo băng phương pháp Doc2Vec với mô hình LR. Với mô hình SVM (Support Vector Machine$).- ác nen kờ 41 Picture 62.

Kết quá phân loại bài báo bằng phương pháp Doe2Vec với mô hình SVM. Voi m6 hình RF (Random ψoresf). Kết quá phân loại bài báo bằng phương pháp Doe2Vec với mô hình RF. Hàm tính toán xác suất có điều kiện cho các bipram trong danh sách các đoạn văn bu ê0 8 NA.

Hàm dự đoán từ tiếp theo dựa trên cụm từ đầu vào.sc SH H112 x6 47 Picture 67. Hàm tạo ra một đoạn văn bản mới bắt đầu từ cũm từ nhập vào. Kết quả khi nhập vào đoạn văn bản “Đơn hàng chưựa”. Hàm tính toán xác suất có điều kiện cho các bipram trong danh sách các đoạn văn bu ê0 8 NA.

Hàm dự đoán từ tiếp theo dựa trên cụm từ đầu vào.sc SH H112 x6 48 Picture 71. Hàm tạo ra một đoạn văn bản mới bắt đầu từ cũm từ nhập vào. Kết quả khi nhập vào đoạn văn bản “Đơn hàng chưựa”.--2 5525222222222 s22 49 TOM TAT Dưới đây là báo cáo dự án giữa kỳ môn xử lí ngôn ngữ tự nhiên. Trong đó: + Phan 1: Phân tích dữ liệu bài báo.

+ Phần 2: Xây dưng mô hình tìm bài báo gần nhất với bài báo mới,. + Phần 3: Xây dựng mô hình phân loại bài báo sử dụng các phượng pháp học máy khác nhau. + Phan 4:Xay dựng mô hình ngôn ngữ sử dụng phương pháp n-gram. vi MUC LUC LOL CAM ON.

i BAO CÁO ĐƯỢC HOÀN THÀNH ii PHAN XAC NHAN VA DANH GIA CUA GIANG VIEN.ocssccccsssssccssstessssseesesetesssesseeeee iii DANH MỤC HINH ANH.ocssssssssssscssseessseesssssessssiesssvsissssiseesssscsssusesssisaessisssicsuiesvisevecee iv I9VWV. vi MỤC LỤC. L1 11011101111 11101111111 011111111 111111 Hx k1 111 411111111 111111111 110g vil PART 1: PHAN TICH DU LIEU BAI BAOw.ccccsssesssssssccssseessssessssiessvtiesssstesssvtesesessesees 1 PART 2: XÂY DỰNG MÔ HÌNH TÌM BÀI BÁO GẦN NHẬT VỚI BAI BAO MỚI. Các phương pháp biểu diễn văn bản và độ đo.

Phương pháp biểu diễn văn bản. DG do ap nh. Với độ do Cosine S1m1ÏATITEV. Voi oi ip)(v)ì(( (2i 0iiar(cc-raadđiaiadđaađaiiẳäẳẳaaắắaảảảäẻäẻ.

các nnnnn101111111111 1111 11H HH HH H11 111141111111 kg 3 Và Nha: taiadđđiaiadaiai'aiiiiảảảảảảỶỶỶäd. Với độ đo Cosine sIrm1ÌaFTtW. Với độ đo Euclidean distances. á cn HT HH 1kg key ng 3 2.

Ưu điểm và nhược điểm của BONW. Áp dụng phương pháp. Với độ đo Cosine sIIm1ÌarTtW. Với độ đo Euclidean distances.

sa cn n1 1kg khe ens 7 3. Ưu điểm và nhược điểm của TEF-IDE. Áp dụng phương pháp. s-- s2 2 122 112112111212221 2112121221212 gu 9 TA An.

Với độ do Cosine sIm1ÌaFTty. Với độ đo Euclidean distances. cn cn HH ng ng ng key 12 vil 4. Ưu điểm và nhược điểm cla Word2 Veo.

Áp dụng phương pháp. Đánh giá các kỹ thuật biểu diễn văn bản. 15 PART 3: XAY DUNG MO HINH PHAN LOAI BAI BAO SỬ DUNG CÁC PHƯƠNG PHAP HỌC MAY KHAC NHAU. Các phương pháp biêu diễn văn bản, mô hình học máy.

Phương pháp biểu diễn văn bản. Mô hình học máy,. son on nh. Với mô hình NaIve Bayes 2.

Với mô hình K-Nearest Neighbor (KNN). cc n HH1 HH ru 18 2. Với mô hình DT (DecIsion 'TTre€§). Với mô hình LR (Logtsttc ReðT€SSIO)).

Với mô hình SVM (Support Vector Machine§). Với mô hinh RF (Random Foresf). Đánh giá phương pháp với các mô hình sử dụng. Với mô hình NB (NaIve Bayes).

10111111 H11 HH nhà Hệ 24 3. Với mô hình DT (DecIsion 'ÏTre€§). Với mô hình LR (Logtsttc R€ðT€SSIO')). Với mô hình SVM (Support Vector Machine§).

Với mô hình RF (Random Fores†). Đánh giá phương pháp với các mô hình sử dụng. Với mô hình NB (NaIve Bayes). Với mô hình KNN (K-Nearest Neighbor).

Với mô hình DT (DecIsion 'ÏTre€§). Với mô hình LR (Logtsttc R€ðT€SSIO')). Với mô hình SVM (Support Vector Machine§). Với mô hình RF (Random Foresf).

Đánh giá phương pháp với các mô hình sử dụng. St nhe 37 bô ẮẮG. Voi m6 hinh NB (Naive Baye€§). ác HH HH HH HH HH Hi ch 37 5.

Với mô hình KNN (K-Nearest Neiehbor). Voi m6 hinh DT (Decision TT€€$). Với mô hình LR (Logtstic Reðr€sSIof)). Với mô hình SVM (Support Vector Machine§).

Voi m6 hình RF (Random Forest). Đánh giá phương pháp với các mô hình sử dụng. Đánh giá phương pháp biểu diễn văn bản. 43 PART 4: XÂY DỰNG MÔ HÌNH NGÔN NGỮ DỰA THEO PHƯƠNG PHÁP N- €2.aađadđiaaddÝ.SlrÈríaaaaầadâŸ+3+ŸẮŸẢẢŸẢỶŸỶ.