Nghiên Cứu Học Xếp Hạng Đối Tượng và Tạo Nhãn Cụm Tài Liệu

Luận văn thạc sĩ nghiên cứu về xếp hạng đối tượng và tạo nhãn cho cụm tài liệu, ứng dụng trong lĩnh vực thông tin và quản lý dữ liệu.

• Tác giả: Nguyễn Thu Trang
• Người hướng dẫn: PGS. Hà Quang Thụy
• Trường học: Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Học Xếp Hạng Đối Tượng và Tạo Nhãn Cụm Tài Liệu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Bảng ký hiệu và từ viết tắt
• MỞ ĐẦU
• 1. CHƯƠNG 1: XẾP HẠNG ĐỐI TƯỢNG
• 1.1. Giới thiệu
• 1.2. Phương pháp PageRank
• 1.3. Xếp hạng đối tượng
• 1.4. Phương pháp đánh giá xếp hạng
• 1.5. Tổng kết
• 2. CHƯƠNG 2: HỌC XẾP HẠNG
• 2.1. Giới thiệu
• 2.2. Phương pháp học xếp hạng
• 2.2.1. Hồi quy có thứ tự và Pairwise
• 2.2.2. Học xếp hạng danh sách Listwise
• 2.3. Tổng kết chương
• 3. CHƯƠNG 3: XẾP HẠNG TRONG MÁY TÌM KIẾM THỰC THỂ
• 3.1. Máy tìm kiếm thực thể
• 3.2. Xếp hạng thực thể
• 3.2.1. Mô hình Impression
• 3.2.2. Nhận xét, đánh giá mô hình Impression
• 3.2.3. Mô hình đề xuất
• 3.3. Thực nghiệm
• 3.3.1. Công cụ sử dụng
• 3.3.2. Kết quả và đánh giá
• 3.4. Tổng kết chương
• 4. CHƯƠNG 4: TẠO NHÃN CỤM TÀI LIỆU
• 4.2. Phương pháp lựa chọn nhãn
• 4.3. Học xếp hạng nhãn cụm
• 4.3.1. Các đặc trưng
• 4.3.2. Học hàm tính hạng
• 4.4. Thực nghiệm
• 4.4.1. Nguồn dữ liệu
• 4.4.2. Dữ liệu học
• 4.4.3. Kết quả và đánh giá
• 4.5. Tổng kết chương
• Kết luận
• Tài liệu tham khảo
• Phụ lục A: Dữ liệu
• A.1 Dữ liệu tìm kiếm thuốc
• Danh sách hình vẽ
• Danh sách bảng

Tóm tắt

I. Tổng Quan Nghiên Cứu Học Xếp Hạng Đối Tượng Ứng Dụng LTR

Nghiên cứu về xếp hạng đối tượng đóng vai trò quan trọng trong khai phá dữ liệu, đặc biệt trong các ứng dụng như máy tìm kiếm. Phương pháp tính hạng đã được nghiên cứu từ lâu, nhưng gần đây, việc sử dụng học máy để xếp hạng đối tượng (Learning to Rank - LTR) thu hút sự quan tâm lớn. Các hội thảo chuyên đề về học xếp hạng đã được tổ chức, cho thấy sự quan trọng của lĩnh vực này. Học xếp hạng đang được các nhà khoa học trên thế giới nghiên cứu và ứng dụng rộng rãi. Luận văn này thực hiện khảo sát và phân tích các phương pháp học xếp hạng hiện nay, từ đó đề xuất mô hình xếp hạng thực thể áp dụng vào máy tìm kiếm thực thể trong tiếng Việt và tạo nhãn cho cụm tài liệu. Qua đó, thể hiện ứng dụng to lớn và ý nghĩa quan trọng của bài toán học xếp hạng. [Trích dẫn từ luận văn]

1.1. Vai Trò Của Xếp Hạng Đối Tượng Trong Khai Phá Dữ Liệu

Xếp hạng đối tượng có ý nghĩa quan trọng trong lĩnh vực khai phá dữ liệu, là trung tâm của nhiều ứng dụng, điển hình là máy tìm kiếm. Các phương pháp tính hạng được nghiên cứu và phát triển từ rất nhiều năm trước. Khoảng 3 năm trở lại đây, hướng tiếp cận sử dụng phương pháp học máy để xếp hạng đối tượng trở thành một vấn đề thu hút được rất nhiều sự quan tâm. Học xếp hạng đang được nhiều nhà khoa học trên thế giới quan tâm nghiên cứu và ứng dụng, như cải tiến hàm tính hạng trong máy tìm kiếm của nhóm Yuehua Xu tại ICML năm 2007.

1.2. Mục Tiêu Nghiên Cứu Xếp Hạng Thực Thể và Tạo Nhãn Cụm

Luận văn Học xếp hạng trong tính hạng đối tượng và tạo nhãn cụm tài liệu thực hiện khảo sát, phân tích các phương pháp học xếp hạng đang được quan tâm hiện nay và từ đó đưa ra mô hình xếp hạng thực thể áp dụng vào máy tìm kiếm thực thể trong tiếng Việt. Cụ thể là tìm kiếm thực thể thuốc và học xếp hạng để tạo nhãn cho cụm tài liệu. Qua đó cho thấy ứng dụng to lớn và ý nghĩa quan trọng của bài toán học xếp hạng.

II. Thách Thức Giải Pháp Học Xếp Hạng Đối Tượng Cách Tiếp Cận

Xếp hạng các đối tượng (trang Web, tác giả, chủ đề, trường đại học, công ty...) có ý nghĩa quan trọng trong lĩnh vực khai phá dữ liệu, là trung tâm của nhiều ứng dụng - điển hình là máy tìm kiếm. Các phương pháp tính hạng được nghiên cứu và phát triển từ rất nhiều năm trước, nhưng khoảng 3 năm trở lại đây, hướng tiếp cận sử dụng phương pháp học máy để xếp hạng đối tượng trở thành một vấn đề thu hút được rất nhiều sự quan tâm. Học xếp hạng đang được nhiều nhà khoa học trên thế giới quan tâm nghiên cứu và ứng dụng, như cải tiến hàm tính hạng trong máy tìm kiếm của nhóm Yuehua Xu tại ICML năm 2007. [Trích dẫn từ luận văn]

2.1. Bài Toán Xếp Hạng Từ Trang Web Đến Đối Tượng Đa Dạng

Khái niệm xếp hạng (ranking) ra đời ban đầu với định hướng xếp hạng các đối tượng trên Web - cụ thể là các trang web. Các trang web cần được sắp xếp theo độ quan trọng giảm dần. Giá trị độ quan trọng đó gọi là hạng trang và PageRank là phương pháp tính hạng đầu tiên, tính hạng trang các trang web dựa vào phân tích mối liên kết giữa các trang web trong đồ thị web.

2.2. Vấn Đề Xác Định Hàm Tính Hạng Yếu Tố Quyết Định Chất Lượng

Việc xác định hàm tính hạng đóng vai trò quan trọng và quyết định đối với chất lượng của máy tìm kiếm. Từ những năm 98, Cohen[18] đã đưa ra nhận định rằng có nhiều ứng dụng cần sắp xếp các đối tượng hơn là cần phân lớp chúng. Mọi ứng dụng mà kết quả trả về cho người dùng là một danh sách các đối tượng cần được sắp xếp, xếp hạng giúp người dùng nhanh chóng tiếp cận với kết quả gần với yêu cầu của mình nhất có thể.

III. Phương Pháp Học Xếp Hạng Hướng Dẫn Chi Tiết Cách Thực Hiện LTR

Các nghiên cứu về học xếp hạng chủ yếu tập trung vào ứng dụng xếp hạng các tài liệu trả về từ máy tìm kiếm dự theo truy vấn. Tổng quát bài toán xếp hạng đối tượng nói chung, ta có: tập các đối tượng X ⊂ R củ các đối tượng x =( x ,.,x ) ∈ R , với n là số đặc trưng của đối tượng. Cần tìm hàm f ( x ): X → R để sắp xếp các đối tượng x theo độ phù hợp. Tùy từng ứng dụng, người dùng có cách xác định độ phù hợp khác nhau.

3.1. HồI Quy Có Thứ Tự Ordinal Regression Trong LTR Tổng Quan

Trong phương pháp hồi quy có thứ tự (ordinal regression), tập dữ dữ liệu học là các bộ S = { ( x ,y ) } với y ∈ 1 , 2 ,.R là một tập sắp thứ tự, cần học hàm h ( x ) thỏa mãn: Với mọi cặp ( x ,y ) và ( x ,y ) thuộc S thì y >y ⇔ h ( x ) >h ( x ) Gọi P là tập hợp tất cả các cặp ( i,j ) mà nhãn của x lớn hơn của x : P = { ( i,j ): y >y } và | P | = m .Herbrich[27] đã dựa vào phương pháp SVM của Joachims[30] đưa ra tối ưu trong hồi quy thứ tự gọi là ordinal regression SVM (OR-SVM).

3.2. Pairwise Ranking So Sánh Cặp Đối Tượng Để Xếp Hạng

f ( x ) thỏa mãn với ∀ ( x ,x ) : nếu x ≺ x thì f ( x ) <f ( x ). Gọi P là tập hợp tất cả các cặp ( i,j ) mà nhãn của x lớn hơn của x : P = { ( i,j ): y >y } và | P | = m .Herbrich[27] đã dựa vào phương pháp SVM của Joachims[30] đưa ra tối ưu trong hồi quy thứ tự gọi là ordinal regression SVM (OR-SVM): min 1 2 w w + C m ξ Với ∀ ( i,j ) ∈ P :( w x ) ≥ ( w x )+1 − ξ Thuật toán SVM với tối ưu này tìm hàm h ( x ) tuyến tính tức tìm siêu phẳng tốt nhất mà làm cực tiểu số cặp dữ liệu học phải hoán đổi vị trí trong sắp xếp được ra.

3.3. Listwise Ranking Học Xếp Hạng Từ Danh Sách Hoàn Chỉnh

Với các ứng dụng xếp hạng, như xếp hạng các trang web trả về cho người dùng trong máy tìm kiếm, người dùng nhận được danh sách các kết quả được sắp xếp theo thứ tự độ phù hợp giảm dần thay vì so sánh thứ hạng của mỗi cặp kết quả. Và do chỉ xét từng cặp đối tượng để so sánh nên phương pháp Pairwise không tối ưu các độ đo đánh giá chất lượng xếp hạng ví dụ như MAP. Do vậy thay vì chuyển bài toán xếp hạng về bài toán hồi quy và phần lớp, học xếp hạng từ danh sách sắp thứ hạng đã được các tác giả[58,10,9,46] quan tâm.

IV. Mô Hình Máy Tìm Kiếm Thực Thể Ứng Dụng Học Xếp Hạng

Các máy tìm kiếm thông dụng hiện nay như Google, Yahoo, MSN, truy vấn người dùng đưa vào là tập các từ khóa và kết quả trả về là danh sách các địa chỉ tới các trang web. Do vậy để nhận được thông tin mong muốn, người dùng phải duyệt qua từng địa chỉ web đó, và có thể phải duyệt qua nhiều trang không có thông tin mong muốn. Với sự phát triển của các kỹ thuật rút trích thông tin (Information Extraction - IE) cụ thể là rút trích các thực thể, hướng phát triển máy tìm kiếm thực thể đã được Kevin Chang và các cộng sự[15,16,17] nghiên cứu, xây dựng.

4.1. So Sánh Máy Tìm Kiếm Truyền Thống và Máy Tìm Kiếm Thực Thể

Truy vấn của người dùng trên máy tìm kiếm thực thể không đơn thuần là các từ khóa mà người dùng xác định rõ hơn về loại đối tượng dữ liệu đang muốn tìm và ngữ cảnh tìm kiếm. Kết quả trả về cho người dùng thay vì chỉ là các địa chỉ web, người dùng còn nhận được các thông tin cụ thể về đối tượng mình mong muốn tìm kiếm. Cũng như với máy tìm kiếm thông thường xếp hạng là vấn đề quan trọng, xếp hạng thực thể là cốt lõi và quan trọng của máy tìm kiếm thực thể.

4.2. Xử Lý Truy Vấn và Xếp Hạng Thực Thể Quy Trình Chi Tiết

Module thực hiện nhận truy vấn người dùng, gửi truy vấn cho modul xử lý cục bộ, sau đó đợi kết quả trả về từ modul xử lý cục bộ. Sau khi nhận được tất cả các trọng số cục bộ, modul tiến hành tổng hợp trọng số cho từng bộ thực thể t , kết hợp trọng số cục bộ với trọng số xác định cho t trên toàn tập tài liệu để có giá trị Score cuối cùng cho xếp hạng.

V. Gán Nhãn Cụm Tài Liệu Hướng Dẫn Cách Ứng Dụng Học Xếp Hạng

Vấn đề gán nhãn cho cụm tài liệu là một bước quan trọng trong nhiều ứng dụng phân cụm tài liệu. Mục tiêu là tìm ra một hoặc một vài từ khóa, cụm từ đại diện tốt nhất cho nội dung của một cụm tài liệu. Các phương pháp gán nhãn truyền thống thường dựa trên thống kê từ, chẳng hạn như chọn các từ có tần suất xuất hiện cao nhất trong cụm. Tuy nhiên, các phương pháp này thường bỏ qua ngữ cảnh và ngữ nghĩa của từ, dẫn đến chất lượng nhãn không cao.

5.1. Thách Thức Trong Gán Nhãn Cụm Tài Liệu Ngữ Cảnh và Ngữ Nghĩa

Các phương pháp gán nhãn truyền thống thường dựa trên thống kê từ, chẳng hạn như chọn các từ có tần suất xuất hiện cao nhất trong cụm. Tuy nhiên, các phương pháp này thường bỏ qua ngữ cảnh và ngữ nghĩa của từ, dẫn đến chất lượng nhãn không cao. Để gán nhãn hiệu quả, cần phải xem xét mối quan hệ giữa các từ trong cụm, cũng như ý nghĩa của chúng trong ngữ cảnh cụ thể.

5.2. Học Xếp Hạng Để Gán Nhãn Phương Pháp Tiếp Cận Mới

Học xếp hạng có thể được sử dụng để giải quyết vấn đề gán nhãn cụm tài liệu bằng cách xếp hạng các từ khóa tiềm năng dựa trên độ phù hợp của chúng với nội dung của cụm. Để làm được điều này, cần xây dựng một mô hình học xếp hạng được huấn luyện trên một tập dữ liệu các cụm tài liệu và nhãn tương ứng. Mô hình này sẽ học cách dự đoán độ phù hợp của một từ khóa với một cụm tài liệu, từ đó giúp chọn ra các từ khóa tốt nhất để gán nhãn.

VI. Đánh Giá Tương Lai Nghiên Cứu Học Xếp Hạng Tạo Nhãn Cụm

Xếp hạng là một bài toán phổ biến, có ý nghĩa quan trọng và có nhiều ứng dụng trong thực tế. Vấn đề học xếp hạng là vấn đề thời sự đang nhận được nhiều sự quan tâm của các nhà khoa học. Hướng tiếp cận bài toán học xếp hạng đã được giới thiệu trong chương này. Các chương sau tiếp tục làm rõ hơn về bài toán học xếp hạng và ứng dụng vào xếp hạng thực thể trong máy tìm kiếm thực thể, và bài toán gán nhãn cụm tài liệu.

6.1. Tổng Kết Nghiên Cứu Các Phương Pháp Học Xếp Hạng Hiện Nay

Chương này đã giới thiệu chung về các phương pháp học xếp hạng hiện nay và hai phương pháp học xếp hạng SVM-MAP, RankSVM được đề cập. Đó là hai phương pháp được áp dụng vào hai ứng dụng học xếp hạng được trình bày ở chương sau.

6.2. Hướng Nghiên Cứu Tương Lai Phát Triển Mô Hình Học Xếp Hạng

Tiếp tục nghiên cứu và phát triển các mô hình học xếp hạng mới, đặc biệt là các mô hình có khả năng xử lý dữ liệu lớn và đa dạng. Nghiên cứu các phương pháp kết hợp nhiều nguồn thông tin khác nhau để cải thiện chất lượng xếp hạng. Áp dụng học xếp hạng vào nhiều lĩnh vực khác nhau, chẳng hạn như xếp hạng sản phẩm, xếp hạng tin tức, xếp hạng phim ảnh.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin số với hơn 100 triệu trang web và hàng tỷ truy vấn mỗi ngày vào những năm 2008, các công cụ tìm kiếm truyền thống dựa trên so khớp từ khóa và giải thuật PageRank đồ thị bắt đầu bộc lộ nhiều hạn chế lớn. Người dùng thường xuyên phải duyệt qua hàng chục liên kết để tự tổng hợp dữ liệu, do hệ thống chưa có khả năng hiểu sâu về ngữ cảnh và thực thể đối tượng. Để giải quyết thách thức này, hướng tiếp cận học máy áp dụng vào việc tối ưu thứ tự dữ liệu, gọi là Học xếp hạng (Learning to Rank - LTR), đã trở thành trọng tâm nghiên cứu tại các diễn đàn khoa học uy tín như SIGIR và ICML.

Luận văn thạc sĩ "Học xếp hạng trong tính hạng đối tượng và tạo nhãn cụm tài liệu" của tác giả Nguyễn Thu Trang, được thực hiện dưới sự hướng dẫn khoa học của PGS.TS Hà Quang Thụy tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, tập trung giải quyết hai mục tiêu cốt lõi: xây dựng mô hình học xếp hạng thực thể cho máy tìm kiếm y tế tiếng Việt (chuyên sâu về thực thể thuốc) và ứng dụng kỹ thuật học xếp hạng để tự động gán nhãn cụm tài liệu trong cấu trúc cây phân cấp danh bạ web. Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu gồm 6.217 trang web y tế với hơn 14.794 thể hiện thực thể thuốc được lập chỉ mục. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi nâng cao chỉ số nghịch đảo thứ hạng trung bình (MRR) lên mức 0,80 và cải thiện đáng kể độ chính xác trung bình (MAP), vượt trội hoàn toàn so với các mô hình truyền thống như BM25 và mô hình Impression, mở ra giải pháp đột phá trong tự động hóa tổ chức thông tin chuyên ngành.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng tích hợp của ba khung lý thuyết và mô hình tính toán hiện đại:

1. Lý thuyết Học xếp hạng (Learning to Rank): Khung lý thuyết này chia các giải thuật thành ba nhóm tiếp cận chính gồm Pointwise (hồi quy giá trị phù hợp đơn lẻ), Pairwise (học thứ tự ưu tiên giữa từng cặp đối tượng qua Ordinal Regression và RankSVM), và Listwise (tối ưu hóa trực tiếp trên toàn bộ danh sách kết quả theo các độ đo như SVM-MAP, ListNet, AdaRank).
2. Mô hình Xếp hạng Thực thể (Impression Model / EntityRank): Mô hình do Kevin Chang và Tao Cheng đề xuất, cấu trúc qua ba tầng xử lý: Tầng truy nhập toàn cục (Global Access) dựa trên xác suất PageRank, Tầng nhận dạng cục bộ (Local Recognition) kết hợp giữa mẫu quan sát ngữ cảnh và khoảng cách xuất hiện (Pattern và Proximity), và Tầng đánh giá (Validation) sử dụng kiểm định thống kê G-test nhằm loại bỏ các liên kết ngẫu nhiên.
3. Lý thuyết Phân cụm và Gán nhãn tài liệu phân cấp (Hierarchical Document Clustering and Labeling): Hệ thống lý thuyết tổ chức cây phân cấp chủ đề (tương tự kiến trúc DMOZ hay Yahoo Directory) kết hợp trích xuất đặc trưng cụm từ n-gram (từ 1 đến 3 tiếng), đánh giá độ lợi thông tin (Information Gain) và điểm số phù hợp ngữ cảnh (DScore).

Các khái niệm cơ bản được chuẩn hóa trong công trình bao gồm: Hàm tính hạng (Ranking Function), Thực thể (Entity), Độ chính xác tại ngưỡng K (Precision@K), Độ chính xác trung bình (MAP), và Nghịch đảo thứ hạng trung bình (MRR).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực tế thu thập từ 10 cổng thông tin y tế trực tuyến uy tín bằng tiếng Việt. Cỡ mẫu sau quá trình thu thập và lọc sạch đạt 6.217 trang web hợp lệ với tổng dung lượng xấp xỉ 180MB, loại bỏ hoàn toàn các trang có dung lượng dưới 20 từ hoặc chỉ chứa siêu liên kết đơn thuần. Tổng số thể hiện thực thể thuốc được trích xuất và đánh chỉ mục đạt 14.794 thực thể.

Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng để xây dựng tập dữ liệu huấn luyện. Tác giả thiết lập 10 tập truy vấn điển hình thuộc hai mẫu ngữ cảnh: truy vấn tìm thuốc theo bệnh lý và truy vấn tìm thuốc có tương tác phối hợp. Đối với mỗi truy vấn, 10 thực thể xuất hiện đầu tiên được đánh giá chéo và gán nhãn độ phù hợp bởi mô hình BM25 kết hợp mô hình Impression.

Phương pháp phân tích được thực hiện thông qua công cụ học có giám sát SVM-MAP kết hợp nền tảng máy tìm kiếm Apache Lucene. Lý do lựa chọn SVM-MAP là giải thuật này trực tiếp tối ưu hóa hàm mục tiêu theo chỉ số MAP trên toàn danh sách kết quả, giúp khắc phục triệt để hiện tượng mất cân bằng dữ liệu của các thuật toán so sánh cặp truyền thống. Toàn bộ quy trình nghiên cứu, thu thập và thử nghiệm được hoàn thiện trong timeline từ năm 2007 đến năm 2008.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Nâng cao vượt bậc chất lượng tìm kiếm thực thể: Mô hình học xếp hạng đề xuất (LTR) đạt chỉ số MRR lên tới 0,80. Kết quả này vượt trội hơn 15% so với mô hình Impression (đạt khoảng 0,65) và tăng trưởng hơn 106% so với thuật toán tìm kiếm truyền thống Okapi BM25 (chỉ đạt 0,387).
2. Tối ưu hóa độ chính xác trung bình trên toàn bộ truy vấn: Chỉ số MAP của phương pháp đề xuất ghi nhận mức tăng trưởng từ 0,15 đến 0,23 điểm so với các mô hình đối sánh. Điều này đồng nghĩa với việc các thực thể thuốc có độ phù hợp cao nhất luôn được đẩy lên các vị trí hiển thị ưu tiên đầu tiên trong bảng kết quả.
3. Xác định chính xác trọng số ảnh hưởng của các đặc trưng: Hàm tính hạng thu được sau quá trình huấn luyện có dạng toán học cụ thể, trong đó ba đặc trưng cốt lõi gồm: Tích cực đại giữa trọng số cục bộ với PageRank (hệ số M đạt 0,3601), Tổng trọng số cục bộ (hệ số SL đạt 0,2150), và Tổng tích trọng số cục bộ với PageRank (hệ số GL đạt 0,3120) chiếm tới 88,7% tổng mức độ ảnh hưởng. Ngược lại, các đặc trưng tần suất trang đơn thuần như tỷ lệ trang (hệ số N đạt 0,0031) và tổng PageRank thô (hệ số G đạt 0,0012) có đóng góp không đáng kể và có thể tinh giản.

Thảo luận kết quả

Sự vượt trội của mô hình học xếp hạng đề xuất bắt nguồn từ việc khắc phục nhược điểm cố hữu của mô hình Impression. Trong mô hình Impression gốc, hệ thống chỉ chọn một quan sát cực đại trong mỗi tài liệu mà bỏ qua tần suất xuất hiện lặp lại của thực thể, dẫn đến việc xếp hạng sai lệch đối với các thực thể có tần suất cao nhưng phân tán. Việc áp dụng SVM-MAP đã tự động hóa việc tìm ra bộ trọng số tối ưu giữa uy tín toàn cục (PageRank) và mối liên kết ngữ cảnh cục bộ (Proximity).

Dữ liệu thực nghiệm của luận văn có thể được mô hình hóa trực quan thông qua biểu đồ cột so sánh chỉ số MRR giữa ba giải thuật chính (BM25, Impression, LTR) và biểu đồ đường biểu diễn sự biến thiên của độ chính xác trung bình AP trên 5 tập truy vấn độc lập. Bảng tổng hợp trọng số các đặc trưng giúp minh chứng rõ ràng việc loại bỏ các biến số dư thừa nhằm nâng cao tốc độ phản hồi của hệ thống. Khi so sánh với các công bố quốc tế của nhóm tác giả Tao Cheng và Kevin Chang trên tập ngữ liệu tiếng Anh WISDM, mô hình đề xuất trong luận văn chứng minh tính tương thích cao và giải quyết xuất sắc tính đa nghĩa của ngôn ngữ tiếng Việt.

Đề xuất và khuyến nghị

1. Triển khai tích hợp mô hình SVM-MAP vào các cổng thông tin y tế điện tử: Đơn vị quản lý cần nâng cấp máy tìm kiếm chuyên ngành y - dược với mục tiêu nâng chỉ số MRR lên tối thiểu 0,85 và giảm độ trễ truy vấn xuống dưới 200 mili-giây trong lộ trình 6 đến 12 tháng, do Bộ Y tế phối hợp cùng các đơn vị công nghệ thông tin thực hiện.
2. Tự động hóa xây dựng cây danh bạ web tiếng Việt đa tầng: Ứng dụng giải pháp gán nhãn cụm tài liệu dựa trên học xếp hạng để tạo lập danh bạ thông tin số, phấn đấu đạt độ chính xác gán nhãn trên 90% ở độ sâu phân cấp từ 3 đến 5 tầng trong vòng 12 tháng, do các doanh nghiệp phát triển cổng thông tin số chủ trì.
3. Chuẩn hóa bộ dữ liệu kiểm thử thực thể tiếng Việt công khai: Xây dựng và công bố tập dữ liệu chuẩn mực (benchmark dataset) gồm hơn 50.000 thực thể y - sinh học được gán nhãn chuyên gia trong thời gian 18 tháng, do các phòng thí nghiệm trọng điểm như SISLAB và các trường đại học công nghệ điều phối.
4. Tối ưu hóa giải thuật và tinh giản không gian đặc trưng: Các kỹ sư hệ thống cần lược bỏ các đặc trưng tần suất thô (N và G) để cắt giảm 30% tài nguyên tính toán máy chủ nhưng vẫn duy trì độ chính xác MAP trên mức 0,75 trong vòng 3 đến 6 tháng tới.

Đối tượng nên tham khảo luận văn

1. Kỹ sư phát triển hệ thống tìm kiếm và xử lý ngôn ngữ tự nhiên: Học hỏi phương pháp kết hợp công cụ Apache Lucene với thuật toán học máy SVM-MAP để xây dựng các công cụ tìm kiếm thực thể chuyên sâu với độ chính xác cao.
2. Học viên cao học và nghiên cứu sinh ngành Hệ thống Thông tin: Nắm vững quy trình nghiên cứu khoa học chuẩn mực, phương pháp thiết kế thực nghiệm định lượng và cách thức ứng dụng các độ đo đánh giá chuyên sâu như MAP, MRR, P@K.
3. Chuyên viên quản trị dữ liệu và kiến trúc sư hệ thống y tế số: Tham khảo mô hình trích xuất và định danh thực thể dược phẩm để xây dựng kho tri thức y tế số hóa và các giải pháp giám sát y tế thông minh.
4. Doanh nghiệp quản lý nội dung số và cổng thông tin trực tuyến: Áp dụng kỹ thuật gán nhãn cụm tự động để phân loại hàng triệu tin tức, bài viết theo cấu trúc cây chủ đề trực quan, giảm thiểu 80% chi phí biên tập thủ công.

Câu hỏi thường gặp

Học xếp hạng khác biệt như thế nào so với các giải thuật phân lớp truyền thống? Phân lớp truyền thống chỉ gán đối tượng vào các nhóm nhãn rời rạc mà không phân biệt mức độ ưu tiên bên trong nhóm. Ngược lại, học xếp hạng tối ưu hóa trực tiếp trật tự của toàn bộ danh sách kết quả theo các chỉ số như MAP và MRR, đảm bảo các tài liệu phù hợp nhất luôn nằm trong top 10 kết quả đầu tiên.

Tại sao mô hình học xếp hạng lại đạt hiệu quả cao hơn mô hình Impression? Mô hình Impression chỉ trích xuất một quan sát tốt nhất trong tài liệu, dễ gây sai lệch khi thực thể xuất hiện nhiều lần. Bằng cách huấn luyện đa đặc trưng với hệ số M đạt 0,3601 và SL đạt 0,2150, mô hình học xếp hạng đã nâng chỉ số MRR từ 0,65 lên 0,80 trên tập dữ liệu thực thể thuốc.

Cỡ mẫu 6.217 trang web tiếng Việt có đảm bảo tính đại diện cho nghiên cứu không? Tập mẫu 6.217 trang web với 14.794 thể hiện thực thể thuốc được thu thập từ 10 cổng y tế lớn là quy mô mẫu chuẩn mực cho các nghiên cứu xử lý tiếng Việt giai đoạn 2008. Dữ liệu này phản ánh đầy đủ cấu trúc văn bản, thuật ngữ dược học và các liên kết web thực tế.

Chỉ số MAP và MRR đóng vai trò gì trong việc đánh giá máy tìm kiếm? Chỉ số MRR phản ánh vị trí xuất hiện của kết quả chính xác đầu tiên, với giá trị 0,80 nghĩa là người dùng tìm thấy câu trả lời ngay ở vị trí thứ nhất hoặc thứ hai. Trong khi đó, MAP đo lường độ chính xác trung bình trên toàn tập truy vấn, đảm bảo tính ổn định của giải thuật.

Kỹ thuật tạo nhãn cụm tài liệu mang lại lợi ích gì cho việc quản trị dữ liệu? Kỹ thuật này tự động trích xuất các cụm từ n-gram (từ 1 đến 3 tiếng) giàu thông tin nhất để đặt tên cho các nhóm văn bản lớn. Giải pháp giúp tự động hóa việc xây dựng các cây phân cấp danh bạ tương tự DMOZ mà không cần chuyên viên phân loại thủ công.

Kết luận

• Đóng góp lý thuyết toàn diện: Tổng kết có hệ thống các trường phái học xếp hạng Pointwise, Pairwise và Listwise, đặt nền móng phương pháp luận vững chắc cho lĩnh vực truy xuất thông tin ngữ nghĩa tại Việt Nam.
• Cải tiến mô hình đột phá: Đề xuất thành công mô hình học xếp hạng thực thể tối ưu cho tiếng Việt, khắc phục triệt để các hạn chế cố hữu của mô hình Impression truyền thống.
• Minh chứng thực nghiệm vững chắc: Khẳng định tính hiệu quả qua tập dữ liệu 6.217 trang web y tế với chỉ số MRR đạt 0,80 và MAP tăng thêm 0,23 điểm so với các phương pháp cơ sở.
• Giá trị ứng dụng thực tiễn cao: Cung cấp giải pháp tự động hóa gán nhãn cụm tài liệu phân cấp, mở ra hướng phát triển các danh bạ web tiếng Việt quy mô lớn.
• Định hướng nghiên cứu mở rộng: Tạo tiền đề cho việc tích hợp mô hình học sâu và đồ thị tri thức vào hệ thống tìm kiếm thực thể đa lĩnh vực trong lộ trình 12 đến 24 tháng tới.

Luận văn là tài liệu tham khảo học thuật giá trị cao dành cho các nhà nghiên cứu, kỹ sư hệ thống và sinh viên công nghệ thông tin đang theo đuổi lĩnh vực khai phá dữ liệu và trí tuệ nhân tạo. Hãy tham khảo toàn văn công trình nghiên cứu để áp dụng các giải thuật tối ưu vào bài toán tìm kiếm thực tế của doanh nghiệp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. XẾP HẠNG ĐỐI TƯỢNG 9 nhiều sự quan tâm của các nhà khoa học. Hướng tiếp cận bài toán học xếp hạng đã được giới thiệu trong chương này. Các chương sau tiếp tục làm rõ hơn về bài toán học xếp hạng và ứng dụng vào xếp hạng thực thể trong máy tìm kiếm thực thể, và bài toán gán nhãn cụm tài liệu.

TIEU LUAN MOI download : [e-mail] Chương 2 Học xếp hạng 2.1 Giới thiệu Các nghiên cứu về học xếp hạng chủ yếu tập trung vào ứng dụng xếp hạng các tài liệu trả về từ máy tìm kiếm dựa theo truy vấn. Có tập các tài liệu D = {d1 , d2 , ., dn } và với truy vấn q, cần xác định hàm xếp hạng r để sắp xếp các tài liệu D theo độ phù hợp với truy vấn. Tổng quát bài toán xếp hạng đối tượng nói chung, ta có: tập các đối tượng X ⊂ Rn của các đối tượng x = (x1 , ., xn ) ∈ Rn , với n là số đặc trưng của đối tượng. Cần tìm hàm f (x) : X → R để sắp xếp các đối tượng x theo độ phù hợp.

Tùy từng ứng dụng, người dùng có cách xác định độ phù hợp khác nhau như: • Cần xác định đối tượng có phù hợp tiêu chí đặt ra hay không 10 TIEU LUAN MOI download : [e-mail] CHƯƠNG 2. HỌC XẾP HẠNG 11 • Đánh giá độ phù hợp của mối đối tượng với một số mức độ nhất định như rất tốt, tốt, trung bình, kém. • Đưa ra các so sánh độ phù hợp của từng cặp đối tượng. Do đó ta có các phương pháp học hàm f (x) tương ứng với các kiểu ràng buộc về xếp hạng khác nhau tùy theo cách đánh giá độ phù hợp như trên.

Các phương pháp học xếp hạng theo Chakrabarti [12] : Hồi quy (Regression): mỗi đối tượng x xác định giá trị y tương ứng về độ phù hợp. Cần học hàm f (x) thỏa mãn f (x) = y. Và khi giá trị y xác định thứ tự của đối tượng x thì phương pháp gọi là hồi quy có thứ tự. Tuy nhiên trong nhiều ứng dụng (ví dụ máy tìm kiếm), việc sắp xếp thứ tự tất cả các đối tượng là không khả thi, thì một thứ tự xếp hạng của K đối tượng đầu tiên được xác định, và tất cả các đối tượng khác đều có hạng cao hơn (phương pháp ListNet [10].

Một cách chi tiết hơn, Liu [36] chia các phương pháp học xếp hạng thành: Poinwise: tìm f (x) thỏa mãn với ∀x ∈ X có f (x) = y (tương ứng phương pháp hồi quy) Pairwise: f (x) thỏa mãn với ∀(xi , xj ): nếu xi ≺ xj thì f (xi ) < f (xj ) Listwise: có bộ thứ tự (x1 , .xk ) tìm f (x) thỏa mãn với ∀(xi , xj ): nếu i > j thì f (xi ) > f (xj ) TIEU LUAN MOI download : [e-mail] CHƯƠNG 2. HỌC XẾP HẠNG 12 2.2 Phương pháp học xếp hạng 2.1 Hồi quy có thứ tự vàPairwise Trong phương pháp hồi quy có thứ tự (ordinal regression, tập dữ dữ liệu học là các bộ S = {(xi , yi)}li=1 với yi ∈ 1, 2, .R là một tập sắp thứ tự, cần học hàm h(x) thỏa mãn: Với mọi cặp (xi , yi ) và (xj , yj ) thuộc S thì yi > yj ⇔ h(xi ) > h(xj ) Gọi P là tập hợp tất cả các cặp (i, j) mà nhãn của xi lớn hơn của xj : P = {(i, j) : yi > yj } và |P | = m. Herbrich [27] đã dựa vào phương pháp SVM của Joachims [30] đưa ra tối ưu trong hồi quy thứ tự gọi là ordinal regression SVM (OR-SVM): 1 T C X
min w w+ ξij w,ξi,j ≥0 2 m (i,j)∈P Với ∀(i, j) ∈ P : (w T xi ) ≥ (w T xj ) + 1 − ξij Thuật toán SVM với tối ưu này tìm hàm h(x) tuyến tính tức tìm siêu phẳng tốt nhất mà làm cực tiểu số cặp dữ liệu học phải hoán đổi vị trí trong sắp xếp được ra. Mô tả ý tưởng như hình 2.

Viết lại ràng buộc của công thức tối ưu trên ta có ∀(i, j) ∈ P : w T (xi − xj ) ≥ 1 − ξij Công thức tương tự với công thức của ràng buộc trong tối ưu phân lớp SVM [30]. Do vậy mọi biến đổi tối ưu trên phân lớp SVM đều có thể được thực hiện đối với hồi quy thứ tự được Joachims [31]. Joachims đã biến đổi bài toán hồi quy có thứ tự về bài toán học phân lớp nhị phân, sử dụng phân lớp SVM để học được mô hình tham số w cho hồi quy tuyến tính. TIEU LUAN MOI download : [e-mail] CHƯƠNG 2.

HỌC XẾP HẠNG 13 Hình 2.1: Xếp hạng với SVM [31] Các tác giả như Michael Collins [19] cũng quan tâm học hồi quy và tìm cách chuyển bài toán học hồi quy thứ tự về bài toán phân lớp.2 Học xếp hạng danh sách Listwise Với các ứng dụng xếp hạng, như xếp hạng các trang web trả về cho người dùng trong máy tìm kiếm, người dùng nhận được danh sách các kết quả được sắp xếp theo thứ tự độ phù hợp giảm dần thay vì so sánh thứ hạng của mỗi cặp kết quả. Và do chỉ xét từng cặp đối tượng để so sánh nên phương pháp Pairwise không tối ưu các độ đo đánh giá chất lượng xếp hạng ví dụ như MAP. Do vậy thay vì chuyển bài toán xếp hạng về bài toán hồi quy và phần lớp, học xếp hạng từ danh sách sắp thứ hạng đã được các tác giả [58, 10, 9, 46] quan tâm. Phương pháp học xếp hạng trực tiếp từ danh sách xếp hạng do Yisong Yue và các tác giả đưa ra [58], sử dụng SVM để tìm tối ưu và ràng buộc về độ đo đánh giá MAP trên danh sách xếp hạng.

Phân lớp SVM học một siêu phẳng w, với dấu của w T w là nhãn dự TIEU LUAN MOI download : [e-mail] CHƯƠNG 2. HỌC XẾP HẠNG 14 đoán. Hàm học tìm w để cực tiểu: N 1 T CX minw,ξi,j ≥0 w w + ξij 2 m i=1 P Với ∀i : yi .(w T xi ) ≥ 1 − ξi i ξi là tổng hệ số nới lỏng. Thêm các ràng buộc về đánh giá độ chính xác trung bình, với mỗi một nhãn y 0 sai đối với tài liệu x có: ∀y 0 6= y :T Ψ(y, x) ≥ w T Ψ(y 0, x) + ∆(y, y 0) − ξ P P Trong đó: Ψ(y 0 , x) = ( i : rel) 0 j:!rel yij .(xi − xj ) và ∆(y, y 0) = 1 − AP (y 0) Kết quả sau khi học w có dự đoán sắp xếp bởi w T xi.

Khi số lượng đối tượng được xếp hạng tăng thì số ràng buộc cũng tăng nhanh, do vậy cần tìm ràng buộc mà bị vi phạm nhiều nhất trong tập các ràng buộc và học mô hình thỏa mãn ràng buộc đó. Có nhiều các nhà nghiên cứu tập trung phương pháp học Listwise, như các phương pháp AdaRank [54], SoftRank [46], ListNet [10],. Tuy nhiên qua phân tích các kết quả trên Lector∗ cho thấy phương pháp SVM-MAP có chất lượng tốt nhất.3 Tổng kết chương Chương này đã giới thiệu chung về các phương pháp học xếp hạng hiện nay và hai phương pháp học xếp hạng SVM-MAP, RankSVM được đề cập. Đó là hai phương pháp được áp dụng vào hai ứng dụng học xếp hạng được trình bày ở chương sau.com/en-us/um/beijing/projects/letor/ TIEU LUAN MOI download : [e-mail] Chương 3 Xếp hạng trong máy tìm kiếm thực thể Các máy tìm kiếm thông dụng hiện nay như Google, Yahoo, MSN, truy vấn người dùng đưa vào là tập các từ khóa và kết quả trả về là danh sách các địa chỉ tới các trang web.

Do vậy để nhận được thông tin mong muốn, người dùng phải duyệt qua từng địa chỉ web đó, và có thể phải duyệt qua nhiều trang không có thông tin mong muốn. Với sự phát triển của các kỹ thuật rút trích thông tin (Information Extraction- IE) cụ thể là rút trích các thực thể, hướng phát triển máy tìm kiếm thực thể đã được Kevin Chang và các cộng sự [15, 16, 17] nghiên cứu, xây dựng. Truy vấn của người dùng trên máy tìm kiếm thực thể không đơn thuần là các từ khóa mà người dùng xác định rõ hơn về loại đối tượng dữ liệu đang muốn tìm và ngữ cảnh tìm kiếm. Kết quả trả về cho người dùng thay vì chỉ là các địa chỉ web, người dùng còn nhận được các thông tin cụ 15 TIEU LUAN MOI download : [e-mail] CHƯƠNG 3.

XẾP HẠNG TRONG MÁY TÌM KIẾM THỰC THỂ 16 thể về đối tượng mình mong muốn tìm kiếm. Cũng như với máy tìm kiếm thông thường xếp hạng là vấn đề quan trọng, xếp hạng thực thể là cốt lõi và quan trọng của máy tìm kiếm thực thể. Không chỉ các tác giả T. Đặc điểm dữ liệu wiki là các trang web đều được xác định chủ đề/thể loại (category) và trong mỗi trang có các khái niệm (concept) được đánh dấu (tag) hay tạo liên kết tới các trang mô tả khái niệm đó.

Do vậy, với cấu trúc web giàu ngữ nghĩa đó, việc xếp hạng các thực thể trên wikipedia thường dựa trên các liên kết giữa các thực thể (hay các khái niệm), liên kết giữa các trang web, độ tương đồng ngữ nghĩa giữa các khái niệm như được đề cập trong [20]. Song song với các nghiên cứu đó là các nghiên cứu xếp hạng thực thể dựa trên việc xây dựng đồ thị quan hệ giữa các thực thể, mạng xã hội các thực thể trên web [43, 13, 11, 2, 7]. Qua phân tích các nghiên cứu [47, 20, 21, 50, 43, 11, 13, 15, 16, 17], với định hướng xây dựng hệ tìm kiếm thực thể trên web nói chung, việc xếp hạng trong tìm kiếm thực thể của nhóm T.Cheng được quan tâm và phân tích.1 Máy tìm kiếm thực thể Người dùng thường tìm kiếm thông tin về đối tượng nào đó, ví dụ như khi sử dụng truy vấn "thuốc chống viêm", người dùng muốn tìm các thực thể thuốc mà có tác dụng chống viêm. Và các máy tìm kiếm hiện nay (như Google, Yahoo, MSN) bằng cách so sánh văn bản (text) trên từng trang web với truy vấn và trả về cho người dùng địa chỉ các trang mà có chứa từ khóa trong truy vấn.

Do vậy người dùng không trực tiếp nhận được thông tin mong muốn mà phải duyệt qua nội dung các trang web trả về đó và ∗ http://wikipedia.org TIEU LUAN MOI download : [e-mail] CHƯƠNG 3. XẾP HẠNG TRONG MÁY TÌM KIẾM THỰC THỂ 17 không chắc chắn có được thông tin mong muốn ở những kết quả đầu tiên.