Luận án tiến sĩ: Nghiên cứu các kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

Luận án tiến sĩ nghiên cứu các kỹ thuật phân hạng hiệu quả trong tra cứu ảnh dựa vào nội dung, ứng dụng trong lĩnh vực xử lý hình ảnh và AI.

• Tác giả: Vũ Văn Hiệu
• Người hướng dẫn: Ngô Quốc Tạo
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Cơ sở Toán học cho Tin học
• Đề tài: Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG
• 1.1. Một số đặc trưng ảnh thường sử dụng trong tra cứu ảnh dựa vào nội dung
• 1.2. Tổ hợp đặc trưng trong tra cứu ảnh dựa vào nội dung
• 1.3. Chuẩn hóa trong CBIR
• 1.3.1. Mục đích của chuẩn hóa
• 1.3.2. Chuẩn hóa min-max
• 1.4. Khoảng trống ngữ nghĩa
• 1.5. Phản hồi liên quan trong CBIR
• 1.6. Hiệu chỉnh trạng sự và dịch chuyển truy vấn trong CBIR sử dụng phản hồi liên quan
• 1.7. Tra cứu ảnh dựa vào nội dung sử dụng kỹ thuật máy học
• 1.7.1. Huấn luyện và kiểm tra
• 1.7.3. Xây dựng mô hình học
• 1.8. Một số tiếp cận dựa theo phương pháp tối ưu Pareto
• 1.9. Phương pháp đánh giá hiệu năng trong CBIR
• 2. ĐỀ XUẤT CHUẨN HÓA ĐẶC TRƯNG VÀ HIỆU CHỈNH TRẠNG SỰ TRONG TỔ HỢP ĐẶC TRƯNG
• 2.1. Chuẩn hóa đặc trưng dựa vào phân cụm mờ FCM
• 2.2. Chuẩn hóa khoảng cách dựa vào phân cụm FCM
• 2.3. Hiệu chỉnh trạng sự, dịch chuyển truy vấn
• 2.3.1. Hiệu chỉnh trạng sự
• 2.3.2. Dịch chuyển truy vấn
• 2.4. Thí nghiệm và đánh giá các kết quả
• 2.4.1. Cơ sở dữ liệu ảnh
• 2.4.2. Trích rút bộ đặc trưng kết hợp
• 2.4.3. Các kết quả thực nghiệm và luận giải
• 2.5. Kết luận Chương 2
• 3. ĐỀ XUẤT KỸ THUẬT PARETO FRONT Á MỤC SÂU NÂNG CAO HIỆU QUẢ PHÂN LỚP ẢNH
• 3.1. Một số tính chất hình thức dựa trên kỹ thuật Pareto front á mục sâu trong không gian tổ hợp đặc trưng
• 3.2. Nâng cao hiệu quả phân lớp ảnh
• 3.3. Thí nghiệm và đánh giá các kết quả
• 3.3.1. Cơ sở dữ liệu ảnh
• 3.3.2. Các phương pháp cơ sở
• 3.3.3. Phương pháp đánh giá
• 3.3.4. Các kết quả thực nghiệm
• 3.4. Kết luận Chương 3
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ
• PHỤ LỤC A: MỘT SỐ CƠ SỞ DỮ LIỆU ẢNH SỬ DỤNG
• PHỤ LỤC B: PHẦN MỀM TRA CỨU THEO CÁC ĐỀ XUẤT CỦA LUẬN ÁN

Tóm tắt

I. Tổng quan về kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

Kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung (CBIR) là một lĩnh vực nghiên cứu quan trọng, tập trung vào việc cải thiện hiệu quả tìm kiếm ảnh thông qua việc phân tích nội dung ảnh. Luận án tiến sĩ này nghiên cứu các phương pháp phân tích ảnh và xử lý ảnh để trích xuất các đặc trưng quan trọng, từ đó xây dựng hệ thống tra cứu hiệu quả. Các kỹ thuật như trích xuất đặc trưng, học máy, và thị giác máy tính được áp dụng để nâng cao độ chính xác của hệ thống. Nghiên cứu cũng đề cập đến việc phân loại ảnh và tối ưu hóa tìm kiếm để giảm thiểu khoảng trống ngữ nghĩa giữa đặc trưng ảnh và nhận thức của người dùng.

1.1. Phân tích nội dung ảnh

Phân tích nội dung ảnh là bước đầu tiên trong quá trình tra cứu ảnh dựa vào nội dung. Các phương pháp như trích xuất đặc trưng và phân tích dữ liệu ảnh được sử dụng để xác định các yếu tố quan trọng trong ảnh, bao gồm màu sắc, kết cấu, và hình dạng. Các đặc trưng này sau đó được sử dụng để xây dựng hệ thống phân hạng hiệu quả. Nghiên cứu cũng đề xuất các kỹ thuật chuẩn hóa đặc trưng để đảm bảo tính nhất quán trong quá trình so sánh và phân hạng ảnh.

1.2. Kỹ thuật học máy trong tra cứu ảnh

Học máy đóng vai trò quan trọng trong việc cải thiện hiệu quả của hệ thống tra cứu ảnh. Các mô hình học máy được huấn luyện để nhận diện và phân loại ảnh dựa trên các đặc trưng trích xuất. Nghiên cứu đề xuất sử dụng các phương pháp như Support Vector Machine (SVM) và AdaBoost để nâng cao độ chính xác của hệ thống. Các kỹ thuật này giúp giảm thiểu khoảng trống ngữ nghĩa và cải thiện hiệu quả tìm kiếm.

II. Phương pháp phân hạng dữ liệu và tối ưu hóa tìm kiếm

Phân hạng dữ liệu là một quá trình quan trọng trong tra cứu ảnh dựa vào nội dung, giúp sắp xếp các kết quả tìm kiếm theo mức độ liên quan. Nghiên cứu này tập trung vào việc tối ưu hóa tìm kiếm thông qua các kỹ thuật như phân tích đa phương tiện và phân tích hình ảnh. Các phương pháp chuẩn hóa đặc trưng và hiệu chỉnh trọng số được đề xuất để cải thiện độ chính xác của hệ thống. Nghiên cứu cũng đề cập đến việc sử dụng phản hồi liên quan từ người dùng để điều chỉnh kết quả tìm kiếm.

2.1. Chuẩn hóa đặc trưng và hiệu chỉnh trọng số

Chuẩn hóa đặc trưng là một bước quan trọng trong quá trình phân hạng dữ liệu. Nghiên cứu đề xuất sử dụng phương pháp Fuzzy C-Means (FCM) để chuẩn hóa các đặc trưng ảnh, giúp đảm bảo tính nhất quán trong quá trình so sánh. Hiệu chỉnh trọng số được áp dụng để điều chỉnh mức độ ảnh hưởng của các đặc trưng khác nhau, từ đó cải thiện độ chính xác của hệ thống.

2.2. Phản hồi liên quan và tối ưu hóa tìm kiếm

Phản hồi liên quan từ người dùng là một yếu tố quan trọng trong việc tối ưu hóa tìm kiếm. Nghiên cứu đề xuất sử dụng thông tin phản hồi để điều chỉnh kết quả tìm kiếm, giúp hệ thống đáp ứng tốt hơn nhu cầu của người dùng. Các kỹ thuật như dịch chuyển truy vấn và hiệu chỉnh trọng số được áp dụng để cải thiện hiệu quả tìm kiếm.

III. Ứng dụng và đánh giá hệ thống tra cứu ảnh

Nghiên cứu này không chỉ tập trung vào việc phát triển các kỹ thuật phân hạng dữ liệu mà còn đánh giá hiệu quả của hệ thống tra cứu ảnh trong thực tế. Các thử nghiệm được thực hiện trên các bộ dữ liệu ảnh chuẩn, bao gồm Corel, Wang, và Caltech 101. Kết quả cho thấy các phương pháp đề xuất đã cải thiện đáng kể độ chính xác và hiệu quả của hệ thống. Nghiên cứu cũng đề xuất hướng phát triển trong tương lai, bao gồm việc tích hợp các kỹ thuật học sâu và phân tích đa phương tiện để nâng cao hiệu quả của hệ thống.

3.1. Thử nghiệm và đánh giá kết quả

Các thử nghiệm được thực hiện trên các bộ dữ liệu ảnh chuẩn, bao gồm Corel, Wang, và Caltech 101. Kết quả cho thấy các phương pháp đề xuất đã cải thiện đáng kể độ chính xác và hiệu quả của hệ thống. Các chỉ số như Precision và Recall được sử dụng để đánh giá hiệu quả của hệ thống. Nghiên cứu cũng so sánh kết quả với các phương pháp hiện có để chứng minh tính ưu việt của các kỹ thuật đề xuất.

3.2. Hướng phát triển trong tương lai

Nghiên cứu đề xuất hướng phát triển trong tương lai, bao gồm việc tích hợp các kỹ thuật học sâu và phân tích đa phương tiện để nâng cao hiệu quả của hệ thống. Các kỹ thuật này sẽ giúp hệ thống xử lý tốt hơn các dữ liệu ảnh phức tạp và đa dạng, từ đó cải thiện độ chính xác và hiệu quả tìm kiếm.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- VŨ VĂN HIỆU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG LUẬN ÁN TIẾN SỸ TOÁN HỌC HÀ NỘI – 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ ----------------------------- VŨ VĂN HIỆU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNG TRONG TRA CỨU ẢNH DỰA VÀO NỘI DUNG LUẬN ÁN TIẾN SỸ TOÁN HỌC Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 62 46 01 10 Người hướng dẫn khoa học: 1. Ngô Quốc Tạo 2. Nguyễn Hữu Quỳnh Hà Nội – 2017 LÌi cam oan Tôi xin cam oan lu™n án “Nghiên c˘u mÎt sË kˇ thu™t phân h§ng trong tra c˘u £nh d¸a vào nÎi dung” là công trình nghiên c˘u cıa riêng tôi. Các sË liªu, k∏t qu£ ˜Òc trình bày trong lu™n án là hoàn toàn trung th¸c và ch˜a t¯ng ˜Òc công bË trong bßt k˝ mÎt công trình nào khác.

⌅ Tôi ã trích d®n ¶y ı các tài liªu tham kh£o, công trình nghiên c˘u liên quan  trong n˜Óc và quËc t∏. Ngo§i tr¯ các tài liªu tham kh£o này, lu™n án hoàn toàn là công viªc cıa riêng tôi. ⌅ Trong các công trình khoa hÂc ˜Òc công bË trong lu™n án, tôi ã th∫ hiªn rõ ràng và chính xác óng góp cıa các Áng tác gi£ và nh˙ng gì do tôi ã óng góp. ⌅ Lu™n án ˜Òc hoàn thành trong thÌi gian tôi làm Nghiên c˘u sinh t§i Phòng Nh™n d§ng và Công nghª tri th˘c, Viªn Công nghª thông tin, Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam.

Tác gi£ : Hà NÎi : i LÌi c£m Ïn Lu™n án ˜Òc th¸c hiªn d˜Ói s¸ h˜Óng d®n khoa hÂc cıa PGS.TS Ngô QuËc T§o và PGS.TS Nguyπn H˙u Qu˝nh. Nghiên c˘u sinh xin bày t‰ lòng bi∏t Ïn sâu s≠c ∏n hai Th¶y v∑ ‡nh h˜Óng khoa hÂc, nh˙ng bài hÂc, nh˙ng góp ˛ qu˛ báu trong nghiên c˘u. Các Th¶y ã t§o i∑u kiªn vô cùng thu™n lÒi trong suËt quá trình nghiên c˘u cıa Nghiên c˘u sinh. Tôi xin ˜Òc c£m Ïn các nhà khoa hÂc, tác gi£ cıa các công trình công bË ã ˜Òc trích d®n trong lu™n án, ây là nh˙ng t˜ liªu qu˛, ki∏n th˘c liên quan quan trÂng giúp Nghiên c˘u sinh hoàn thành lu™n án.

Xin c£m Ïn ∏n các nhà khoa hÂc ã ph£n biªn các công trình nghiên c˘u cıa Nghiên c˘u sinh. Tôi trân trÂng c£m Ïn Phòng Nh™n d§ng và Công nghª tri th˘c, Phòng qu£n l˛ ào t§o, Viªn Công nghª thông tin, HÂc viªn Khoa hÂc và Công nghª, Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam ã t§o i∑u kiªn thu™n lÒi cho tôi trong suËt quá trình nghiên c˘u th¸c hiªn lu™n án. Tôi cÙng xin c£m Ïn sâu s≠c ∏n HÎi Áng Khoa hÂc Viªn Công nghª thông tin, các Th¶y trong HÎi Áng b£o vª cßp cÏ s ã góp ˛ giúp Nghiên c˘u sinh hoàn thiªn công trình lu™n án này. Tôi cÙng bày t‰ s¸ c£m Ïn sâu s≠c ∏n Khoa Công nghª thông tin, Tr˜Ìng §i hÂc iªn L¸c, Hà NÎi ã t§o i∑u kiªn cho tôi ˜Òc hÂc t™p, trao Íi và nghiên c˘u.

Tôi xin c£m Ïn Tr˜Ìng §i hÂc H£i Phòng ã t§o i∑u kiªn v∑ thÌi gian và tài chính cho tôi th¸c hiªn lu™n án này. MÎt ph¶n cıa nghiên c˘u này ˜Òc th¸c hiªn trong khuôn khÍ ∑ tài nghiên c˘u mã sË CS’15.03 cıa Viªn Công nghª Thông tin, Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam và ∑ tài nghiên mã sË VAST01.07/15-16 cıa Viªn Hàn lâm Khoa hÂc và Công nghª Viªt Nam. Xin c£m Ïn các trao Íi và trÒ giúp cıa các thành viên ∑ tài. CuËi cùng, tôi xin bày t‰ lòng bi∏t Ïn vô h§n Ëi vÓi cha mµ, vÒ con và toàn th∫ anh em trong gia ình ã luôn ıng hÎ, giúp Ô tôi.

ii Mˆc lˆc LÌi cam oan i LÌi c£m Ïn ii T¯ vi∏t t≠t v K˛ hiªu toán hÂc vi Danh mˆc các hình v≥ vii Danh mˆc các b£ng bi∫u xi M ¶u 1 1 TÍng quan v∑ Tra c˘u £nh d¸a vào nÎi dung 8 1.1 MÎt sË ∞c tr˜ng £nh th˜Ìng s˚ dˆng trong tra c˘u £nh d¸a vào nÎi dung .2 TÍ hÒp ∞c tr˜ng trong tra c˘u £nh d¸a vào nÎi dung .3 Chu©n hoá trong CBIR .1 Mˆc ích cıa chu©n hoá .2 Chu©n hóa min-max .4 Kho£ng trËng ng˙ nghæa .5 Ph£n hÁi liên quan trong CBIR .6 Hiªu chønh trÂng sË và d‡ch chuy∫n truy vßn trong CBIR s˚ dˆng ph£n hÁi liên quan .7 Tra c˘u £nh d¸a vào nÎi dung s˚ dˆng kˇ thu™t máy hÂc .1 Hußn luyªn và ki∫m tra .3 Xây d¸ng mô hình hÂc .8 MÎt sË ti∏p c™n d¸a theo ph˜Ïng pháp tËi ˜u Pareto .9 Ph˜Ïng pháp ánh giá hiªu n´ng trong CBIR. 34 2 ∑ xußt chu©n hoá ∞c tr˜ng và hiªu chønh trÂng sË trong tÍ hÒp ∞c tr˜ng 37 2.1 Chu©n hoá ∞c tr˜ng d¸a vào phân cˆm mÌ FCM .2 Chu©n hoá kho£ng cách d¸a vào phân cˆm FCM .3 Hiªu chønh trÂng sË, d‡ch chuy∫n truy vßn .1 Hiªu chønh trÂng sË .2 D‡ch chuy∫n truy vßn .4 Th˚ nghiªm và ánh giá các k∏t qu£ .1 CÏ s d˙ liªu £nh .2 Trích rút bÎ ∞c tr˜ng k∏t hÒp .3 Các k∏t qu£ th¸c nghiªm và lu™n gi£i .5 K∏t lu™n Ch˜Ïng 2. 68 3 ∑ xußt kˇ thu™t Pareto front a m˘c sâu nâng cao hiªu qu£ phân lÓp £nh 69 3.1 MÎt sË tính chßt hình th˘c d¸a trên kˇ thu™t Pareto front a m˘c sâu trong không gian tÍ hÒp ∞c tr˜ng .2 Nâng cao hiªu qu£ phân lÓp £nh .3 Th˚ nghiªm và ánh giá các k∏t qu£ .1 CÏ s d˙ liªu £nh .2 Các ph˜Ïng pháp cÏ s .3 Ph˜Ïng pháp ánh giá .4 Các k∏t qu£ th¸c nghiªm .4 K∏t lu™n Ch˜Ïng 3. 96 K∏t lu™n và h˜Óng phát tri∫n 97 Danh mˆc công trình ã công bË 99 A MÎt sË cÏ s d˙ liªu £nh s˚ dˆng 111 A.

114 B Ph¶n m∑m tra c˘u theo các ∑ xußt cıa lu™n án 120 iv T¯ vi∏t t≠t D§ng vi∏t t≠t D§ng ¶y ı Diπn gi£i CBIR Content based image retrie- Tra c˘u £nh d¸a vào nÎi dung val FCM Fuzzy c-means Phân cˆm mÌ c-means HI Histogram Interrsection L˜Òc Á giao HSV hue, saturation, value màu s≠c, Î bão hoà màu, Î sáng L2R Learning to Rank HÂc x∏p h§ng MARS Multimedia Analysis and Các hª thËng phân tích a Retrieval Systems ph˜Ïng tiªn và tra c˘u Pr Precision Î chính xác Re Recall Î hÁi t˜ng RF Relevance feedback Ph£n hÁi liên quan RGB red, green, blue ‰, xanh lá, xanh d˜Ïng SIFT Scale-Invariant Feature Transform SVM Support vector machine Máy vector hÈ trÒ v K˛ hiªu toán hÂc M Î dài cıa mÎt vector ∞c tr˜ng N Kích th˜Óc cıa cÏ s d˙ liªu £nh T SË bÎ ∞c tr˜ng t Chø sË bÎ ∞c tr˜ng Q, Ii Énh truy vßn và £nh th˘ i trong cÏ s d˙ liªu I˜i Vector ∞c tr˜ng chu©n hoá cıa £nh th˘ i I˜it Vector ∞c tr˜ng chu©n hoá  bÎ t cıa £nh th˘ i Qt, I t ∞c tr˜ng bÎ t t˜Ïng ˘ng cıa £nh truy vßn Q và £nh I bßt k˝ Q̃it ∞c tr˜ng chu©n hoá  bÎ t cıa £nh truy vßn DQt (Ii ), D t (Q, Ii ) Kho£ng cách theo bÎ ∞c tr˜ng t cıa £nh Ii so vÓi £nh truy vßn Q DQ (Ii ), D(Q, Ii ) Kho£ng cách £nh Ii so vÓi £nh truy vßn Q trên bÎ ∞c tr˜ng k∏t hÒp top k T™p gÁm k £nh có th˘ h§ng t˜Ïng t¸ cao nhßt Ëi vÓi £nh truy vßn NB T™p £nh có Î t˜Ïng t¸ cao nhßt theo ∞c tr˜ng toàn cˆc trong mÎt tra c˘u NB T™p £nh ˜Òc xác nh™n không liên quan  ph£n hÁi cıa ng˜Ìi dùng NB + T™p £nh ˜Òc xác nh™n liên quan  ph£n hÁi cıa ng˜Ìi dùng NBt T™p £nh có Î t˜Ïng t¸ cao nhßt theo ∞c tr˜ng  bÎ t trong mÎt tra c˘u NB ⇠ T™p £nh có th˘ h§ng Î t˜Ïng t¸ cao và thuÎc t™p NB trong mÎt tra c˘u vi NB ⇤ T™p £nh ch˜a ˜Òc tra c˘u (D) Vt,c Tâm cˆm c t™p giá tr‡ kho£ng cách bÎ ∞c tr˜ng t theo FCM Vt (D) T™p tâm cˆm theo bÎ ∞c tr˜ng t Vt,c,j Tâm cˆm c cıa thành ph¶n ∞c tr˜ng j  bÎ ∞c tr˜ng t theo phân cˆm mÌ FCM wt TrÂng sË kho£ng cách cıa bÎ ∞c tr˜ng t p ⌘t,c,i Giá tr‡ Î thuÎc cıa ph¶n t˚ th˘ i  bÎ ∞c tr˜ng t so vÓi cˆm c, p là hª sË FCM (l),NB + t,kIt k Î lªch chu©n theo Î dài ∞c tr˜ng bÎ ∞c tr˜ng t trong l¶n l∞p th˘ l Ëi vÓi các £nh trong t™p NB + (l),NB + t,DQt (I ) i Î lªch chu©n kho£ng cách bÎ ∞c tr˜ng t trong l¶n l∞p th˘ l Ëi vÓi các £nh trong t™p NB + t,c,i Î lªch chu©n thành ph¶n j cıa bÎ ∞c tr˜ng t theo cˆm c (D) t,c Î lªch chu©n kho£ng cách bÎ ∞c tr˜ng t theo cˆm c vii Danh sách hình v≥ 0.1 Hª thËng tra c˘u £nh d¸a vào nÎi dung.1 Thành ph¶n th˘ nhßt cıa ∞c tr˜ng mô men màu.2 Phân bË d˙ liªu thành ph¶n 1 cıa ∞c tr˜ng mô men màu (gËc). (b) L˜Òc Á ∞c tr˜ng l˜Òc Á HSV chu©n hoá theo lu™t 3 thành ph¶n th˘ 5, 97.4555% d˙ liªu “rÏi vào” [-1,1] .4 Énh truy vßn “mandolin image 0001.5 Hª thËng tra c˘u vÓi £nh truy vßn “mandolin image 0001.6 K∏t qu£ top 20 các £nh t˜Ïng t¸ nhßt vÓi £nh truy vßn  l¶n tra c˘u khi t§o.7 Hai £nh có ng˙ nghæa t˜Ïng Áng .8 L˜Òc Á màu cıa £nh truy vßn và hai £nh trong k∏t qu£ top 20.9 Minh ho§ siêu phØng .1 Mô hình hª thËng ∑ xußt .2 Minh ho§ chu©n hóa 3 FCM .3 Minh ho§ tính chßt b£o toàn th˘ t¸ cıa chu©n hoá 3 FCM .4 Phân bË d˙ liªu gËc  thành ph¶n th˘ n´m cıa các ∞c tr˜ng (a) L˜Òc Á màu HSV, (b) l˜Òc Á t¸ t˜Ïng quan màu, (c) mô men màu, (d) k∏t cßu Gabor, (e) mô men Wavelet, (f) GIST .11 So sánh chßt l˜Òng truy vßn. (a) Hiªu n´ng Precision/Recall. (b) Hiªu n´ng Î chính xác.12 Trung bình Î chính xác cıa kˇ thu™t ∑ xußt trên top k k∏t qu£ theo n´m vòng cıa ph£n hÁi liên quan .13 So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTool trên các top k k∏t qu£.14 So sánh trung bình Î chính xác cıa kˇ thu™t ∑ xußt và PowerTool trên top 20 k∏t qu£ theo m˜Ìi vòng cıa ph£n hÁi liên quan .15 Bi∫u Á Precision và Recall cıa kˇ thu™t ∑ xußt và PowerTool .2 Minh ho§ không gian tìm ki∏m EQ .3 MÎt miêu t£ Pareto front .4 Minh ho§ hai m˘c Î sâu là PF 1 và PF 2 cıa không gian EQ .