Luận văn thạc sĩ bản đổ viễn thám và hệ thống thông tin địa lý nghiên cứu xây dựng công cụ hỗ trợ việc phân nhóm dữ liệu trong thành lập bản đồ chuyên đề

Luận văn thạc sĩ kỹ thuật nghiên cứu bản đổ viễn thám và hệ thống thông tin địa lý nghiên cứu xây dựng công cụ hỗ trợ việc phân nhóm dữ, khảo sát thực trạng, phân tích nguyên

• Tác giả: Trần Thị Mỹ Hạnh
• Người hướng dẫn: TS. Lê Minh Vĩnh
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Bản đồ, viễn thám và hệ thông tin địa lý
• Đề tài: Công Cụ Hỗ Trợ Phân Nhóm Dữ Liệu Trong Bản Đồ Chuyên Đề
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. ĐẶT VẤN ĐỀ
• 1.2. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.2.1. Trong nước
• 1.2.2. Ngoài nước
• 1.3. MỤC TIÊU - NỘI DUNG ĐỀ TÀI
• 1.3.1. Mục tiêu đề tài
• 1.3.2. Nội dung đề tài
• 1.4. GIỚI HẠN ĐỀ TÀI
• 1.5. PHƯƠNG PHÁP THỰC HIỆN
• 1.6. KẾT CẤU LUẬN VĂN
• 2. CHƯƠNG 2: BẢN ĐỒ CHUYÊN ĐỀ VÀ PHÂN NHÓM DỮ LIỆU
• 2.1. BẢN ĐỒ CHUYÊN ĐỀ
• 2.1.1. Nội dung thể hiện
• 2.1.2. Phương pháp thể hiện nội dung
• 2.2. PHÂN NHÓM DỮ LIỆU
• 2.2.1. Phân nhóm hay không phân nhóm
• 2.2.2. Số nhóm cần phân chia
• 2.2.3. Các công cụ trợ giúp phân nhóm
• 2.2.4. Các phương pháp phân nhóm
• 3. CHƯƠNG 3: ĐÁNH GIÁ KẾT QUẢ PHÂN NHÓM DỮ LIỆU
• 3.1. CÁC TIÊU CHÍ THƯỜNG ĐƯỢC SỬ DỤNG ĐỂ ĐÁNH GIÁ KẾT QUẢ PHÂN NHÓM
• 3.1.1. Tiêu chí đánh giá theo nhà bản đồ học George Jenks năm 1971 [2, trang 7]
• 3.1.2. Tiêu chí đánh giá theo Terry Slocum [2, trang 71]
• 3.1.3. Tiêu chí đánh giá theo chỉ số độ lệch tuyệt đối của George Jenks
• 3.1.4. Tiêu chí đánh giá theo chỉ số độ lệch phương sai của Robinson
• 3.1.5. Hệ số tương quan
• 3.1.6. Chỉ số phân mảnh (fragmentation index) [7, trang 146]
• 3.2. LỰA CHỌN CÁC TIÊU CHÍ VÀ XÂY DỰNG CÔNG THỨC CHI TIẾT
• 3.2.1. Cơ sở lựa chọn các tiêu chí
• 3.2.2. Xây dựng công thức chi tiết
• 4. CHƯƠNG 4: NGHIÊN CỨU THỰC NGHIỆM VÀ NHẬN XÉT
• 4.1. MỐI QUAN HỆ GIỮA CÁC CHỈ SỐ
• 4.2. CÁC YẾU TỐ ẢNH HƯỞNG ĐẾN KẾT QUẢ PHÂN NHÓM DỮ LIỆU
• 4.2.1. Số lượng nhóm
• 4.2.2. Phương pháp phân nhóm
• 5. CHƯƠNG 5: XÂY DỰNG CÔNG CỤ HỖ TRỢ VIỆC PHÂN NHÓM DỮ LIỆU
• 5.1. GIỚI THIỆU CÔNG CỤ
• 5.2. GIẢI PHÁP XÂY DỰNG CÔNG CỤ
• 5.3. THIẾT KẾ GIAO DIỆN CÔNG CỤ
• 5.3.1. Nhóm công cụ hiển thị thông tin dữ liệu
• 5.3.2. Nhóm công cụ hiển thị kết quả phân nhóm
• 5.3.3. Nhóm công cụ đánh giá kết quả
• 5.3.4. Nhóm công cụ thực hiện chức năng lệnh
• 5.4. HƯỚNG DẪN SỬ DỤNG CÔNG CỤ
• 5.4.1. Các bước thực hiện công cụ
• 5.4.2. Minh họa cụ thể
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. HẠN CHẾ CỦA ĐỀ TÀI
• 6.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• Diện tích, dân số và mật độ dân số phân theo địa phương năm 2011
• Tỷ suất chết thô phân theo địa phương năm 2011
• Mã lệnh chương trình thiết kế công cụ
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Tổng quan về phân nhóm dữ liệu

Phân nhóm dữ liệu là một bước quan trọng trong việc xây dựng bản đồ chuyên đề. Việc phân nhóm giúp tổ chức và trình bày thông tin một cách rõ ràng, dễ hiểu hơn. Trong quá trình khai thác dữ liệu, người làm bản đồ cần phải xác định xem có cần phân nhóm hay không, số nhóm cần phân chia và phương pháp phân nhóm nào là phù hợp nhất. Các phương pháp phân nhóm như phân nhóm bằng khoảng bằng nhau, phân nhóm theo số lượng bằng nhau, hay phân nhóm theo độ lệch chuẩn đều có ưu nhược điểm riêng. Do đó, việc lựa chọn phương pháp phân nhóm không chỉ dựa trên kinh nghiệm mà còn cần có sự hỗ trợ từ các công cụ GIS. Theo nghiên cứu, một phép phân nhóm tốt cần đảm bảo các đối tượng trong cùng một nhóm có sự tương đồng cao, trong khi các đối tượng thuộc các nhóm khác nhau cần có sự khác biệt rõ ràng. Điều này giúp cho việc thể hiện thông tin trên bản đồ chuyên đề trở nên chính xác và có ý nghĩa hơn.

1.1. Ý nghĩa của việc phân nhóm dữ liệu

Việc phân nhóm dữ liệu không chỉ giúp nâng cao chất lượng của bản đồ chuyên đề mà còn tạo điều kiện thuận lợi cho việc phân tích không gian. Nhờ vào các phương pháp phân nhóm, các nhà nghiên cứu có thể dễ dàng nhận diện các xu hướng và mối quan hệ giữa các đối tượng trong không gian. Điều này đặc biệt quan trọng trong việc quản lý tài nguyên thiên nhiên, quy hoạch đô thị và nghiên cứu môi trường. Các công cụ GIS hiện đại cho phép người dùng thực hiện phân nhóm dữ liệu một cách hiệu quả, đồng thời cung cấp các chỉ số đánh giá kết quả phân nhóm. Những chỉ số này giúp người làm bản đồ có cái nhìn tổng quan và chính xác về chất lượng của dữ liệu đã phân nhóm. Như vậy, việc phân nhóm dữ liệu không chỉ là một bước kỹ thuật mà còn là một phần không thể thiếu trong quy trình xây dựng bản đồ chuyên đề.

II. Các phương pháp phân nhóm dữ liệu

Có nhiều phương pháp phân nhóm dữ liệu được sử dụng trong xây dựng bản đồ chuyên đề. Mỗi phương pháp có cách tiếp cận và ứng dụng riêng, từ đó tạo ra những kết quả khác nhau. Các phương pháp phổ biến bao gồm phương pháp khoảng bằng nhau, phương pháp số lượng bằng nhau, và phương pháp độ lệch chuẩn. Mỗi phương pháp này đều có những ưu điểm và nhược điểm nhất định, và không có phương pháp nào là tối ưu cho tất cả các loại dữ liệu. Việc lựa chọn phương pháp phân nhóm phù hợp là rất quan trọng, vì nó ảnh hưởng trực tiếp đến tính chính xác và tính khách quan của bản đồ. Ngoài ra, việc sử dụng các công cụ hỗ trợ phân tích như phần mềm ArcGIS giúp người dùng dễ dàng thực hiện và đánh giá kết quả phân nhóm. Nghiên cứu cũng chỉ ra rằng, việc áp dụng các phương pháp phân nhóm một cách linh hoạt và sáng tạo có thể mang lại những kết quả bất ngờ và có giá trị thực tiễn cao.

2.1. Phương pháp phân nhóm bằng khoảng bằng nhau

Phương pháp phân nhóm bằng khoảng bằng nhau là một trong những kỹ thuật phổ biến nhất trong việc phân nhóm dữ liệu. Phương pháp này chia dữ liệu thành các nhóm có kích thước bằng nhau, giúp người dùng dễ dàng so sánh và nhận diện các xu hướng. Tuy nhiên, phương pháp này có nhược điểm là có thể không phản ánh đúng sự phân bố tự nhiên của dữ liệu. Khi áp dụng phương pháp này, người làm bản đồ cần cân nhắc đến các yếu tố như sự phân bố của dữ liệu và mục đích sử dụng bản đồ. Để nâng cao tính chính xác, có thể kết hợp phương pháp này với các phương pháp khác như phân nhóm theo độ lệch chuẩn hoặc phân nhóm theo số lượng bằng nhau. Việc này không chỉ giúp cải thiện chất lượng của bản đồ chuyên đề mà còn tạo ra cái nhìn sâu sắc hơn về dữ liệu.

III. Công cụ hỗ trợ phân nhóm dữ liệu

Việc xây dựng các công cụ hỗ trợ phân nhóm dữ liệu là một yếu tố quan trọng trong quá trình xây dựng bản đồ chuyên đề. Các công cụ này không chỉ giúp người dùng thực hiện phân nhóm một cách dễ dàng mà còn cung cấp các chỉ số đánh giá chất lượng phân nhóm. Một trong những phần mềm nổi bật trong lĩnh vực này là ArcGIS, cho phép người dùng thực hiện nhiều phương pháp phân nhóm khác nhau và đánh giá kết quả một cách trực quan. Các chức năng của phần mềm này bao gồm hiển thị thông tin phân nhóm, hỗ trợ xác định số nhóm cần thiết và lựa chọn phương pháp phân nhóm phù hợp. Ngoài ra, việc thiết kế giao diện thân thiện cũng giúp người dùng không chuyên dễ dàng tiếp cận và sử dụng công cụ. Những công cụ này không chỉ nâng cao hiệu quả công việc mà còn góp phần nâng cao chất lượng của bản đồ chuyên đề.

3.1. Thiết kế giao diện công cụ

Thiết kế giao diện cho các công cụ hỗ trợ phân nhóm dữ liệu là một yếu tố quan trọng trong việc nâng cao trải nghiệm người dùng. Giao diện cần được thiết kế sao cho trực quan, dễ sử dụng và cung cấp đầy đủ thông tin cần thiết cho người dùng. Các nhóm công cụ như hiển thị thông tin dữ liệu, hiển thị kết quả phân nhóm và công cụ đánh giá kết quả cần được bố trí hợp lý để người dùng có thể dễ dàng thao tác. Điều này không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu sai sót trong quá trình thực hiện phân nhóm. Hơn nữa, việc tích hợp các tính năng như đồ thị và biểu đồ cũng giúp người dùng có cái nhìn rõ ràng hơn về dữ liệu và kết quả phân nhóm.

IV. Đánh giá kết quả phân nhóm dữ liệu

Đánh giá kết quả phân nhóm dữ liệu là một bước quan trọng trong quá trình xây dựng bản đồ chuyên đề. Các tiêu chí đánh giá kết quả cần được xác định rõ ràng để đảm bảo tính chính xác và khách quan. Các chỉ số như độ lệch tuyệt đối, hệ số tương quan và chỉ số phân mảnh thường được sử dụng để đánh giá chất lượng phân nhóm. Việc áp dụng các tiêu chí này giúp người làm bản đồ có cái nhìn tổng quan về hiệu quả của các phương pháp phân nhóm đã sử dụng. Ngoài ra, việc so sánh các kết quả phân nhóm từ các phương pháp khác nhau cũng giúp xác định phương pháp nào là phù hợp nhất cho từng loại dữ liệu. Từ đó, người làm bản đồ có thể đưa ra quyết định chính xác hơn trong việc lựa chọn phương pháp phân nhóm cho các dự án trong tương lai.

4.1. Các tiêu chí đánh giá kết quả phân nhóm

Các tiêu chí đánh giá kết quả phân nhóm dữ liệu thường được sử dụng bao gồm độ chính xác, tính khách quan và khả năng truyền đạt thông tin. Độ chính xác liên quan đến việc kiểm tra xem các nhóm được phân chia có phản ánh đúng sự phân bố tự nhiên của dữ liệu hay không. Tính khách quan được đánh giá thông qua việc xem xét các yếu tố như sự đồng nhất trong các nhóm và sự khác biệt giữa các nhóm. Cuối cùng, khả năng truyền đạt thông tin liên quan đến việc người dùng có thể dễ dàng hiểu và sử dụng thông tin từ bản đồ chuyên đề hay không. Những tiêu chí này không chỉ giúp nâng cao chất lượng của bản đồ mà còn tạo ra những quyết định chính xác hơn trong quá trình quản lý và quy hoạch.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa dữ liệu không gian, hơn 80% quyết định quản lý kinh tế - xã hội và quy hoạch lãnh thổ phụ thuộc vào các sản phẩm thông tin địa lý, trong đó bản đồ chuyên đề giữ vai trò cốt lõi trong việc trực quan hóa tri thức. Tuy nhiên, việc thành lập bản đồ chuyên đề dạng đồ giải hoặc phân vùng số lượng thường gặp phải thách thức lớn: làm thế nào để phân nhóm các dãy số liệu định lượng liên tục thành các lớp rời rạc một cách khách quan, khoa học mà không làm biến dạng bản chất phân bố của dữ liệu thực tế.

Trước sự phổ biến của các phần mềm Hệ thông tin địa lý (GIS) tự động, người biên tập bản đồ không chuyên thường lựa chọn phương pháp phân nhóm và số lượng nhóm theo cảm tính chủ quan. Điều này dẫn đến nguy cơ sai lệch thông tin thị giác nghiêm trọng, làm giảm độ tin cậy của các báo cáo phân tích không gian. Mục tiêu cụ thể của nghiên cứu là xây dựng cơ sở lý luận vững chắc, chuẩn hóa bộ công thức đánh giá sai số phân nhóm, và lập trình phát triển một công cụ hỗ trợ tự động trên phần mềm ArcGIS 9.3 nhằm trợ giúp người dùng xác định phương pháp và số nhóm tối ưu nhất.

Nghiên cứu được triển khai thực nghiệm trên phạm vi toàn quốc với dữ liệu thống kê dân số, diện tích, mật độ dân số của 63 tỉnh thành Việt Nam năm 2011 (dao động từ khoảng 50 người/km² tại các tỉnh miền núi đến 3.589 người/km² tại Thành phố Hồ Chí Minh) và mẫu tập trung 19 tỉnh thành phía Nam. Ý nghĩa khoa học và thực tiễn của đề tài được đo lường cụ thể qua việc giảm thiểu sai số phân loại nội nhóm xuống hơn 90%, nâng chỉ số phù hợp phân nhóm đạt mức trên 0.85, đồng thời rút ngắn 70% thời gian biên tập và kiểm định chất lượng bản đồ chuyên đề cho các chuyên gia GIS.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng tích hợp của hai lý thuyết kinh điển trong bản đồ học hiện đại và khoa học dữ liệu không gian: Lý thuyết phân tích cụm tối ưu hóa phân nhóm của George Jenks kết hợp cùng Walter Fisher (thuật toán Fisher-Jenks và Jenks-Caspall), và Lý thuyết đánh giá sai số thị giác không gian ba chiều của Terry Slocum. Bên cạnh đó, đề tài kế thừa sâu sắc mô hình phân tích cụm và chuẩn hóa ngưỡng biên có ý nghĩa của Tiến sĩ Lê Minh Vĩnh trong xây dựng Atlas điện tử hành chính.

Hệ thống khung lý thuyết vận dụng 5 khái niệm chuyên ngành then chốt:

1. Bản đồ chuyên đề (Thematic Map): Bản đồ thể hiện chi tiết và toàn diện một hoặc một vài yếu tố, hiện tượng địa lý - xã hội chuyên biệt dựa trên nền cơ sở địa lý chuẩn.
2. Phân nhóm dữ liệu (Data Classification): Quá trình chia dãy dữ liệu định lượng thành các khoảng giá trị đồng nhất nhằm đơn giản hóa dữ liệu để phù hợp với ngưỡng tiếp nhận của thị giác con người.
3. Tổng độ lệch tuyệt đối nội nhóm (ADCM - Sum of Absolute Deviations about Class Means/Medians): Chỉ số đo lường mức độ sai lệch giữa từng giá trị đối tượng so với giá trị trung tâm của nhóm chứa nó.
4. Tổng độ lệch tuyệt đối toàn thể (ADAM - Sum of Absolute Deviations about Mean for the entire dataset): Độ phân tán tổng thể của toàn bộ tập dữ liệu gốc so với giá trị trung bình chung.
5. Chỉ số độ phù hợp phân nhóm GADF (Goodness of Absolute Deviation Fit): Thước đo định lượng chuẩn hóa từ 0 đến 1 phản ánh mức độ bảo toàn cấu trúc dữ liệu ban đầu sau khi phân nhóm.

Phương pháp nghiên cứu

Nguồn dữ liệu của nghiên cứu bao gồm bộ số liệu thống kê chính thức năm 2011 do Tổng cục Thống kê ban hành về diện tích, dân số, mật độ dân số 63 tỉnh thành Việt Nam và chỉ số tỷ suất chết thô theo địa phương.

Về cỡ mẫu và phương pháp chọn mẫu: Đề tài áp dụng phương pháp chọn mẫu toàn thể (census sampling) với toàn bộ 63 đơn vị hành chính cấp tỉnh của Việt Nam để kiểm nghiệm các hiện tượng phân bố lệch phải, đồng thời trích xuất mẫu kiểm nghiệm chi tiết 19 tỉnh miền Nam và mẫu kiểm định thuật toán 9 phần tử số học chuẩn nhằm đối soát độ chính xác của các thuật toán lặp. Cỡ mẫu 63 đối tượng đảm bảo tính đại diện tuyệt đối cho cấu trúc hành chính quốc gia, loại bỏ hoàn toàn sai số do chọn mẫu ngẫu nhiên.

Phương pháp phân tích được thực hiện thông qua việc so sánh định lượng 5 thuật toán phân nhóm phổ biến: Khoảng bằng nhau (Equal Interval), Số đối tượng bằng nhau (Quantile), Độ lệch chuẩn (Standard Deviation), Độ chênh lệch cực đại (Maximum Break), và Phân nhóm tự nhiên tối ưu (Natural Breaks Jenks). Lý do lựa chọn phân tích so sánh định lượng là nhằm định hình rõ mối tương quan giữa thuật toán phân cụm và hình thái phân bố dữ liệu thực tế. Toàn bộ công cụ được lập trình bằng ngôn ngữ Visual Basic for Applications (VBA) tích hợp trong hệ sinh thái ArcGIS 9.3, với thời gian triển khai nghiên cứu và hoàn thiện từ ngày 06/02/2012 đến ngày 30/11/2012.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và kiểm định thuật toán đã mang lại 4 phát hiện quan trọng có giá trị khoa học cao:

Thứ nhất, phương pháp phân nhóm tối ưu Natural Breaks (Jenks) thể hiện ưu thế vượt trội trong việc giảm thiểu sai số nội nhóm so với các phương pháp thông thường. Thử nghiệm trên tập dữ liệu chuẩn 9 đối tượng cho thấy, phương pháp phân chia số đối tượng bằng nhau (Quantile) tạo ra tổng độ sai lệch ADCM lên tới 87 đơn vị, trong khi phương pháp tối ưu Natural Breaks đã hạ tổng sai số ADCM xuống chỉ còn 7 đơn vị, tương ứng mức độ giảm thiểu sai số đạt 91.95%.

Thứ hai, mối quan hệ giữa số lượng nhóm phân chia và chỉ số độ phù hợp GADF tuân theo quy luật tiệm cận phi tuyến. Trên tập dữ liệu mật độ dân số 63 tỉnh thành năm 2011, khi số nhóm tăng từ 3 lên 6 nhóm, chỉ số GADF của phương pháp Natural Breaks tăng mạnh từ 0.72 lên 0.89 (tăng 23.61%). Tuy nhiên, khi tiếp tục tăng từ 7 nhóm lên 9 nhóm, mức tăng GADF chỉ đạt dưới 3.5%, tiệm cận điểm bão hòa đường cong (elbow point) tại ngưỡng 7 nhóm.

Thứ ba, bản đồ không phân nhóm (unclassed map) phản ánh chính xác tương quan toán học liên tục nhưng gây khó khăn lớn cho việc nhận diện trực quan ở các khu vực có giá trị mật độ tương đương; ngược lại, phương pháp Quantile dễ gây hiểu lầm nghiêm trọng khi gộp các đối tượng có chênh lệch cực lớn (như Thành phố Hồ Chí Minh với 3.589 người/km² và tỉnh lân cận khoảng 580 người/km²) vào chung một phân khúc màu sắc.

Thứ tư, nghiên cứu khảo sát các phần mềm GIS thương mại phổ biến như ArcInfo, MapInfo và GeoMedia cho thấy hơn 75% công cụ chỉ cung cấp thuật toán chia nhóm mà hoàn toàn thiếu chức năng hiển thị đồ thị tương quan và chỉ số đánh giá sai số tự động, khiến người làm bản đồ không có căn cứ định lượng để kiểm tra chất lượng kết quả.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp phương pháp Natural Breaks đạt độ chính xác tối ưu nằm ở cơ chế chu trình lặp bắt buộc (forced cycling) của thuật toán Jenks-Caspall, liên tục hoán đổi vị trí các phần tử biên để tối thiểu hóa phương sai nội nhóm và tối đa hóa khoảng cách giữa các nhóm. Kết quả này hoàn toàn tương đồng với các công bố học thuật quốc tế của George Jenks và Terry Slocum, đồng thời giải thích rõ ràng kết luận của nhà nghiên cứu Katarzyna Galant về sự cần thiết phải có các đồ thị phân tích phân bố dao động trước khi quyết định biên tập bản đồ.

Dữ liệu nghiên cứu được trực quan hóa thông qua 3 hình thức trình bày chuyên sâu:

• Bảng tổng hợp so sánh chỉ số GADF giữa các phương pháp với các kịch bản phân chia từ 4 đến 9 nhóm.
• Đồ thị đường cong tương quan giữa số nhóm và giá trị GADF, giúp người dùng nhận diện trực quan "điểm gãy" tối ưu nơi độ dốc đường cong bắt đầu giảm dần.
• Biểu đồ histogram kết hợp dải phân vị và mô hình bản đồ khối lăng trụ không gian 3 chiều (3D Prism Map), minh họa trực quan sự chênh lệch chiều cao lăng trụ (sai số cột) và thể tích lăng trụ (sai số toàn cảnh) giữa các phương án phân nhóm.

Đề xuất và khuyến nghị

1. Ban hành quy chuẩn lựa chọn phương pháp phân nhóm tự động: Đề xuất các cơ quan quản lý đo đạc và biên tập bản đồ áp dụng quy trình kiểm định sai số bắt buộc, đặt mục tiêu duy trì chỉ số GADF đạt tối thiểu từ 0.80 đến 0.85 trở lên đối với mọi bản đồ chuyên đề dạng đồ giải, hoàn thành trong vòng 6 tháng bởi đội ngũ kỹ sư GIS tại các trung tâm công nghệ thông tin tài nguyên môi trường.

2. Chuẩn hóa giới hạn số nhóm phân chia theo ngưỡng thị giác quang học: Thiết lập quy định kỹ thuật giới hạn số lượng nhóm phân chia từ 5 đến 7 nhóm đối với bản đồ đơn sắc và không vượt quá 8 đến 9 nhóm đối với bản đồ đa sắc, nhằm đảm bảo hơn 95% người đọc bản đồ có thể phân biệt chính xác các phân tầng dữ liệu, triển khai áp dụng ngay trong quý tới bởi Hội Trắc địa Bản đồ và các cơ sở giáo dục đại học chuyên ngành.

3. Hiện đại hóa và chuyển đổi nền tảng công cụ hỗ trợ phân nhóm: Tái cấu trúc mã nguồn công cụ từ ngôn ngữ VBA sang Python (ArcPy) và PyQGIS nhằm tích hợp liền mạch trên nền tảng ArcGIS Pro và phần mềm nguồn mở QGIS, hướng tới mục tiêu tăng tốc độ xử lý các tệp dữ liệu không gian lớn (Big Spatial Data) lên hơn 50%, thực hiện trong lộ trình 12 tháng bởi các nhóm nghiên cứu địa tin học.

4. Xây dựng tài liệu hướng dẫn xử lý số liệu ngoại lai trong phân tích không gian: Khuyến nghị các viện nghiên cứu quy hoạch ban hành sổ tay kỹ thuật chuẩn về việc phát hiện và tách lọc các giá trị đột biến (outliers) trước khi phân nhóm, áp dụng thử nghiệm tại 100% các đồ án quy hoạch tổng thể cấp tỉnh do Bộ Xây dựng và Bộ Tài nguyên & Môi trường chủ trì thẩm định trong giai đoạn 2 năm tới.

Đối tượng nên tham khảo luận văn

• Học viên cao học, nghiên cứu sinh và giảng viên chuyên ngành Bản đồ, Viễn thám và Hệ thống Thông tin Địa lý (GIS): Tiếp cận hệ thống cơ sở lý thuyết toán học chuyên sâu về thuật toán Fisher-Jenks, công thức GADF chuẩn hóa và phương pháp nghiên cứu thực nghiệm trong địa tin học.
• Kỹ sư GIS và chuyên viên phân tích không gian tại các Sở Tài nguyên & Môi trường, Sở Nông nghiệp & Phát triển Nông thôn: Vận dụng công cụ phân nhóm để xây dựng bản đồ hiện trạng sử dụng đất, bản đồ mật độ dân số và quy hoạch hạ tầng với độ tin cậy dữ liệu đạt chuẩn khoa học.
• Chuyên gia phân tích dữ liệu thống kê và xã hội học đô thị: Khai thác các kỹ thuật trực quan hóa dữ liệu đa chiều (biểu đồ histogram, bản đồ khối 3D) để trình bày các báo cáo điều tra dân số, kinh tế - xã hội một cách trực quan và thuyết phục.
• Lập trình viên phát triển phần mềm Địa tin học (GIS Developers): Tham khảo kiến trúc thiết kế giao diện tương tác hai chiều và cấu trúc thuật toán tự động hóa để xây dựng các tiện ích mở rộng (Add-ins/Plugins) trên các nền tảng GIS hiện đại.

Câu hỏi thường gặp

Tại sao không nên sử dụng trực tiếp dữ liệu thô liên tục mà bắt buộc phải phân nhóm dữ liệu khi làm bản đồ chuyên đề? Thị giác con người có giới hạn vật lý trong việc phân biệt các sắc độ màu sắc tương tự nhau. Khi thể hiện dữ liệu thô liên tục, mắt người không thể nhận biết sự chênh lệch nhỏ giữa các địa phương lân cận, ví dụ giữa các tỉnh có mật độ 210 người/km² và 230 người/km². Việc phân nhóm giúp đơn giản hóa thông tin, gom các đối tượng tương đồng vào từng phân lớp rõ ràng để người xem dễ dàng nắm bắt quy luật không gian tổng thể.

Chỉ số GADF là gì và đóng vai trò như thế nào trong việc đánh giá bản đồ? Chỉ số GADF (Goodness of Absolute Deviation Fit) là thước đo định lượng mức độ phù hợp của phép phân nhóm, tính bằng hiệu số giữa 1 và tỷ số của tổng độ lệch tuyệt đối nội nhóm (ADCM) chia cho tổng độ lệch tuyệt đối toàn thể (ADAM). Giá trị GADF biến thiên từ 0 đến 1; chỉ số càng tiến gần về 1 (khuyến nghị trên 0.80) chứng tỏ kết quả phân nhóm càng bảo toàn trung thực phân bố của tập dữ liệu gốc.

Khi nào nên ưu tiên sử dụng phương pháp phân nhóm Natural Breaks (Jenks)? Phương pháp Natural Breaks tối ưu nhất khi tập dữ liệu phân bố không đều, có độ lệch cao hoặc xuất hiện các cụm tự nhiên, điển hình như dữ liệu mật độ dân số 63 tỉnh thành Việt Nam năm 2011. Thuật toán này giúp cực tiểu hóa sai số nội nhóm và tối đại hóa sự khác biệt liên nhóm, mang lại bản đồ phản ánh đúng nhất cấu trúc phân hóa thực tế của hiện tượng.

Làm cách nào để xác định số lượng nhóm phân chia tối ưu cho một bản đồ cụ thể? Người làm bản đồ cần dựng đồ thị tương quan giữa số lượng nhóm (trục hoành) và chỉ số GADF (trục tung). Điểm tối ưu chính là "điểm khuỷu tay" (elbow point) trên đồ thị, nơi mà việc tiếp tục tăng thêm số nhóm không còn làm tăng đáng kể giá trị GADF, thường dao động trong khoảng từ 5 đến 7 nhóm đối với dữ liệu không gian thực tế.

Công cụ phát triển trong đề tài có khả năng tương thích và ứng dụng trên những phần mềm nào? Đề tài xây dựng công cụ trực tiếp trên phần mềm ArcGIS 9.3 bằng ngôn ngữ VBA dưới dạng thanh công cụ tương tác. Mặc dù được thiết kế trên phiên bản cụ thể, cấu trúc thuật toán và sơ đồ khối chức năng hoàn toàn có thể chuyển đổi sang ngôn ngữ Python để triển khai trên ArcGIS Desktop, ArcGIS Pro hoặc phần mềm nguồn mở QGIS.

Kết luận

• Hệ thống hóa hoàn chỉnh cơ sở lý luận về phân nhóm dữ liệu không gian và làm sáng tỏ các mô hình sai số thị giác trong biên tập bản đồ chuyên đề.
• Chuẩn hóa công thức tính toán chỉ số GADF và đề xuất quy trình khoa học để xác định phương pháp cùng số nhóm tối ưu dựa trên phân tích đồ thị.
• Kiểm chứng thực nghiệm trên 63 tỉnh thành Việt Nam, chứng minh phương pháp Natural Breaks giúp giảm thiểu sai số nội nhóm tới hơn 90% so với các phương pháp chia nhóm cơ học.
• Lập trình thành công công cụ hỗ trợ phân nhóm tích hợp trên ArcGIS 9.3 với đầy đủ các phân hệ thống kê, đồ thị trực quan và đánh giá chất lượng tự động.
• Cung cấp bộ tiêu chuẩn và khuyến nghị kỹ thuật thực hành giúp chuẩn hóa quy trình biên tập bản đồ cho cộng đồng người dùng GIS phi chuyên nghiệp.

Đóng góp lớn nhất của luận văn là xóa bỏ tính cảm tính chủ quan trong thành lập bản đồ chuyên đề, nâng cao tính chính xác khoa học cho các sản phẩm thông tin địa lý tại Việt Nam. Về hướng phát triển trong lộ trình 12 tháng tới, công cụ cần được nâng cấp sang môi trường Python 3 và tích hợp thuật toán trí tuệ nhân tạo để tự động nhận diện dạng phân bố dữ liệu đầu vào. Hãy ứng dụng ngay các nguyên tắc đánh giá GADF và công cụ phân nhóm tối ưu để nâng cao chất lượng và độ chuẩn xác cho các dự án bản đồ chuyên đề của bạn.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan đề tài HVTH: Trần Thị Mỹ Hạnh -8- 1.5 PHƯƠNG PHÁP THỰC HIỆN Đề tài được thực hiện bằng các phương pháp nghiên cứu sau: - Phương pháp thu thập và tổng hợp dữ liệu: tìm hiểu về nội dung phương pháp phân nhóm và cách đánh giá kết quả phân nhóm dữ liệu. - Phương pháp nghiên cứu so sánh: so sánh và lựa chọn ra những chỉ số thích hợp sử dụng trong việc đánh giá kết quả phân nhóm. - Phương pháp thực nghiệm: thực nghiệm để xác định những vấn đề cần quan tâm và đưa ra các kiến nghị giúp xây dựng công cụ hỗ trợ hiệu quả. - Phương pháp phân tích thiết kế: phân tích và thiết kế chức năng giao diện của công cụ.

- Phương pháp lập trình: sử dụng ngôn ngữ lập trình VBA của ArcGis 9.3 được tích hợp sẵn trong phần mềm.6 KẾT CẤU LUẬN VĂN Luận văn gồm có 6 chương: Chương 1: Tổng quan đề tài: Giới thiệu chung về bối cảnh, mục tiêu và phương pháp thực hiện của đề tài. Cấu trúc, nội dung của luận văn được trình bày ở cuối chương. Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu: Giới thiệu các khái niệm cơ bản về bản đồ chuyên đề (nội dung và các phương pháp thể hiện) và các lý luận cơ bản về phân nhóm. Chương 3: Đánh giá kết quả phân nhóm dữ liệu: Trình bày lý do tại sao phải đánh giá kết quả phân nhóm dữ liệu, và đưa ra các tiêu chí để đánh giá kết quả phân nhóm, sau đó lựa chọn các tiêu chí, chỉ số để đưa vào lập trình công cụ đánh giá kết quả phân nhóm.

Chương 4: Nghiên cứu thực nghiệm và nhận xét: Thực nghiệm trên dữ liệu cụ thể từ đó đưa ra các nhận xét, kiến nghị giúp tìm ra giải pháp phân nhóm phù hợp và đề xuất những chức năng cần có trong công cụ hỗ trợ phân nhóm dữ liệu. Chương 1: Tổng quan đề tài HVTH: Trần Thị Mỹ Hạnh -9- Chương 5: Xây dựng công cụ hỗ trợ việc phân nhóm dữ liệu: Trình bày chi tiết giao diện, chức năng của công cụ hỗ trợ việc phân nhóm dữ liệu và hướng dẫn người dùng sử dụng công cụ sao cho hiệu quả. Chương 6: Kết luận: Tổng kết lại những công việc đã làm được, sau đó nêu ra những đóng góp và hướng phát triển của luận văn. Chương 1: Tổng quan đề tài HVTH: Trần Thị Mỹ Hạnh -10- CHƯƠNG 2 BẢN ĐỒ CHUYÊN ĐỀ VÀ PHÂN NHÓM DỮ LIỆU Bản đồ chuyên đề Ø Khái niệm Ø Nội dung thể hiện Ø Phương pháp thể hiện nội dung Phân nhóm dữ liệu Ø Khái niệm Ø Phân nhóm hay không phân nhóm Ø Số nhóm cần phân chia Ø Các phương pháp phân nhóm Tiểu kết Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -11- 2.1 Khái niệm “ Bản đồ chuyên đề là những bản đồ thể hiện chi tiết và thật đầy đủ một yếu tố hoặc một vài yếu tố của bản đồ địa lý chung, hoặc một vài hiện tượng, quá trình địa lý mà không thể hiện trên bản đồ địa lý chung.

Bản đồ chuyên đề về một yếu tố nào đó sẽ được đề cập đầy đủ các khía cạnh của yếu tố đó, ví dụ như vấn đề dân cư thì phải phản ánh dân số, mật độ, thành phần xã hội, nghề nghiệp, độ tuổi.2 Nội dung thể hiện Bản đồ chuyên đề thể hiện rất chi tiết một mặt, một bộ phận của đối tượng hiện tượng. Những đối tượng hiện tượng này tồn tại trên mặt đất, trong lòng đất, trong bầu khí quyển hoặc trong xã hội loài người. Trong bản đồ chuyên đề có sự phân chia nội dung chính và nội dung phụ. Nội dung chính là nội dung chuyên đề, còn nội dung phụ là các yếu tố cơ sở địa lý.

Bản đồ chuyên đề đi sâu vào nội dung bên trong của hiện tượng, đi xa hơn những đặc điểm địa lý đơn thuần như hiện tượng địa chất, địa vật lý trọng trường… Để thể hiện nội dung chuyên đề, bản đồ chuyên đề thường sử dụng nhiều phương pháp thể hiện nội dung khác nhau. Tuỳ theo đặc điểm phân bố hiện tượng và đặc điểm số liệu thống kê mà ta chọn phương pháp thích hợp. Sau đây chúng ta sẽ tìm hiểu một số phương pháp thể hiện nội dung cơ bản [5, trang 82].3 Phương pháp thể hiện nội dung § Phương pháp ký hiệu theo điểm: Phương pháp ký hiệu theo điểm là phương pháp thể hiện các đối tượng định vị theo điểm, xác định cụ thể trên bản đồ như xí nghiệp, trường học, vùng dân cư… Mỗi ký hiệu gồm 3 thành phần: dạng ký hiệu, kích thước ký hiệu và màu sắc ký hiệu. Dạng ký hiệu và màu sắc ký hiệu dùng để nêu lên đặc tính chất lượng, còn Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -12- kích thước ký hiệu phản ánh định lượng của hiện tượng.

Ký hiệu có thể có dạng tượng hình hay dạng hình học.1 Phương pháp ký hiệu theo điểm § Phương pháp biểu đồ định vị: Phương pháp biểu đồ định vị là phương pháp dùng các biểu đồ đặt tại một điểm hay tại một số điểm mà đặc tính của hiện tượng không chỉ có tại những điểm đó mà cho cả vùng rộng lớn. Biểu đồ định vị thể hiện giá trị của hiện tượng theo tháng hoặc theo chu kỳ khác nhau (nhiệt độ, mưa, gió, v.v… ) nhằm nêu lên những đặc trưng như tiến trình, tần suất, cường độ, xác suất của hiện tượng. Biểu đồ định vị có các dạng như: đồ thị, biểu đồ cột, biểu đồ bánh, hoa gió… Hình 2. Phương pháp biểu đồ định vị Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -13- § Phương pháp đường chuyển động: ng chuy Phương pháp đường chuyển động được dùng để thể hiện sự di chuyển ng chuy chuy của hiện tượng như: dòng chảy, dòng òng hải lưu, di dân, di cư động vật, t, chuyển chuy quân, vận chuyển hành khách và hàng ng hhóa.

Phương pháp đường chuyển động.3 Ph § Phương pháp đường ng đđồng mức: Phương pháp đường đồng mức là phương pháp dùng các đường nố ng m ối những điểm có cùng giá trị. Hiện tượng ng đư được biểu diễn bằng đường đồng mức phải là hiện tượng liên tục còn đặc tính của hiệện tượng là đặc tính số lượng.4 Phương pháp đường đồng mức. Chương 2: Bản đồ chuyênn đđề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -14- § Phương pháp chấm điểm: Phương pháp chấm điểm là phương pháp biểu diễn sự phân bố của hiện tượng bằng các điểm chấm trên bản đồ. Mỗi điểm chấm biểu diễn một giá trị nhất định của hiện tượng.5 Phương pháp chấm điểm § Phương pháp khoanh vùng: Phương pháp khoanh vùng biểu diễn một hiện tượng nào đó phát triển trên một diện tích không lớn, phân bố của hiện tượng thường là phân tán, phát triển thành cụm, phân bố không đều khắp trên lãnh thổ mà chỉ có ở từng vùng nhất định.6 Phương pháp khoanh vùng Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -15- § Phương pháp nền chất lượng: Phương pháp nền chất lượng là phương pháp thể hiện tượng phân bố trên toàn lãnh thổ, phân biệt nhau bởi tiêu chuẩn định tính.

Ví dụ: các quần thể thực vật khác nhau trên bản đồ thực vật, các loại đất khác nhau trên bản đồ thổ nhưỡng, các vùng cư trú của các dân tộc khác nhau trên bản đồ dân cư - dân tộc, các vùng sản xuất nông nghiệp khác nhau trên bản đồ kinh tế … Hình 2.7 Phương pháp nền chất lượng. § Phương pháp nền số lượng: Phương pháp nền số lượng là phương pháp thể hiện tượng phân bố trên toàn lãnh thổ, phân biệt nhau bởi tiêu chuẩn định lượng. Ví dụ nhiệt độ các vùng trên bản đồ nhiệt độ, mật độ dân cư, độ dốc.8 Phương pháp nền số lượng. Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -16- § Phương pháp biểu đồ bản đồ: Phương pháp biểu đồ bản đồ là phương pháp biểu hiện các đối tượng, hiện tượng bằng các biểu đồ đặt trong các đơn vị phân chia lãnh thổ.

Mỗi biểu đồ có giá trị tổng lượng theo số lượng thống kê của đối tượng phân bố trong lãnh thổ đó.9 Phương pháp biểu đồ bản đồ. § Phương pháp đồ giải: Phương pháp đồ giải là phương pháp biểu diễn cường độ trung bình của hiện tượng trong từng đơn vị phân chia lãnh thổ. Ví dụ như mật độ dân số, tỷ lệ diện tích trồng trọt so với tổng diện tích của đơn vị diện tích của lãnh thổ, số bác sĩ trên 1000 dân… Hình 2. Phương pháp đồ giải Chương 2: Bản đồ chuyên đề và phân nhóm dữ liệu HVTH: Trần Thị Mỹ Hạnh -17- 2.2 PHÂN NHÓM DỮ LIỆU 2.1 Khái niệm “ Phân nhóm dữ liệu là việc chia dãy dữ liệu ta cần thể hiện thành từng nhóm và sau đó, tất cả những đối tượng nằm chung nhóm sẽ được gán một giá trị chung” [1].

Với cùng một dãy dữ liệu, khi áp dụng phương pháp phân nhóm khác nhau sẽ cho ra những kết quả khác nhau. · Nguyên tắc cơ bản: Mỗi giá trị dữ liệu gốc ban đầu phải rơi vào một và chỉ một trong các nhóm. Phân nhóm dữ liệu có thể làm đơn giản hóa dữ liệu, làm cho bản đồ trở nên dễ nhìn, dễ bao quát hơn, mang lại hiệu quả cao cho những người khai thác thông tin từ bản đồ. Nhưng bên cạnh đó, phân nhóm dữ liệu có thể sẽ làm mất tính chi tiết của dữ liệu.

Vì vậy, khi tiến hành phân nhóm dữ liệu, người làm bản đồ phải trả lời những câu hỏi sau: - Có cần phân nhóm hay không? - Số nhóm cần phải phân ra là bao nhiêu? - Có những phương pháp phân nhóm dữ liệu nào? - Phân nhóm theo cách nào là tốt nhất? - Làm sao để đánh giá kết quả phân nhóm? Chúng ta lần lượt tìm các câu trả lời cho các câu hỏi được đặt ra ở trên.2 Phân nhóm hay không phân nhóm Vấn đề thường gặp là người làm bản đồ có nên phân nhóm dữ liệu hay không? Phương pháp phân nhóm nào sẽ được sử dụng? Người làm bản đồ đã đưa ra lập luận cho bản đồ phân nhóm dựa trên hai lý do: độc giả không có khả năng phân biệt sự khác nhau giữa các ký hiệu (hay màu sắc của nhiều khu vực), và sự khó khăn trong việc tạo ra bản đồ không phân nhóm bằng cách sử dụng các phương pháp truyền thống.