CHƯƠNG 1. MỘT SỐ KIẾN THỨC THỐNG KÊ LIÊN QUAN cách rõ rệt bởi sự lựa chọn của chỉ một hoặc hai biến không thích hợp. Nhà nghiên cứu nên xem xét các kết quả và bỏ đi các biến không có tác dụng phân biệt các nhóm đã được xây dựng. Phương thức này xem xét hoặc lựa chọn các kỹ thuật phân nhóm để xác định một cách cực đại các nhóm dựa trên chỉ những biến có thể hiện sự khác nhau.
Tính tương đồng bên trong các nhóm có thể được đo bởi nhiều cách khác nhau. Một cách là xem xét tính xấp xỉ hoặc gần nhau của mỗi cặp đối tượng để xác định tính tương đồng giữa chúng. Vì khoảng cách là khái niệm đo tính không tương đồng, một cách khác khoảng cách là thước đo sự khác nhau giữa các đối tượng trong một cặp. Thuật toán phân nhóm Câu hỏi thứ hai cần được trả lời trong giai đoạn tiếp cận vấn đề này là phương thức nào nên được sử dụng để hoán đổi các đối tượng tương tự trong các nhóm? Nghĩa là thuật toán nhóm nào hay bộ các quy tắc nào là chính xác nhất? Đây là một vấn đề không đơn giản vì đã có hàng trăm chương trình máy tính đang sử dụng các thuật toán khác nhau và nhiều chương trình đang được phát triển.
Tuy nhiên, tiêu chí quan trọng của tất cả các chương trình là cực đại sự khác biệt giữa các nhóm so với sự khác biệt trong nội bộ các nhóm (Hình 1.2 minh họa điều này). Thuật toán nhóm được sử dụng chung nhất có thể được chia làm hai nhóm chung là phân chùm có thứ bậc và phân chùm không có thứ bậc. Chúng ta sẽ thảo luận kỹ thuật phân bậc trước. MỘT SỐ KIẾN THỨC THỐNG KÊ LIÊN QUAN Phương pháp phân nhóm có thứ bậc Phương pháp phân nhóm có thứ bậc liên quan đến sự xậy dựng một cấu trúc phân bậc hay hình cây.
Có hai kiểu cơ bản của phương pháp phân nhóm có thứ bậc là cộng gộp và chia tách. Trong phương pháp cộng gộp, mỗi đối tượng khởi đầu với nhóm của chính nó. Trong các bước tiếp theo, hai nhóm (cá thể) gần nhau nhất được kết hợp vào trong một nhóm mới như vậy giảm số nhóm sau mỗi bước xuống một đơn vị. Trong một số trường hợp, một cá thể thứ ba tham gia với hai cá thể đầu tiên trong một nhóm.
Trong một số trường hợp khác, nhóm khác của hai cá thể tham gia cùng nhau để tạo một nhóm mới. Cuối cùng là, tất cả các cá thể được ghép nhóm vào trong một nhóm lớn hơn; bởi lý do này, phương pháp cộng gộp thỉnh thoảng được liên hệ tới các phương pháp xây dựng từ dưới lên. Quá trình này được chỉ ra trong Hình 1.3; và được gọi là một biểu đồ hoặc một đồ thị cây. Khi quá trình nhóm được thực hiện theo chiều ngược lại của phương pháp cộng gộp, nó được gọi là chia tách.
Trong phương pháp này, chúng ta bắt đầu với một nhóm lớn chứa tất cả các đối tượng. Trong các bước kế tiếp, các đối tượng mà khác nhau nhất được phân tách và nhóm ban đầu được tách thành hai nhóm nhỏ hơn. Quá trình này kết thúc cho đến khi mỗi đối tượng trở thành một nhóm của chính nó.3 phương pháp thứ nhất sẽ đi từ trái qua phải và phương pháp thứ hai đi từ phải qua trái. Vì phần lớn các phần mềm liên quan đều sử dụng phương pháp thứ nhất nên chúng ta sẽ không thảo luận phương pháp thứ hai thêm nữa.
MỘT SỐ KIẾN THỨC THỐNG KÊ LIÊN QUAN Năm phương pháp cộng gộp phổ biến được sử dụng để phát triển nhóm là: Liên kết đơn, liên kết hoàn thành, liên kết trung bình, phương pháp Ward và phương pháp điểm trung tâm. Những phương pháp này khác nhau trong cách thức tính khoảng cách giữa các nhóm. Phương pháp liên kết đơn được xây dựng dựa trên khoảng cách nhỏ nhất. Nó tìm ra hai các thể tách biệt bởi khoảng cách ngắn nhất và thay thế chúng trong nhóm thứ nhất.
Tiếp theo khoảng cách ngắn nhất được tìm thấy và hoặc là một cá thể thứ ba được tham gia vào nhóm hai cá thể kể trên để tạo thành một nhóm hoặc là một nhóm gồm hai cá thể mới sẽ được hình thành. Quá trình này tiếp tục cho đến khi tất cả các cá thể được ghép nhóm. Phương pháp này còn được gọi là tiếp cận lân cận gần nhất. Khoảng cách của hai nhóm trong phương pháp này chính là khoảng cách bé nhất trong các khoảng cách từ một cá thể tùy ý của nhóm này đến một cá thể tùy ý của nhó kia.
Hai nhóm được kết hợp tại bất kỳ bước nào bởi liên kết ngắn nhất (hay mạnh nhất) giữa chúng. Tuy nhiên, vấn đề xuất hiện khi các nhóm được diễn tả, giải thích một cách nghèo nàn. Trong những trường hợp như vậy, phương pháp liên kết đơn tạo ra một dây chuyền dài giống hình con rắn, và cuối cùng là tất cả các cá thể được liên kết trong một dây chuyền. Các cá thể tại các đầu mút của một dây chuyền có thể là rất khác nhau.
Một ví dụ của sự xắp xếp này được minh họa trong Hình 1. MỘT SỐ KIẾN THỨC THỐNG KÊ LIÊN QUAN Phương pháp liên kết hoàn toàn là gần tương tự như liên kết đơn ngoại trừ rằng tiêu chí nhóm được xây dựng dựa trên khoảng cách cực đại. Vì lý do này, nó thỉnh thoảng được liên hệ đến sự tiếp cận lân cận xa nhất. Đây là một phương pháp đường kính.
Khoảng cách xa nhất của bất kỳ hai cá thể trong một nhóm đại diện hình cầu bé nhất mà chứa nhóm đó. Phương pháp này được gọi là liên kết hoàn thành bởi vì tất cả các đối tượng trong một nhóm được liên kết với đối tượng khác tại một vài khoảng cách cực đại hoặc bởi tính tương tự cực tiểu. Chúng ta có thể nói rằng tính tương tự trong nhóm là bằng đường kính nhóm. Phương pháp này khử vấn đề con rắn được xác định với liên kết đơn.
Tuy nhiên vấn đề của khoảng cách độ đo giữa các nhóm vẫn nảy sinh.5 chỉ ra cách khoảng cách ngắn nhất và khoảng cách dài nhất có thể không đại diện đúng tính tương tự giữa các nhóm.5: Sự sử dụng của khoảng cách ngắn nhất chỉ ra rằng hai nhóm là rất tương tự, trong khi khoảng cách dài nhất chỉ ra rằng chúng là rất không tương tự. Liên kết trung bình trong một nhóm khởi đầu giống liên kết đơn và liên kết hoàn thành nhưng tiêu chí xác định nhóm là khoảng cách trung bình trong tất cả các khoảng cách từ một các thể của nhóm này đến một cá thể của nhóm kia. Kỹ thuật như vậy không sử dụng các giá trị cực trị như hai liên kết trên mà sự xây dựng dựa trên tất cả các phần tử. Sự tiếp cận liên kết trung bình dẫn tới sự kết hợp các nhóm với các phương sai nhỏ.
MỘT SỐ KIẾN THỨC THỐNG KÊ LIÊN QUAN Trong phương pháp của Ward, khoảng cách của hai nhóm là tổng của các bình phương giữa hai nhóm được lấy tổng trên tất cả các biến. Tại mỗi bước trong phương pháp nhóm, tổng các bình phương trong nhóm được cực tiểu trên tất cả các phần, có thể nhận được bởi kết hợp hai nhóm từ bước trước. Phương pháp này dẫn tới kết hợp các nhóm với một số lượng nhỏ của các đối tượng. Trong phương pháp điểm trung tâm khoảng cách giữa hai nhóm là khoảng cách (thường là khoảng cách Euclide) giữa các điểm trung tâm của chúng.
Trong phương pháp này, tại mỗi thời điểm mà các cá thể được ghép nhóm thì một điểm trung tâm mới được xác định. Các điểm trung tâm nhóm di chuyển khi sự sát nhập nhóm diễn ra. Nói một cách khác, có sự thay đổi trong một điểm trung tâm của nhóm, tại mỗi thời điểm một cá thể mới hoặc một nhóm mới được thêm vào một nhóm đã tồn tại. Phương pháp này là phổ biến đối với các nhà sinh học nhưng có thể đưa ra các kết quả nhầm lẫn.
Ưu điểm của phương pháp này là nó bị ảnh hưởng bởi các yếu tố bên ngoài ít hơn so với các phương pháp phân bậc khác. Nên được chú ý rằng phương pháp điểm trung tâm yêu cầu dữ liệu định lượng, điều này hạn chế ứng dụng của nó trong các ngành khoa học xã hội. Phương pháp phân nhóm không thứ bậc Tương phản với phương pháp phân nhóm có thứ bậc, phương pháp phân nhóm không thứ bậc không liên quan tới quá trình xây dựng cây phân loại. Thay vào đó, bước đầu tiên là chọn lựa tâm của nhóm, sau đó đưa tất cả các đối tượng nằm cách xa không quá một ngưỡng khoảng cách xác định trước vào nhóm.
Phương pháp này có thể liên tưởng đến phương pháp ghép nhóm theo K-trung bình. Kỹ thuật ghép nhóm không thứ bậc thường sử dụng một trong ba cách tiếp cận sau: Phương thức ngưỡng tuần tự bắt đầu với lựa chọn một đối tượng ”hạt giống” của nhóm, tất cả các đối tượng nằm cách điểm hạt giống không quá một khoảng cách xác định trước được đưa vào nhóm. Tiếp đó, xác định đối tượng hạt giống của nhóm thứ hai và đưa các đối tượng trong vòng khoảng cách đến điểm hạt giống không vượt quá ngưỡng cho trước vào nhóm thứ hai này. Quá trình trên được tiếp tục theo nguyên tắc khi một đối tượng đã được ghép nhóm với một hạt giống thì nó không được ghép nhóm với hạt giống khác nữa.
Ngược lại, phương thức ngưỡng song song lựa chọn đồng thời một số hạt giống 21 z CHƯƠNG 1. MỘT SỐ KIẾN THỨC THỐNG KÊ LIÊN QUAN khi bắt đầu quy trình. Tiếp đó, các đối tượng nằm trong ngưỡng khoảng cách được gán tới hạt giống gần nhất. Khi quá trình tiến hành, ngưỡng khoảng cách có thể thay đổi để tăng hoặc giảm số lượng các đối tượng trong mỗi nhóm.
Như vậy, trong thực hành, có thể xảy ra trường hợp một số đối tượng sẽ không được ghép nhóm nếu chúng nằm ngoài ngưỡng khoảng cách cho trước so với bất kỳ hạt giống nhóm nào. Phương thức thứ ba liên quan tới mục tiêu tối ưu hóa, tương tự như hai phương thức trên ngoại trừ việc ghép lại đối tượng từ nhóm này sang nhóm khác được thực hiện dựa trên những tiêu chí tối ưu đã định. Vấn đề chính mà các phương thức phân nhóm không thứ bậc gặp phải là cách thức lựa chọn hạt giống hay các hạt giống nhóm. Ví dụ, với một sự lựa chọn ngưỡng song song kết quả nhóm cuối cùng phụ thuộc vào thứ tự của các đối tượng trong tập hợp dữ liệu và nếu như thứ tự thay đổi sẽ ảnh hưởng tới kết quả.