Nghiên Cứu Thuật Toán OPTICS Trong Machine Learning

Khám phá đồ án kết thúc học phần môn máy học thuật toán optics, ứng dụng và tiềm năng trong nghiên cứu và phát triển công nghệ hiện đại.

• Đề tài: Nghiên Cứu Thuật Toán OPTICS Trong Machine Learning

Mục lục chi tiết

• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TONG QUAN DE TAI
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu đề tài
• 1.3. Phương pháp
• 2. CHƯƠNG 2: GIỚI THIỆU BỘ DỮ LIỆU
• 2.1. Mô tả dữ liệu
• 2.2. Phát triển giả thiết nghiên cứu dựa trên bộ dữ liệu
• 3. CHƯƠNG 3: THUẬT TOÁN OPTICS
• 3.1. Động cơ phát triển các thuật toán phân cụm
• 3.2. Động cơ phát triển thuật toán OPTICS
• 3.3. Giới thiệu thuật toán OPTICS
• 3.3.1. Mô tả thuật toán
• 3.3.2. Các nhân tố tác động lên thuật toán OPTICS
• 4. CHƯƠNG 4: ÁP DỤNG THUẬT TOÁN OPTICS VÀO BỘ DỮ LIỆU
• 4.1. Tiền xử lý dữ liệu
• 4.2. Huấn luyện Mô hình khai phá cụm dựa trên thuật toán OPTICS
• 4.2.1. Bộ dữ liệu thứ 1
• 4.2.2. Bộ dữ liệu thứ 2
• 4.2.3. Bộ dữ liệu thứ 3
• 5. CHƯƠNG 5: KẾT LUẬN VÀ ĐÁNH GIÁ
• 5.1. Kết quả mô hình
• 5.1.1. Bộ dữ liệu thứ nhất
• 5.1.2. Bộ dữ liệu thứ hai
• 5.1.3. Bộ dữ liệu thứ ba
• 5.2. Đánh giá mô hình
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Toàn cảnh nghiên cứu thuật toán OPTICS trong Machine Learning

Bài viết này cung cấp một nghiên cứu sâu về thuật toán OPTICS (Ordering Points To Identify the Clustering Structure), một phương pháp then chốt trong lĩnh vực học không giám sát (unsupervised learning). Được giới thiệu lần đầu bởi Ankerst và cộng sự vào năm 1999, OPTICS giải quyết hiệu quả bài toán phân cụm dựa trên mật độ (density-based clustering), đặc biệt với các bộ dữ liệu có cấu trúc phức tạp và mật độ phân bố không đồng đều. Không giống các thuật toán truyền thống yêu cầu xác định trước số lượng cụm, OPTICS tạo ra một thứ tự các điểm dữ liệu, từ đó trực quan hóa cấu trúc phân cụm ở nhiều cấp độ mật độ khác nhau. Cách tiếp cận này giúp các nhà khoa học dữ liệu và nhà nghiên cứu có được cái nhìn toàn diện, linh hoạt hơn về bản chất của dữ liệu, mở ra khả năng khai phá dữ liệu một cách sâu sắc và chính xác hơn, đặc biệt trong các ứng dụng đòi hỏi sự tinh vi cao.

1.1. Vị trí của OPTICS trong các thuật toán phân cụm hiện đại

Trong bối cảnh của Machine Learning, các thuật toán phân cụm được phân loại theo nhiều hướng tiếp cận: phân hoạch (K-Means), phân cấp (Hierarchical Clustering), dựa trên lưới (Grid-based), và dựa trên mật độ. OPTICS thuộc nhóm phân cụm dựa trên mật độ, được xem là một phiên bản mở rộng và cải tiến của thuật toán DBSCAN. Trong khi DBSCAN yêu cầu người dùng xác định một tham số bán kính Epsilon (ε) toàn cục, điều này gây khó khăn cho các bộ dữ liệu có mật độ thay đổi, OPTICS lại vượt qua hạn chế này. Nó không gán cứng các điểm vào một cụm cụ thể mà thay vào đó, nó tạo ra một thứ tự xử lý các điểm dựa trên mật độ lân cận. Kết quả là một 'biểu đồ khả năng tiếp cận' (reachability plot) cho phép xác định các cụm một cách linh hoạt, làm cho OPTICS trở thành một công cụ mạnh mẽ để phân tích các tập dữ liệu phức tạp mà các phương pháp khác có thể bỏ sót.

1.2. Mục tiêu cốt lõi của việc nghiên cứu thuật toán OPTICS

Mục tiêu chính của việc nghiên cứu và áp dụng OPTICS là để khám phá các cấu trúc phân cụm vốn có trong dữ liệu mà không bị ràng buộc bởi các giả định cứng nhắc về hình dạng hay số lượng cụm. Cụ thể, thuật toán hướng đến: 1) Xử lý hiệu quả các cụm có hình dạng bất kỳ và mật độ khác nhau. 2) Cung cấp một biểu diễn trực quan (thông qua biểu đồ reachability plot) về cấu trúc phân cấp mật độ của dữ liệu. 3) Hỗ trợ phát hiện điểm ngoại lai (anomaly detection) một cách tự nhiên, vì các điểm nhiễu sẽ có khoảng cách tiếp cận rất lớn. Bằng cách đạt được các mục tiêu này, việc nghiên cứu thuật toán OPTICS mang lại giá trị thực tiễn lớn trong nhiều lĩnh vực như marketing, y học, và phân tích tài chính, nơi dữ liệu thường không tuân theo các phân phối đơn giản.

II. Thách thức phân cụm dữ liệu và sự ra đời của thuật toán OPTICS

Hầu hết các thuật toán phân cụm truyền thống đều gặp phải những thách thức đáng kể khi áp dụng vào các bộ dữ liệu trong thế giới thực. Vấn đề lớn nhất là sự nhạy cảm với các siêu tham số đầu vào và giả định về cấu trúc dữ liệu. Ví dụ, K-Means yêu cầu biết trước số cụm k và hoạt động kém với các cụm không có dạng hình cầu. Đặc biệt, các phương pháp density-based clustering như DBSCAN tuy mạnh mẽ nhưng lại phụ thuộc vào một tham số bán kính Epsilon (ε) toàn cục. Điều này tạo ra một bài toán nan giải: một giá trị ε phù hợp cho các cụm dày đặc có thể khiến các cụm thưa thớt bị xem là nhiễu, và ngược lại. Chính những hạn chế này đã thúc đẩy sự ra đời của thuật toán OPTICS, một giải pháp được thiết kế để tự động thích ứng với các mật độ khác nhau trong cùng một bộ dữ liệu.

2.1. Phân tích hạn chế của thuật toán DBSCAN với mật độ không đều

Hạn chế cốt lõi của thuật toán DBSCAN nằm ở việc sử dụng một cặp tham số toàn cục (ε và MinPts). Trong một bộ dữ liệu thực tế, các cụm có thể tồn tại ở những mật độ rất khác nhau. Ví dụ, một cụm dày đặc có thể có khoảng cách trung bình giữa các điểm là 0.1, trong khi một cụm thưa hơn có thể là 0.5. Nếu chọn ε = 0.1, thuật toán DBSCAN sẽ xác định được cụm dày đặc nhưng có thể bỏ qua hoàn toàn cụm thưa. Ngược lại, nếu chọn ε = 0.5, nó có thể gộp nhầm các cụm dày đặc và các cụm con bên trong thành một cụm lớn duy nhất, làm mất đi thông tin chi tiết về cấu trúc phân cụm. Sự phụ thuộc vào một ngưỡng mật độ duy nhất này làm cho DBSCAN không đủ linh hoạt để khám phá cấu trúc phân cấp của dữ liệu, một vấn đề mà OPTICS được tạo ra để giải quyết.

2.2. Động cơ phát triển OPTICS Giải pháp cho cấu trúc phức tạp

Động cơ chính đằng sau việc phát triển thuật toán OPTICS là tạo ra một phương pháp không chỉ xác định các cụm mà còn mô tả được mối quan hệ phân cấp giữa chúng. Thay vì đưa ra một kết quả phân cụm duy nhất, OPTICS tạo ra một thứ tự các điểm làm nổi bật cấu trúc mật độ của tập dữ liệu. Kết quả này, khi được trực quan hóa bằng biểu đồ reachability plot, sẽ hiển thị các "thung lũng" tương ứng với các cụm. Độ sâu và độ rộng của các thung lũng cho biết mật độ và quy mô của cụm. Điều này cho phép người phân tích có thể trích xuất các cụm ở nhiều mức độ chi tiết khác nhau chỉ từ một lần chạy thuật toán, vượt qua được bài toán chọn tham số ε cố định. Đây là một bước tiến quan trọng trong khai phá dữ liệu và học không giám sát.

III. Phương pháp hoạt động cốt lõi của thuật toán OPTICS

Cơ chế hoạt động của thuật toán OPTICS dựa trên việc mở rộng các khái niệm từ DBSCAN nhưng thay đổi cách tiếp cận từ việc gán nhãn cụm sang việc sắp xếp các điểm. Thay vì chỉ kiểm tra xem một điểm có phải là điểm lõi hay không, OPTICS tính toán hai giá trị quan trọng cho mỗi điểm: khoảng cách lõi (core distance) và khoảng cách có thể đạt tới (reachability distance). Dựa trên các giá trị này, thuật toán xây dựng một danh sách có thứ tự các điểm, trong đó các điểm gần nhau trong danh sách có xu hướng thuộc cùng một cụm. Quá trình này không tạo ra các phân hoạch cụm một cách trực tiếp mà cung cấp một bản đồ mật độ, cho phép phân tích sâu hơn về cấu trúc dữ liệu. Kết quả đầu ra chính là một thứ tự các điểm và khoảng cách tiếp cận tương ứng của chúng, nền tảng để vẽ biểu đồ reachability plot.

3.1. Tìm hiểu Core Distance và Reachability Distance trong OPTICS

Khoảng cách lõi (core distance) của một điểm p là khoảng cách nhỏ nhất ε' sao cho trong bán kính ε' xung quanh p có chứa ít nhất MinPts điểm (bao gồm cả p). Nếu không đủ MinPts điểm, khoảng cách lõi là không xác định. Trong khi đó, khoảng cách có thể đạt tới (reachability distance) của điểm o so với điểm p được định nghĩa là giá trị lớn hơn giữa core distance của p và khoảng cách thực tế giữa p và o. Khái niệm này đảm bảo rằng các điểm bên trong một cụm dày đặc sẽ có reachability distance nhỏ và ổn định, tạo thành các "thung lũng" trên biểu đồ. Ngược lại, các điểm nằm xa cụm hoặc ở vùng thưa thớt sẽ có reachability distance lớn, tạo thành các "đỉnh núi" phân tách các cụm. Các khái niệm này là nền tảng toán học cho phép OPTICS xử lý mật độ biến đổi.

3.2. Cách diễn giải biểu đồ reachability plot để xác định cụm

Biểu đồ reachability plot là công cụ trực quan hóa chính của thuật toán OPTICS. Trục hoành biểu thị thứ tự các điểm đã được thuật toán xử lý, và trục tung biểu thị giá trị reachability distance của từng điểm. Các cụm dữ liệu sẽ xuất hiện dưới dạng các "thung lũng" trên biểu đồ. Một thung lũng sâu và rộng cho thấy một cụm lớn và dày đặc. Các thung lũng nông hơn có thể đại diện cho các cụm con hoặc các cụm có mật độ thưa hơn. Các điểm có giá trị reachability distance cao đột biến (các "đỉnh núi") thường là các điểm nhiễu hoặc là ranh giới tự nhiên giữa các cụm. Bằng cách quan sát biểu đồ này, người dùng có thể dễ dàng xác định số lượng cụm, cấu trúc phân cấp của chúng và các điểm ngoại lai mà không cần phải thử nhiều giá trị ε khác nhau. Đây là ưu điểm vượt trội so với thuật toán DBSCAN.

IV. Hướng dẫn triển khai thuật toán OPTICS với Python hiệu quả

Việc triển khai thuật toán OPTICS với Python đã trở nên dễ dàng nhờ sự hỗ trợ của các thư viện học máy mạnh mẽ, đặc biệt là thư viện Scikit-learn. Thư viện này cung cấp một module OPTICS được tối ưu hóa, cho phép người dùng áp dụng thuật toán vào bộ dữ liệu của mình chỉ với vài dòng code. Khi triển khai, việc hiểu và lựa chọn các tham số chính là cực kỳ quan trọng để thu được kết quả có ý nghĩa. Mặc dù OPTICS giảm bớt sự phụ thuộc vào Epsilon, tham số min_samples (tương đương MinPts) vẫn đóng vai trò quyết định trong việc định nghĩa mật độ tối thiểu của một cụm. Ngoài ra, việc lựa chọn phương pháp trích xuất cụm (cluster_method) và thước đo khoảng cách (metric) cũng ảnh hưởng trực tiếp đến kết quả phân cụm cuối cùng.

4.1. Các tham số chính khi triển khai MinPts và Cluster Method

Trong thư viện Scikit-learn, hai tham số quan trọng nhất là min_samples và cluster_method. min_samples (chính là MinPts) xác định số lượng điểm tối thiểu cần thiết để hình thành một vùng dày đặc. Giá trị này nên được chọn dựa trên kiến thức về miền dữ liệu; giá trị cao hơn sẽ dẫn đến các cụm dày đặc hơn và nhiều điểm bị coi là nhiễu hơn. cluster_method cho phép tự động trích xuất các cụm từ biểu đồ reachability plot. Hai phương pháp phổ biến là 'xi' và 'dbscan'. Phương pháp 'xi' (eXtraction of Interesting clusters) cố gắng tìm các điểm dốc đáng kể trên biểu đồ để phân tách các cụm, trong khi 'dbscan' hoạt động bằng cách áp dụng một ngưỡng eps lên reachability distance để mô phỏng lại thuật toán DBSCAN. Việc lựa chọn phương pháp này phụ thuộc vào yêu cầu phân tích cụ thể.

4.2. Code mẫu triển khai OPTICS với thư viện Scikit learn

Dưới đây là một đoạn code mẫu minh họa cách triển khai OPTICS với Python sử dụng thư viện Scikit-learn. Giả sử X là một mảng NumPy chứa dữ liệu.

from sklearn.cluster import OPTICS
import numpy as np

# Giả sử X là dữ liệu đầu vào
# X = np.array([...])

# Khởi tạo mô hình OPTICS
# min_samples: số điểm tối thiểu để tạo thành cụm
# cluster_method: phương pháp trích xuất cụm
clustering = OPTICS(min_samples=50, cluster_method='dbscan', eps=1.5).fit(X)

# Lấy nhãn của các cụm
labels = clustering.labels_

# Nhãn -1 chỉ các điểm nhiễu (outliers)
num_clusters = len(set(labels)) - (1 if -1 in labels else 0)
num_noise = list(labels).count(-1)

print(f'Số cụm ước tính: {num_clusters}')
print(f'Số điểm nhiễu: {num_noise}')

Đoạn code này khởi tạo mô hình, huấn luyện trên dữ liệu và trích xuất các nhãn cụm. Việc điều chỉnh các tham số MinPts và Epsilon (ε) (khi cluster_method='dbscan') sẽ cho ra các kết quả phân cụm khác nhau.

V. Phân tích kết quả áp dụng thuật toán OPTICS vào thực tiễn

Để đánh giá hiệu quả, thuật toán OPTICS đã được áp dụng trên nhiều bộ dữ liệu thực nghiệm với các đặc tính khác nhau. Tài liệu nghiên cứu gốc (Ankerst et al., 1999) và các nghiên cứu sau này đều cho thấy khả năng vượt trội của OPTICS trong việc xử lý các bộ dữ liệu có mật độ không đồng nhất và hình dạng phức tạp. Các bộ dữ liệu thử nghiệm thường bao gồm: 1) Dữ liệu tổng hợp có các cụm hình cầu với mật độ khác nhau. 2) Dữ liệu có hình dạng phi lồi như hình mặt trăng lưỡi liềm. 3) Dữ liệu đa chiều như bộ ảnh Fashion-MNIST. Kết quả từ các thử nghiệm này không chỉ xác nhận tính đúng đắn của lý thuyết mà còn cung cấp những hiểu biết sâu sắc về cách các tham số ảnh hưởng đến việc khám phá cấu trúc phân cụm và phát hiện điểm ngoại lai.

5.1. Kết quả trên bộ dữ liệu có mật độ và hình dạng phức tạp

Trên các bộ dữ liệu có nhiều cụm với mật độ khác nhau, biểu đồ reachability plot của OPTICS thể hiện rõ ràng các thung lũng có độ sâu khác nhau, tương ứng với các cụm. Điều này chứng tỏ thuật toán có thể nhận diện đồng thời cả cụm dày đặc (thung lũng sâu) và cụm thưa (thung lũng nông). Với dữ liệu hình mặt trăng, nơi các thuật toán như K-Means thất bại, OPTICS vẫn xác định chính xác hai cụm phi lồi. Kết quả này cho thấy sự ưu việt của phương pháp phân cụm dựa trên mật độ trong việc xử lý các hình dạng cụm tùy ý. Việc phân tích biểu đồ giúp xác nhận các giả thuyết nghiên cứu và cung cấp bằng chứng trực quan về hiệu suất của mô hình so với thuật toán DBSCAN.

5.2. Ứng dụng trong phát hiện điểm ngoại lai trên dữ liệu đa chiều

Một trong những ứng dụng giá trị của OPTICS là phát hiện điểm ngoại lai (anomaly detection). Các điểm ngoại lai, hay nhiễu, là những điểm không thuộc về bất kỳ cụm dày đặc nào. Trên biểu đồ reachability plot, chúng được thể hiện bằng các đỉnh núi cao, có giá trị reachability distance lớn đột biến. Khi áp dụng lên dữ liệu đa chiều như ảnh từ bộ Fashion-MNIST (sau khi làm phẳng thành vector), OPTICS có thể phân biệt các nhóm sản phẩm (ví dụ: quần và áo khoác) thành các cụm khác nhau. Đồng thời, những hình ảnh có đặc điểm khác biệt hoặc không rõ ràng sẽ nổi bật lên như những điểm ngoại lai. Khả năng này rất hữu ích trong các bài toán thực tế như phát hiện gian lận, giám sát an ninh mạng, hoặc kiểm soát chất lượng sản xuất.

Trích đoạn nội dung tài liệu

CHƯƠNG I1: TÔNG QUAN ĐÈ TÀI.1 Gidi thidu ngẢ. 6 CHƯƠNG 2: GIỚI THIỆU BỘ DỮ LIỆU.1 Mô tả đữ liệu.-s 2S 22 TH 2n 101 2 222cc 2H Tre reo § In rnoăä. TH HH HH tt ta HH He ng tr reo 12 2.2 Phát triên giả thiết nghiên cứu dựa trên bộ đữ liệu.- 2 5c net eree 14 CHƯƠNG 3: THUẬT TOÁN OPTICS.1 Động cơ phát triển các thuật toán 0830177 —.2 Động cơ phát triển thuật toán OPTICS. SH g 155151125351 11515 12151115 csxeer re 17 3.3 Giới thiệu thuật toán OPTICS.3 Mô tả thuật toán.3 Các nhân tổ tác động lên thuật toán OPTICS.i'i'ảẢẢäÝ££ 37 CHƯƠNG 4: ÁP DỤNG THUẬT TOÁN OPTICS VÀO BỘ DỮ LIỆU.1 Tiền xử lý đữ liệu.

- 5c c2 tt HH H1 TH 1 121211 re ra, 39 4.2 Huẫn luyện Mô hình khai phá cụm dựa trên thuật toán ÓP TICS. — Bộ dữ liệu thứ l. — Bộ dữ liệu thứ2.ì Hee 40 c Bộ dữ liệu thứ ẩ.- 55s 2c HH2 te re 40 CHƯƠNG 5: KẾT LUẬN VÀ ĐÁNH GIÁ.1 Kết quả mô hình.1 Bộ dữ liệu thứ nhất.2 Bộ dữ liệu thứ hai. 0 5 CS ETE22211 272 22 2122 222gr re 46 5.3 Bộ dữ liệu thứ ba.2 Đánh giá mô hình.

2s: 2s 22515221122111271122112 7 1222102 2 He ereg 51 by i0 ái 4. 5s 2c 21221 12221 21 22212 H 122gra 52 TÀI LIỆU THAM KHẢO MỤC HÌNH ẢNH Hình 1: Biểu đà phân tán giữa các điểm đữ lIỆU. án ST H2 212222 12 Hình 2: Biểu đồ phân tan hinh mat rng. ccccccccccccccecss esses essevsesvevsssstessesessevseesesiessetaeseesetesesseed 13 Hình 3: [Ð/)/8////158/))/1/85)781.

15 Hình 4: Các cách tiếp cận khai phá dữ liệu. 21 Hinh 7: Biéu d6 voi nhiéu diém dit HOU. 24 Hinh 9: có sổ nh nh. 24 Hinh 10: Reachability Plot.

Hình 1L: Ví dụ cho thấy OPTICS phan cum tot hon DBSCAN trong trường hợp đữ liệu có mát độ L3. Hình l2: So sánh khoảng cách 4B với các cạnh lân cận. Bảng kết quả sau khi xét điỂMÁ,. 0 Ăn 22222222 sa Tình 14: Bảng kết quả sau khi xét điểm D.

SH 2222212 Tình 15: Bảng kết quả sau khi xét điểm E. à HS 22222 e Tình 16: Reachability - distance của các đÌỂM.à c2 212222 2111 ca Tình 17: Khoảng cách lỖi. 212122122222re Tình 18: Biểu đô Reachability SGOFE. Hình 19: Sơ đồ khối thuật toán OP TÏCN.

HH HH heo 35 Tình 20: Kết quả sau khi phân cụm bằng thuật toán OP TÍCS,. S222 seesesvees 36 Tình 21: Biểu đồ khi thay đổi ÁMiHPI. 38 Hình 23: OPTICS Reachability Distances của ĐỘ ÌL. TH HH nh rey 44 Tình 24: Biểu đồ phân tán giữa các điểm dữ liệu của bộ Ì.à s5 He 45 Tình 25: Biểu đồ phân tán với Epsilong khác nhau (bộ Ì).

Sàn SH TH H222 e 46 Hình 26: Biéu dé Shilhouette cho b6 1 với Epsilong là 1. 46 Tình 27: Biểu đồ Shilhouette với các MinPis khác nhau (bộ Ì). 4 Hình 25: Rachability Plot cho b6 I voi cde MinPts khdae nha (B6 ÌÏ). SA sieee, 4 Hinh 29: Rachability plot cho các thước đo khoảng cách khác nhau (bộ Ì).

4 Hình 30: Rachability plot cho các thước đo khoảng cách Cosine (Bộ Ì). cà Sài eeeee, 48 Hinh 31. OPTICS Reachability Distances CU D6 2. 48 Hinh 32: Biểu đồ phân tán giữa các điểm dữ liệu của bộ 2.

Sàn HH2 re 50 Hinh 33: Biểu đồ phân tán với Epsilong khác nhau (bộ 2). Sàn 2e 30 Tình 34: Biểu đồ Shilhouete với các Epsilong khác nhau (bộ 2). SẶ SH xe Sl Tình 35: Biểu đồ Shilhouette với các MinPis khác nhau (bộ 2). 37 Hinh 36: Rachability Plot voi cdc MinPts khdtc nhau (Độ ).

Sàn HH HH He 37 Hình 37: Rachability Plot voi các thước đo khác nhau (Độ 2). SG SG SH HH Hệ 37 Hình 35: Rachability Plot với các thước đo Cosine (bộ ). S2 HH HH HH hit 32 Hình 39: OPTICS Reachability Distances của bộ 3 CHUONG 1: TONG QUAN DE TAI 1.1 Giới thiệu đề tài Đồ án này tập trung vào việc nghiên cứu và khám phá về thuật toán OPTICS, là một công cụ quan trọng trong lĩnh vực Machine Learning, đặc biệt trong việc phân tích cấu trúc nhóm trong đữ liệu mà không cần thông tin trước về số lượng hoặc kích thước của các nhóm. OPTICS (Ankerst et al., 1999), viết tắt của "Ordering Points To Identify the Clustering Structure," duoc gidi thigu vào năm 1999 bởi Mihael Ankerst và các đồng nghiệp, đã thu hút sự quan tâm lớn từ cộng đồng nghiên cứu Machine Learning và phân tích dữ liệu.

Thuật toán này nỗi bật với khả năng xử lý dữ liệu có độ phức tạp cao và tính linh hoạt trong việc xác định cầu trúc nhóm dựa trên mật độ dữ liệu. Khác với nhiều thuật toán phân nhóm khác, OPTICS không yêu cầu thông tin trước về số cụm mà tự động xác định và sắp xếp các cụm dựa trên mật độ của chúng. Điều nảy làm cho nó trở thành một công cụ mạnh mẽ để khám phá các cầu trúc nhóm đa đạng và phức tạp trong đữ liệu thực tế. Trong dự án này, chúng em sẽ đi sâu vào cơ chế hoạt động của OPTICS, bao gồm việc giới thiệu và phân tích thuật toán.

Chúng em cũng sẽ tập trung vào việc áp dụng OPTICS vào các bài toán thực tế trong Machine Learning, bằng những tệp dữ liệu có sẵn để chỉ rõ được ưu và nhược điểm của thuật toán. Điểm mạnh và điểm yếu của OPTICS sẽ được đánh giá một cách chỉ tiết, bao gồm khả năng xử lý dữ liệu, khả năng phát hiện các nhóm có hình dạng và kích thước đa đạng, cũng như những hạn chế khi áp dụng trong môi trường dữ liệu cụ thể. Đồng thời, chúng em sẽ thảo luận về các trường hợp sử dụng OPTICS một cách hiệu quả và tiềm năng phát triển trong tương lai. Mục tiêu cuối cùng của dự án là cung cấp cái nhìn toàn diện về OPTICS, từ lý thuyết đến ứng đụng thực tế, qua đó giúp người đọc hiểu rõ hơn về thuật toán này và khả năng áp đụng trong các tình huỗng phức tạp của thế giới thực.2 Mục tiêu đề tài ® Mục tiêu của dự án này là tập trung vào việc khám phá, hiểu rõ và áp dung thuật toán OPTICS trong lĩnh vực Machine Learning và phân tích đữ liệu.

Chúng em đặt ra mục tiêu cụ thê như sau: o Hiéu rd sâu hơn về OPTICS: Thực hiện nghiên cứu chi tiết về cơ chế hoạt động, nguyên lý tính toán và quy trình xác định cấu trúc nhóm dựa trên mật độ của thuật toán OPTICS. S Áp dụng vào bài toán thực tế: Áp dụng OPTICS vao cac bài toán thực tế trong Machine Learning. ©_ Đánh giá ưu điểm và hạn chế: Phân tích sâu hơn về ưu điểm và hạn chế của OPTICS. Điều này bao gồm việc xử lý các loại dữ liệu khác nhau mà các thuật toán khác không thê xử lý được.

©o_ Xác định trường hợp sử đụng hiệu quả: Nắm bắt những trường hợp cụ thé ma OPTICS co thé duoc áp dụng hiệu quả, và đưa ra các khuyến nghị về việc sử dụng thuật toán này trong các tình huống phức tạp thực tế. ® Mục tiêu cuối cùng của chúng em là cung cấp một cái nhìn tổng quan vả sâu rộng về OPTICS, từ lý thuyết đến thực tế, giúp người đọc hiểu rõ hơn về tiềm năng và hạn chế của thuật toán này trong việc xử lý và phân tích đữ liệu.3 Phương pháp e Tìm hiểu lý thuyết: ©_ Nghiên cứu từ nguôn tài liệu uy tín: Đầu tiên, chúng em sẽ thực hiện việc đọc và tìm hiểu từ các tài liệu, sách vở, bài báo khoa học và tài liệu học thuật đã được công bố về OPTICS. Qua đó,nắm vững về nguyên lý hoạt động, cách thuật toán tính toán và các ứng dụng của OPTICS trong Machine Learning. e Thực hiện và thử nghiệm: ©o_ Thực hiện trên data đã chuẩn bị: Sau khi có kiến thức cơ bản, chúng em bắt đầu thực hiện áp dụng thuật toán OPTICS vào dữ liệu thực tế.

Điều này sẽ giúp hiểu rõ hơn về cách thuật toán hoạt động và cách nó phản ứng đôi với các loại dữ liệu khác nhau. ® Phân tích và đánh giá: o Phân tích Ưu điểm và Hạn chế: Chúng em sẽ đánh giá chỉ tiết về ưu điểm và hạn chế của OPTICS dựa trên kết quả thực nghiệm và so sánh với các phương pháp khác. Điều này giúp đánh giá được sức mạnh cũng như giới hạn của thuật toán. e® Kết luận và hướng phát triển: o_ Tổng hợp kết quả và kết luận: Cuối cùng, chúng em sẽ tổng hợp các kết quả thu được từ việc thực nghiệm, đưa ra kết luận về khả năng áp dụng và hiệu suất của OPTICS trong các bài toán Machine Learning và phân tích dữ liệu.

o_ Đề xuất hướng phát triển: Cuối cùng, dựa trên những phân tích và nhận định, chúng em sẽ đề xuất những hướng phát triển tiềm năng, nhằm cải thiện và mở rộng ứng dụng của OPTICS trong tương lai. ® Phần phương pháp này nhằm xác định cách tiếp cận đề nghiên cứu và phân tích thuật toán OPTICS từ lý thuyết đến thực tiễn, từ đó đưa ra những nhận định chính xác và có ích về tính hiệu quả của thuật toan này. CHƯƠNG 2: GIỚI THIỆU BỘ DỮ LIỆU 2.1 Mô tả dữ liệu Ta có thé thấy rằng thuật toán OPTICS thê hiện điểm mạnh của nó rõ nhất khi phải xử lý với các bộ đữ liệu có các điểm đữ liệu phân bô với mật độ khác nhau. Tuy nhiên không phải bộ dữ liệu nảo cũng thê hiện rõ được điểm mạnh của thuật toán này.

Do đó mà nhóm quyết định sử đụng 3 bộ dữ liệu khác nhau dé lam rd duoc điểm mạnh nay cua thuat toan. Các bộ dữ liệu mà nhóm tạo ra là để cố găng tái tạo một cách chính xác nhất có thê về những thí nghiệm mà các tác giả đã thiết kế trong bài báo cùng tên (Ankerst et al. Từ các thí nghiệm như vậy, nhóm mong muốn các kết quả đạt được cũng gần như tương tự so với những gì các tác giả đã làm trong bài báo của họ. Với 2 bộ đầu tiên, các điểm dữ liệu được tạo ra với số chiều là bằng hai và được tạo ra bằng cách sử dụng các thư viện trong python như random hay numpy.

Còn đối với bộ cuối cùng thì nhóm sẽ sử dụng bộ dữ liệu FashionMlnist (Xiao et al., 2017) được tải xuống thông qua PyTorch.1 Bộ dữ liệu thứ ® Dưới đây là code đề sinh ra bộ đầu tiên. def generate data(num_points, seed=999):; data = [] noise interval = 10 # Mỗi 10 điểm có một điểm nhiễu # Tao random seed cho tái sử dụng random. seed (seed) # Tao trung tam cum centerl = (4, 4) center?