Luận Văn Thạc Sĩ: Phân Loại Trình Tự Metagenomics Dựa Trên Phân Lớp Và Gom Cụm

Luận văn thạc sĩ nghiên cứu máy tính phân loại trình tự metagenomics trên cơ sở phân lớp và gom cụm, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh

Chuyên ngành

Khoa học Máy tính

Người đăng

Ẩn danh

Thể loại

luận án tiến sĩ kỹ thuật

2017

161
3
0

Phí lưu trữ

45 Point

Mục lục chi tiết

LỜI CAM ĐOAN

1. CHƯƠNG 1: Metagenomics và bài toán phân loại trình tự

1.1. Vấn đề tồn tại cần giải quyết

1.2. Chi phí tính toán

1.3. Mục tiêu của luận án

1.4. Phương pháp và nội dung nghiên cứu

1.5. Đóng góp của luận án

1.5.1. Về mặt khoa học

1.5.2. Về mặt thực tiễn

1.6. Nội dung luận án

2. NỀN TẢNG KIẾN THỨC VÀ TÌNH HÌNH NGHIÊN CỨU

2.1. Nền tảng kiến thức

2.1.1. DNA và hệ gien

2.1.2. Công nghệ giải mã trình tự DNA

2.1.3. Đặc trưng sử dụng cho phân loại trình tự

2.1.4. Phân lớp và gom cụm dữ liệu

2.1.5. Lựa chọn mô hình thống kê

2.1.6. Độ đo hiệu năng giải pháp phân loại

2.2. Tình hình nghiên cứu

2.2.1. Phương pháp có giám sát

2.2.2. Phương pháp không có giám sát

2.2.3. Phương pháp bán giám sát

3. GIẢI PHÁP PHÂN LOẠI KHÔNG GIÁM SÁT DỰA TRÊN SỰ PHONG PHÚ CỦA HỆ GIEN

3.1. Phương pháp

3.1.1. Mô hình hỗn hợp của tần số xuất hiện các l-mer

3.1.2. Mô hình thu giảm

3.1.3. Ước lượng tham số trong mô hình đề xuất

3.1.4. Ước lượng số cụm sử dụng BIC

3.1.5. Thuật toán MetaAB

3.1.6. Phương pháp đếm l-mer với độ dài thay đổi

3.1.7. Độ phức tạp của giải thuật

3.2. Kết quả thực nghiệm

3.2.1. Dữ liệu thực nghiệm

3.2.2. Kết quả trên tập dữ liệu không có lỗi giải mã

3.2.3. Kết quả trên tập dữ liệu có lỗi giải mã trình tự

3.2.4. Sự ảnh hưởng của các tham số

4. CHỌN ĐẠI DIỆN CỦA MỘT TẬP TRÌNH TỰ DỰA TRÊN TÍNH CHẤT GỐI ĐẦU

4.1. Định nghĩa bài toán

4.2. Một số ký hiệu và khái niệm

4.3. Tính chất của tập đại diện

4.4. Định nghĩa bài toán tìm tập đại diện

4.5. Sự bảo toàn đặc trưng của nhóm trình tự

4.6. Tính tương đồng

4.7. Tính hợp thành dựa trên tần số xuất hiện l-mer

5. GIẢI PHÁP PHÂN LOẠI KHÔNG GIÁM SÁT SỬ DỤNG DẤU HIỆU HỆ GIEN

5.1. Phương pháp

5.2. Nền tảng của phương pháp đề xuất

5.3. Thuật toán BiMeta

5.4. Độ phức tạp của giải thuật

5.5. Kết quả thực nghiệm

5.5.1. Dữ liệu thực nghiệm

5.5.2. Kết quả thực nghiệm trên dữ liệu giả lập

5.5.3. Kết quả thực nghiệm trên dữ liệu thực tế

5.5.4. Sự ảnh hưởng của các tham số

5.5.5. Sự ảnh hưởng của phương pháp tìm seed

6. GIẢI PHÁP PHÂN LOẠI BÁN GIÁM SÁT SỬ DỤNG ĐẶC TRƯNG KẾT HỢP

6.1. Phương pháp

6.2. Nền tảng của phương pháp đề xuất

6.3. Thuật toán SeMeta

6.4. Độ phức tạp của giải thuật

6.5. Cơ sở dữ liệu tham khảo

6.6. Phương pháp đánh giá chất lượng phân loại

6.7. Kết quả thực nghiệm

6.7.1. Dữ liệu thực nghiệm

6.7.2. Kết quả thực nghiệm trên dữ liệu giả lập

6.7.3. Kết quả thực nghiệm trên dữ liệu thực tế

6.7.4. Sự ảnh hưởng của các tham số

6.7.5. Sự ảnh hưởng của việc sử dụng đại diện của cụm

7. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

7.1. Hướng phát triển

DANH MỤC CÔNG TRÌNH ĐÃ CÔNG BỐ

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phân loại trình tự Metagenomics

Phân loại trình tự là một nhiệm vụ quan trọng trong các dự án Metagenomics, nhằm sắp xếp các trình tự vào các nhóm có quan hệ sinh loài gần nhau. Công việc này giúp xác định nguồn gốc của trình tự trong mẫu thực nghiệm và mối quan hệ của chúng với các sinh vật đã biết. Kết quả của bài toán phân loại có thể được sử dụng làm đầu vào cho các bài toán khác như xác định vị trí gen trên trình tự (annotation) và ráp nối trình tự (assembly).

1.1. Thách thức trong phân loại trình tự

Ba yếu tố chính gây thách thức cho bài toán phân loại trình tự Metagenomics bao gồm: (1) Công nghệ giải mã trình tự thế hệ mới chỉ xử lý được trình tự ngắn, làm giảm chất lượng phân loại do thiếu thông tin. (2) Hiệu năng của các giải pháp phân loại có giám sát phụ thuộc vào độ chính xác và đầy đủ của cơ sở dữ liệu tham khảo, trong khi phần lớn vi sinh vật trên Trái Đất chưa được khám phá. (3) Dữ liệu Metagenomics thường rất lớn, làm tăng thời gian thực thi và giảm độ chính xác phân loại.

II. Phân lớp và gom cụm trong Khoa học Máy tính

Luận án đề xuất các giải pháp phân lớpgom cụm để nâng cao chất lượng phân loại trình tự Metagenomics. Các phương pháp này tập trung vào việc khai thác tính chất của dữ liệu, bao gồm việc sử dụng mô hình thu giảm để ước lượng tham số, lựa chọn mô hình tự động để phát hiện số cụm, và đề xuất phương pháp đếm l-mer với độ dài thay đổi để tăng chất lượng phân loại.

2.1. Giải pháp không giám sát

Giải pháp BiMeta được đề xuất để phân loại trình tự sử dụng đặc trưng tần số xuất hiện l-mer và thông tin gối đầu giữa các trình tự. BiMeta gồm hai pha: (1) Gom nhóm trình tự dựa trên thông tin gối đầu. (2) Trộn các nhóm vào cụm dựa trên đặc trưng phân bố tần số l-mer. Giải pháp này giảm chi phí tính toán và đạt chất lượng phân loại tốt.

2.2. Giải pháp bán giám sát

Giải pháp SeMeta sử dụng ý tưởng tìm tập đại diện của nhóm trình tự để phân loại và gán nhãn. SeMeta gồm hai bước: (1) Gom cụm sử dụng phương pháp cải tiến của BiMeta. (2) Gán nhãn từng cụm vào đơn vị phân loại phù hợp dựa trên sự tương đồng giữa trình tự đại diện và cơ sở dữ liệu tham khảo. Kỹ thuật lọc thông tin nhiễu cũng được áp dụng để tăng chất lượng phân loại.

III. Ứng dụng và hướng phát triển

Các giải pháp đề xuất trong luận án đã chứng minh hiệu quả trong việc phân tích trình tự Metagenomics, đạt độ chính xác cao và giảm chi phí tính toán. Chúng có tiềm năng trở thành công cụ hữu ích trong phân tích mẫu thực nghiệm từ môi trường vi sinh vật. Tuy nhiên, một số khía cạnh cần được nghiên cứu thêm để nâng cao chất lượng phân loại, bao gồm việc áp dụng các dấu hiệu hệ gen khác, cải tiến kỹ thuật gán nhãn, và sử dụng công nghệ tính toán hiệu năng cao.

3.1. Hướng nghiên cứu tương lai

Các hướng nghiên cứu tiềm năng bao gồm: (1) Nghiên cứu và áp dụng các dấu hiệu hệ gen khác hoặc độ đo khoảng cách vectơ tần số l-mer để cải thiện chất lượng phân loại. (2) Cải tiến khả năng gán nhãn trình tự vào vị trí trên cây sinh loài bằng cách xem xét mức độ tương đồng khác nhau giữa các BLAST hits. (3) Áp dụng công nghệ tính toán hiệu năng cao để giảm chi phí tính toán và tăng tốc độ xử lý.

21/02/2025

Trích đoạn nội dung tài liệu

CHƯƠNG 1 GIỚI THIỆU 1. Metagenomics và bài toán phân loại trình tự Đóng vai trò là những sinh vật chiếm đa số trong sự đa dạng sinh học của sự sống, vi sinh vật (như vi khuẩn (bacteria), vi rút (virus), hay vi khuẩn cổ (archaea)) ảnh hưởng trực tiếp đến cuộc sống của con người [1]. Vì vậy, sự hiểu biết về cộng đồng vi sinh vật mang đến lợi ích trong nhiều lĩnh vực như: y học, nông nghiệp, công nghệ sinh học, nghiên cứu năng lượng thay thế, môi trường [2]. Một số nghiên cứu đầu tiên về vi sinh vật là vào khoảng những năm 1970, khi hệ gien của một số vi sinh vật được giải mã [3].

Trong phương pháp nghiên cứu vi sinh vật truyền thống, mẫu thực nghiệm sau khi được thu thập từ môi trường thực tế sẽ được nuôi cấy (culture) và phân tách (isolate) theo từng loài vi sinh vật trước được đưa vào giai đoạn giải mã trình tự DNA. Trình tự của từng loài vi sinh vật sau đó được đưa vào quá trình phân tích dữ liệu. Tuy nhiên, một trở ngại lớn đối với phương pháp này là hầu hết vi sinh vật (hơn 99%) không thể nuôi cấy và phân tách được trong phòng thí nghiệm [4]. Bởi vì những hạn chế của phương pháp truyền thống, một hướng tiếp cận khác trong nghiên cứu vi sinh vật ra đời và dần trở thành phương pháp được sử dụng phổ biến, được gọi là metagenomics.

Theo hướng này, mẫu thực nghiệm sau khi được thu thập từ môi trường, không cần trải qua giai đoạn nuôi cấy và phân tách trong phòng thí nghiệm, mà được đưa trực tiếp vào quá trình giải mã. Những vấn đề trong lĩnh vực metagenomics bắt đầu được tập trung nghiên cứu từ khoảng năm 2007 với sự ra đời của dự án nghiên cứu vi sinh vật trong 1 cơ thể con người [5]. Hàng trăm dự án nghiên cứu vi sinh vật khác tiếp sau đó ra đời nhằm nghiên cứu các môi trường khác nhau như: nước thải axit từ khu mỏ (acid mine drainage [6]), nước biển (seawater [7]), và đường ruột cơ thể người (human gut [8]). Đồng thời, nhiều bài toán được đặt ra cho những người nghiên cứu trong lĩnh vực tin sinh học nhằm hỗ trợ cho quá trình phân tích dữ liệu trình tự metagenomics.1: Quy trình xử lý của một dự án trong lĩnh vực metagenomics.

Trong một dự án metagenomics, mẫu thực nghiệm được đưa trực tiếp vào giai đoạn giải mã trình tự sau khi được thu thập từ môi trường thực tế (hình 1. Do đó, dữ liệu metage- nomics thường không chứa trình tự của từng sinh vật riêng biệt, mà bao gồm trình tự của nhiều loài khác nhau (có khi hơn 10.000 loài trong một mẫu [2]). Vì vậy, một trong những vấn đề quan trọng cần giải quyết là phân loại trình tự metagenomics (taxonomic binning). Bài toán này được phát biểu như sau (theo Thomas và cộng sự [9]): "Phân loại trình tự metagenomics là quá trình sắp xếp trình tự DNA vào các nhóm bao gồm các trình tự thuộc cùng hệ gien của một cá thể hoặc hệ gien của các vi sinh vật có quan hệ gần nhau".

2 Chẳng hạn, như minh họa ở hình 1. Tập dữ liệu bao gồm 16 trình tự DNA. Giải pháp phân loại giúp phân chia tập trình tự này vào 3 tập, mỗi tập chứa trình tự của một nhóm vi sinh vật. Định nghĩa này được sử dụng trong toàn bộ luận án.

Trong trường hợp tồn tại cơ sở dữ liệu tham khảo, trình tự có thể được gán nhãn (cho biết chúng thuộc về nhóm vi sinh vật nào đã biết).2: Minh họa mục tiêu của bài toán phân loại trình tự metageonmic. Bài toán này có ý nghĩa quan trọng đối với nhà nghiên cứu về sinh học nhằm xác định những nhóm vi sinh vật nào tồn tại trong mẫu thực nghiệm, tỉ lệ xuất hiện của chúng trong môi trường ra sao, và giúp họ có thể thực hiện nghiên cứu trên trình tự của từng nhóm riêng biệt. Ngoài ra, trong quy trình thông thường của một dự án metagenomics (hình 1.1), kết quả trả về của bài toán phân loại có thể được sử dụng cho bài toán chú giải hệ gien (annotation) nhằm xác định vị trí mang mã di truyền trên trình tự. Bên cạnh đó, bài toán phân loại có thể được sử dụng với vai trò là bước tiền xử lý cho bài toán ráp nối trình tự nhằm tăng độ chính xác và giảm chi phí tính toán cho quá trình tái xây dựng hệ gien [1].

Về mặt lý thuyết, nếu trình tự DNA được ráp nối thành chuỗi dài hơn (thành các scaffold hay hệ gien) thì giải pháp phân loại áp dụng cho trình tự dài có thể đạt chất lượng cao hơn. Tuy nhiên, bài toán ráp nối trình tự metagenomics (metagenome assembly) là một vấn đề khó và có nhiều thách thức lớn vẫn chưa được giải quyết một cách hiệu quả [9], và nó không nằm trong nội dung nghiên cứu của luận án này. Vấn đề tồn tại cần giải quyết 1. Độ chính xác Độ chính xác là một trong những khía cạnh quan trọng nhất cần được quan tâm của bài toán.

Một số các yếu tố chính ảnh hưởng đến độ chính xác của các giải pháp hiện tại, cần được quan tâm giải quyết như: + Độ dài trình tự: Độ dài trình tự càng ngắn đồng nghĩa với việc thông tin chứa đựng trong trình tự càng ít, dẫn đến độ chính xác khi phân loại giảm đi [10]. Mặc dù vậy, hầu hết các công nghệ giải mã trình tự hiện nay chỉ cho phép giải mã trình tự có độ dài ngắn hoặc rất ngắn (nhỏ hơn 700 bp). Từ kết quả thử nghiệm được công bố của những nghiên cứu trước đây, có thể thấy rõ sự ảnh hưởng này. Chẳng hạn, RAIphy và Phymm đạt độ chính xác khoảng 32% – 36% cho trình tự dài 100 bp, trong khi đối với trình tự dài 1000 bp là 65% – 80% [11].

+ Thiếu cơ sở dữ liệu tham khảo: Nhiều giải pháp phân loại hiện nay thực hiện tham khảo trên cơ sở dữ liệu chứa hệ gien hay trình tự của sinh vật đã biết. Tuy nhiên, phần lớn vi sinh vật trên trái đất vẫn chưa được phát hiện [12] dẫn đến sự thiếu hiệu quả của nhóm giải pháp này. Chi phí tính toán Chi phí tính toán là khía cạnh quan trọng khác cần được quan tâm bởi vì một dự án metagenomics thông thường cần phải phân tích một khối lượng dữ liệu rất lớn (có khi hàng trăm gigabase trình tự [8]), vốn đòi hỏi nhiều thời gian xử lý. Phần lớn giải pháp phân loại trình tự có giám sát hiện nay thực hiện so sánh tương đồng giữa trình tự cần phân tích với trình tự hay hệ gien đã biết.

Mặc dù hướng tiếp cận này có ưu điểm là có thể đạt độ chính xác cao hơn so với các nhóm giải pháp khác, nhưng đòi hỏi nhiều thời gian xử lý, đặc biệt khi cơ sở dữ liệu tham khảo lớn. Ví dụ, MEGAN, sử dụng ngân hàng dữ liệu NCBI-NR, cần 34 ngày để thực thi cho bộ dữ liệu khoảng 70.000 trình tự [13]. 4 Nhóm giải pháp không có giám sát thì gặp trở ngại vì số lượng nghiệm bùng nổ ngay cả khi dữ liệu không quá lớn. Bài toán này là một dạng của bài toán phân hoạch, đã được chứng minh không thể xét toàn bộ không gian nghiệm trong thời gian chấp nhận được bởi hệ thống máy tính hiện nay (theo Brian và cộng sự [14], tham khảo từ sách của Liu [15]).

Vì lý do này, hầu hết các giải pháp phân loại không giám sát hiện nay (được tìm thấy bởi đề tài nghiên cứu này) đều sử dụng phương pháp heuristic hay tìm kiếm cục bộ (local search) để tìm nghiệm của bài toán trong thời gian chấp nhận được. Việc mở rộng không gian tìm kiếm có thể giúp cải thiện chất lượng nghiệm nhưng thường làm chi phí tính toán tăng cao. Mục tiêu của luận án Mục tiêu của luận án là nhằm đề xuất giải pháp phân loại cho dữ liệu metagenomics, có khả năng xử lý tốt cho trình tự ngắn, và giải quyết hiệu quả cho trường hợp cơ sở dữ liệu tham khảo không đầy đủ. Cụ thể, ba hướng giải quyết chính được đặt ra trong luận án, bao gồm: Thứ nhất, thực hiện phân loại trình tự metagenomics dựa trên sự phong phú của hệ gien trong trường hợp không tồn tại cơ sở dữ liệu tham khảo.

Giải pháp phân loại cho phép phân chia trình tự vào các nhóm sao cho mỗi nhóm chứa trình tự thuộc hệ gien có độ phong phú tương tự nhau. Thứ hai, thực hiện phân loại trình tự metagenomics trường hợp không tồn tại cơ sở dữ liệu tham khảo sao cho trình tự trong mỗi nhóm thuộc cùng loài hoặc có quan hệ sinh loài gần nhau. Thứ ba, phân loại trình tự metagenomics trong trường hợp tồn tại cơ sở dữ liệu tham khảo. Giải pháp phân loại này vừa giúp phân chia trình tự vào các nhóm, vừa xác định trình tự thuộc về nhóm vi sinh vật nào đã biết.

Phương pháp và nội dung nghiên cứu Luận án này tập trung vào việc nghiên cứu sử dụng tính chất của dữ liệu (thông tin gối đầu trình tự, đặc trưng tần số xuất hiện l-mer, tính tương đồng của trình tự) nhằm đề xuất phương pháp phân loại mới. Đồng thời, luận án vận dụng các kỹ thuật nền tảng về phân lớp và gom cụm đã có (thuật toán Expectation Maximization, thuật toán k-means, thuật toán 5 Lowest Common Ancestor) để phát triển các giải pháp phân loại. Đóng góp của luận án Những đóng góp chính của luận án bao gồm: 1. Về mặt khoa học • Đề xuất mô hình thu giảm để tìm ước lượng khả năng cực đại của tham số cho mô hình thống kê về tần số xuất hiện l-mer, giúp giảm chi phí tính toán cho giải pháp phân loại dựa trên sự phong phú của hệ gien.

• Đề xuất phương pháp dự đoán số cụm trong tập dữ liệu sử dụng phương pháp lựa chọn mô hình cho vấn đề phân loại dựa trên sự phong phú của hệ gien. • Cũng nhằm làm tăng chất lượng của giải pháp phân loại trình tự dựa trên sự phong phú của hệ gien, luận án đề xuất một phương pháp đếm l-mer với độ dài thay đổi giúp ước lượng mức độ phong phú của hệ gien hiệu quả hơn. • Đề xuất ý tưởng chọn đại diện của tập trình tự thuộc cùng hệ gien dựa trên thông tin gối đầu trình tự. Tập này cho thấy có khả năng bảo toàn đặc trưng hợp thành và tương đồng chứa đựng trong tập dữ liệu gốc.

Ý tưởng này có khả năng làm tăng chất lượng phân loại hay giảm chi phí tính toán cho các bài toán phân loại trình tự metagenomics.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Phân Loại Trình Tự Metagenomics Bằng Phân Lớp Và Gom Cụm Trong Khoa Học Máy Tính là một tài liệu chuyên sâu tập trung vào việc ứng dụng các kỹ thuật phân lớp và gom cụm trong khoa học máy tính để phân tích trình tự metagenomics. Tài liệu này cung cấp cái nhìn chi tiết về cách các thuật toán học máy có thể được sử dụng để xử lý dữ liệu sinh học phức tạp, giúp cải thiện độ chính xác và hiệu quả trong việc phân loại các trình tự gen. Độc giả sẽ hiểu rõ hơn về các phương pháp tính toán hiện đại và cách chúng được áp dụng trong lĩnh vực sinh học, mở ra cơ hội nghiên cứu và phát triển các giải pháp công nghệ tiên tiến.

Để mở rộng kiến thức về các thuật toán phân lớp dữ liệu, bạn có thể tham khảo Luận văn thạc sĩ nghiên cứu một số thuật toán học máy để phân lớp dữ liệu và thử nghiệm. Nếu quan tâm đến việc cải tiến các giải thuật gom cụm, Luận văn thạc sĩ khoa học máy tính cải tiến giải thuật kmeans cho bài toán gom cụm dữ liệu chuỗi thời gian là một tài liệu hữu ích. Ngoài ra, để tìm hiểu sâu hơn về các phương pháp học biểu diễn dữ liệu, bạn có thể xem Luận văn thạc sĩ hệ thống thông tin nghiên cứu về các phương pháp học biểu diễn dữ liệu. Mỗi tài liệu này đều mang đến góc nhìn mới mẻ và chuyên sâu, giúp bạn nâng cao hiểu biết trong lĩnh vực khoa học máy tính và ứng dụng của nó.