Tổng quan luận án

Sửa đổi sau dịch mã (Post-Translational Modification – PTM) là quá trình biến đổi hóa học xảy ra trên chuỗi polypeptide sau khi quá trình dịch mã kết thúc, giữ vai trò điều hòa cấu trúc, chức năng, sự ổn định và tương tác của protein trong tế bào. PTM tham gia điều khiển các quá trình sinh học như truyền tín hiệu tế bào, chu kỳ tế bào và đáp ứng miễn dịch. Sự sai lệch trong quá trình PTM liên quan đến các bệnh lý như ung thư, rối loạn thần kinh (Alzheimer, Parkinson) và bệnh truyền nhiễm. Việc xác định vị trí PTM bằng phương pháp thực nghiệm khối phổ (Mass Spectrometry – MS) có chi phí cao, thời gian kéo dài và khó triển khai ở quy mô lớn. Do đó, phát triển các phương pháp tính toán dựa trên học máy và xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP) là nhu cầu cấp thiết nhằm hỗ trợ nghiên cứu y sinh và thiết kế thuốc.

Khoảng trống nghiên cứu cốt lõi mà luận án chỉ ra là mâu thuẫn giữa năng lực học biểu diễn và điều kiện dữ liệu thực tế. Các phương pháp học máy truyền thống sử dụng đặc trưng sinh học thủ công có độ ổn định khi kích thước mẫu nhỏ nhưng bị giới hạn bởi không gian đặc trưng cố định, dẫn đến khả năng khái quát kém khi áp dụng cho loài mới hoặc dạng PTM khác. Ngược lại, các mô hình học sâu và mô hình ngôn ngữ protein (Protein Language Models – PLMs) cung cấp biểu diễn giàu ngữ cảnh nhưng dễ bị quá khớp trên tập dữ liệu PTM hạn chế, đồng thời đòi hỏi chi phí tính toán cao. Nhiều nghiên cứu học sâu lai tích hợp đặc trưng thủ công chủ yếu dựa trên thử nghiệm thực nghiệm mà chưa làm rõ cơ sở lý thuyết và mức độ đóng góp của từng thành phần. Hơn nữa, việc áp dụng kỹ thuật học chắt lọc tri thức (Knowledge Distillation – KD) để chuyển giao tri thức từ mô hình lớn sang mô hình gọn nhẹ cho các loài có dữ liệu hạn chế vẫn chưa được nghiên cứu một cách có hệ thống trong bài toán PTM.

Mục tiêu tổng quát của luận án là xây dựng và kiểm chứng khuôn khổ mô hình học máy và học sâu nhằm dự đoán vị trí sửa đổi sau dịch mã từ chuỗi protein trong điều kiện dữ liệu hạn chế. Các mục tiêu cụ thể gồm:

  1. Mục tiêu về lý thuyết mô hình: Hệ thống hóa cơ sở lý thuyết về mối quan hệ giữa bản chất chuỗi protein, biểu diễn đặc trưng và thuật toán học máy; đề xuất các kiến trúc mô hình gồm học máy tổ hợp, học sâu lai và học chắt lọc tri thức để khai thác thông tin cục bộ và ngữ cảnh toàn cục.
  2. Mục tiêu về thực nghiệm và kiểm chứng: Thiết kế các thực nghiệm trên nhiều bộ dữ liệu PTM nhằm đánh giá, so sánh và kiểm chứng hiệu năng của các mô hình đề xuất so với các công cụ hiện có.

Luận án đặt ra ba câu hỏi nghiên cứu:

  • (RQ1): Làm thế nào để xây dựng mô hình dự đoán vị trí PTM hiệu quả trong điều kiện dữ liệu huấn luyện rất hạn chế, bằng cách kết hợp học máy tổ hợp và đặc trưng lai giữa kiến thức sinh học và biểu diễn ngữ cảnh?
  • (RQ2): Việc sử dụng mô hình học sâu lai kết hợp embedding tĩnh/embedding động có giúp học được biểu diễn ngữ cảnh giàu thông tin từ chuỗi protein, qua đó nâng cao khả năng tổng quát hóa trên nhiều loại PTM và tập dữ liệu độc lập hay không?
  • (RQ3): Học chắt lọc tri thức có cho phép chuyển giao tri thức từ mô hình lớn sang mô hình gọn nhẹ để duy trì hiệu suất dự đoán cao trong bối cảnh dữ liệu PTM khan hiếm, đồng thời đảm bảo khả năng mở rộng sang các bài toán PTM khác hay không?

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các protein sửa đổi sau dịch mã thuộc ba dạng phổ biến có dữ liệu tương đối đầy đủ: SUMOylation (SUMO hóa), Succinylation (Succinyl hóa) và Ubiquitination (Ubiquitin hóa). Nghiên cứu tập trung vào chuỗi protein cấu trúc bậc một (định dạng FASTA) do tính phổ biến, tiết kiệm tài nguyên lưu trữ và phù hợp với mô hình NLP/học máy. Đối tượng thứ hai là các mô hình dự đoán vị trí PTM kết hợp giữa học máy, học sâu và kỹ thuật xử lý ngôn ngữ tự nhiên.
  • Phạm vi nghiên cứu: Luận án giới hạn bài toán ở việc phân loại nhị phân tại các vị trí axit amin mục tiêu Lysine (K) trên chuỗi protein; dữ liệu thực nghiệm được thu thập và đối chiếu từ các cơ sở dữ liệu sinh học chuẩn quốc tế như UniProt, dbPTM, PhosphoSitePlus, SCUD.

Tổng quan tài liệu và vị trí của luận án

Tổng quan nghiên cứu trong luận án được phân loại theo ba hướng tiếp cận chính:

  1. Hướng tiếp cận học máy truyền thống: Khai thác các thuật toán như Máy vector hỗ trợ (SVM), Rừng ngẫu nhiên (RF), Extreme Gradient Boosting (XGBoost), AdaBoost, LightGBM và Covariance Discriminant. Các mô hình này sử dụng đặc trưng thiết kế thủ công gồm PseAAC, CKSAAP, Binary Encoding (BE), PsePSSM, AAIndex. Các công trình tiêu biểu được tác giả điểm lại gồm: pSumo-CD (Chou và cộng sự, 2016) sử dụng Covariance Discriminant trên đặc trưng PseAAC; nghiên cứu của tác giả năm 2017 dùng AdaBoost; công cụ iAcet-Sumo (2018) dùng SVM kết hợp One-Hot; SUMOgo (2018) dùng RF; nghiên cứu dự đoán Glutarylation (2020) dùng AdaBoost với tập đặc trưng CKSAAP, 188D, EAAC; nghiên cứu dự đoán Crotonylation (2020) dùng LightGBM kết hợp BE, PAA, EBGW, KNN, PsePSSM; nghiên cứu dự đoán Ubiquitination (2021) dùng XGBoost kết hợp PseAAC, CKSAAP, ANBPB, AAindex, EBGW, BLOSUM62, PsePSSM; công cụ O-GlyThr (2023) dùng RF với 7 đặc trưng thủ công; HOTGpred (2024) dùng XGBoost với 25 đặc trưng kết hợp giữa embedding PLM và bộ mô tả truyền thống. Hạn chế của hướng này là phụ thuộc vào đặc trưng tĩnh, khó phản ánh tương tác phi tuyến dài hạn và thiếu khả năng tái sử dụng mô hình giữa các loài hoặc dạng PTM khác nhau.

  2. Hướng tiếp cận học sâu và học sâu lai: Áp dụng mạng tích chập một chiều (CNN1D) và mạng nơ-ron hồi quy (LSTM, Bi-LSTM) nhằm tự động trích xuất đặc trưng chuỗi. Các công cụ tiêu biểu gồm: DeepUbi (2019) và DeepSuccinylSite (2020) dùng CNN1D với mã hóa One-hot; Arabidosis Ubiquitination (2021) kết hợp CNN1D với đặc trưng AAIndex; LSTMCNNsucc (2021) dùng CNN1D kết hợp Bi-LSTM với lớp embedding; HubipPred (2021) dùng CNN1D kết hợp RNN và các thuộc tính hóa lý; DeepSucc (2022) dùng CNN1D kết hợp LSTM với CKSAAP, ACF, BLOSUM62, One-hot; Deep-KsuccSite (2022) dùng CNN1D kết hợp LSTM với đặc trưng tầng; ResSUMO (2022) dùng CNN1D với ma trận BLOSUM62; PSSM-SUMO (2024) dùng DNN với PSSM. Hạn chế của hướng này là việc tích hợp giữa đặc trưng thủ công và đặc trưng tự động chủ yếu mang tính thực nghiệm, thiếu phân tích đóng góp định lượng của từng thành phần, đồng thời có nguy cơ quá khớp khi dữ liệu PTM bị giới hạn.

  3. Hướng tiếp cận mô hình ngôn ngữ protein (PLMs) và mô hình ngôn ngữ lớn (LLMs): Xem chuỗi axit amin như ngôn ngữ sinh học để trích xuất vector nhúng ngữ cảnh từ BERT, T5, ProteinBERT, GPT-2. Các công trình tiêu biểu gồm: LMSuccSite (2022) kết hợp BiLSTM với ProtBERT và ESM; PTMGPT2 (2023) phát triển dựa trên biến thể Transformer của GPT-2; DeepPTM (2024) xây dựng kiến trúc lai giữa CNN, Transformer và đặc trưng thủ công; LMPTMSite (2024) tinh chỉnh mô hình Transformer với biểu diễn ngữ cảnh từ ProtT5 và ESM2. Hạn chế của nhóm phương pháp này là chi phí tính toán cao, các embedding tiền huấn luyện tổng quát chưa tối ưu riêng cho tín hiệu cục bộ của PTM, và thiếu cơ chế chuyển giao tri thức sang mô hình gọn nhẹ.

Nhóm tiếp cận Công cụ tiêu biểu Dạng PTM Thuật toán chính Phương pháp biểu diễn dữ liệu Năm công bố
Học máy truyền thống pSumo-CD SUMOylation Covariance Discriminant PseAAC 2016
Học máy truyền thống iAcet-Sumo SUMOylation SVM One-Hot 2018
Học máy truyền thống SUMOgo SUMOylation Random Forest Đặc trưng thủ công 2018
Học máy truyền thống Nghiên cứu của nhóm tác giả Glutarylation AdaBoost CKSAAP, 188D, EAAC 2020
Học máy truyền thống Nghiên cứu của nhóm tác giả Crotonylation LightGBM BE, PAA, EBGW, KNN, PsePSSM 2020
Học máy truyền thống Nghiên cứu của nhóm tác giả Ubiquitination XGBoost PseAAC, CKSAAP, AAindex, PsePSSM... 2021
Học máy truyền thống O-GlyThr O-Linked Glycosylation Random Forest 7 đặc trưng thủ công 2023
Học máy truyền thống HOTGpred O-Linked Glycosylation XGBoost 14 PLM embeddings + 11 descriptors 2024
Học sâu / Học sâu lai DeepUbi Ubiquitination CNN1D One-Hot 2019
Học sâu / Học sâu lai DeepSuccinylSite Succinylation CNN1D One-Hot 2020
Học sâu / Học sâu lai Arabidosis Ubiquitination CNN1D AAIndex 2021
Học sâu / Học sâu lai LSTMCNNsucc Succinylation CNN1D + Bi-LSTM Embedding 2021
Học sâu / Học sâu lai HubipPred Ubiquitination (người) CNN1D + RNN Binary và tính chất hóa lý 2021
Học sâu / Học sâu lai DeepSucc Succinylation CNN1D + LSTM CKSAAP, ACF, BLOSUM62, One-Hot 2022
Học sâu / Học sâu lai Deep-KsuccSite Succinylation CNN1D + LSTM Đặc trưng tầng (Cascading) 2022
Học sâu / Học sâu lai ResSUMO SUMOylation CNN1D BLOSUM62 2022
Học sâu / Học sâu lai PSSM-SUMO SUMOylation DNN PSSM 2024
Mô hình ngôn ngữ protein LMSuccSite Succinylation BiLSTM ProtBERT, ESM embeddings 2022
Mô hình ngôn ngữ protein PTMGPT2 Nhiều dạng PTM GPT-2 Transformer Pre-trained language embeddings 2023
Mô hình ngôn ngữ protein DeepPTM Nhiều dạng PTM CNN + Transformer PLM embeddings + Handcrafted 2024
Mô hình ngôn ngữ protein LMPTMSite Nhiều dạng PTM Transformer fine-tuning ProtT5, ESM2 contextual embeddings 2024

Khoảng trống luận án lựa chọn giải quyết: Xây dựng khung kết hợp có hệ thống giữa đặc trưng sinh học thủ công và biểu diễn ngữ cảnh NLP; thiết kế kiến trúc học sâu lai có khả năng trích xuất đồng thời motif cục bộ và phụ thuộc chuỗi dài; và thiết lập mô hình học chắt lọc tri thức nhằm chuyển giao biểu diễn từ dữ liệu đa loài sang mô hình gọn nhẹ cho các loài có dữ liệu thực nghiệm khan hiếm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết sinh học và phát biểu bài toán: Protein được cấu tạo từ 20 axit amin cơ bản qua liên kết peptide. Chuỗi axit amin cấu trúc bậc một được biểu diễn dưới dạng ký tự FASTA. Bài toán dự đoán PTM được quy về bài toán phân lớp nhị phân thông qua kỹ thuật cửa sổ trượt (sliding window) kích thước cố định $w = 2n + 1$, với axit amin nghi ngờ bị biến đổi (Lysine - K) nằm ở trung tâm. Tập dữ liệu đầu vào gồm các đoạn peptide $X = {x_1, x_2, \dots, x_n}$ và tập nhãn $Y = {y_1, y_2, \dots, y_n}$, trong đó $y_i = 1$ nếu tâm cửa sổ là vị trí PTM đã được xác nhận thực nghiệm (mẫu dương), và $y_i = 0$ nếu tâm cửa sổ là axit amin cùng loại chưa được xác nhận biến đổi (mẫu âm). Mục tiêu là xây dựng hàm phân loại: $$f : X \rightarrow Y$$

Phương pháp mã hóa và trích xuất đặc trưng:

  1. Đặc trưng dựa trên chuỗi (thủ công):

    • CKSAAP (Composition of k-Spaced Amino Acid Pairs): Tính tần suất xuất hiện của các cặp axit amin cách nhau $k$ vị trí ($k = 0, 1, 2, 3, 4, 5$). Với mỗi giá trị $k$, vector đặc trưng có kích thước 400 chiều, tính theo công thức: $$\left(\frac{N_{AA}}{N_{total}}, \frac{N_{AC}}{N_{total}}, \dots, \frac{N_{YY}}{N_{total}}\right)$$ trong đó $N_{total} = L - k - 1$ ($L$ là độ dài đoạn peptide).
    • AAindex: Mã hóa mỗi axit amin bằng 12 chỉ số lý hóa trích xuất từ cơ sở dữ liệu AAindex, bao gồm: điện tích ròng, tần suất tạo alpha-helix chuẩn hóa, xu hướng tạo alpha-helix, tỷ lệ thành phần axit amin trong protein nội bào, tỷ lệ thành phần trong màng protein xuyên màng nhiều vùng, thể tích phân tử nước kết tinh, mức độ tiếp xúc dung môi, năng lượng chuyển tiếp môi trường hữu cơ/nước, tỷ lệ trong protein màng, entropy hình thành, xu hướng cấu trúc beta-strand, và năng lượng phân bố tối ưu tương đối.
    • BINARY: Biểu diễn mỗi axit amin bằng một vector nhị phân trực giao 20 chiều (ví dụ: A là 10000000000000000000, C là 01000000000000000000).
    • AAC (Amino Acid Composition): Tần suất xuất hiện của 20 axit amin trong đoạn peptide, tính bằng $f(t) = \frac{N(t)}{N}$, với $t \in {A, C, D, \dots, Y}$.
    • CTDC (Composition of Tripeptide Distribution of Charge): Tỷ lệ thành phần của ba nhóm điện tích: Tích điện dương ${K, R}$, Trung tính ${N, A, C, G, Q, H, L, I, F, M, P, T, S, W, Y, V}$ và Tích điện âm ${D, E}$.
  2. Đặc trưng dựa trên kỹ thuật NLP:

    • Coi chuỗi protein như văn bản sinh học, trong đó motif và domain tương ứng với từ hoặc ngữ. Áp dụng kỹ thuật tách từ (tokenization) theo $n$-gram ($n = 1, 2, 3$).
    • Sử dụng embedding ngữ cảnh tĩnh qua Word2Vec để ánh xạ các $n$-gram thành vector biểu diễn liên tục, hoặc sử dụng lớp embedding động (Dynamic Embedding) được tối ưu hóa trực tiếp trong quá trình huấn luyện mạng nơ-ron sâu.

Khung phương pháp phân tích và học máy:

  • Học máy tổ hợp (Ensemble Learning): Kết hợp các bộ phân loại độc lập thuộc nhóm học song song (Random Forest) và học tuần tự (XGBoost) cùng SVM thông qua cơ chế bỏ phiếu có trọng số (weighted voting) nhằm giảm phương sai và giảm sai lệch.
  • Học sâu lai (Hybrid Deep Learning): Kết hợp CNN1D để trích xuất các motif cục bộ và mạng LSTM/Bi-LSTM để mô hình hóa sự phụ thuộc tuần tự dài hạn dọc theo chuỗi protein.
  • Học chắt lọc tri thức (Knowledge Distillation): Áp dụng khung Giáo viên - Học viên (Teacher-Student) dựa trên phương pháp BAN (Born-Again Networks) hoặc KD đặc trưng trung gian. Mô hình Giáo viên được huấn luyện trên dữ liệu đa loài quy mô lớn nhằm học biểu diễn khái quát, sau đó chuyển giao tri thức thông qua phân phối xác suất mềm (soft labels) sang mô hình Học viên gọn nhẹ, được điều chỉnh bằng nhiệt độ $\tau$ và trọng số cân bằng $\alpha$.

Nguồn dữ liệu và quy trình tiền xử lý:

  • Dữ liệu PTM được thu thập từ các cơ sở dữ liệu UniProt, dbPTM, PhosphoSitePlus, SCUD.
  • Quy trình chuẩn hóa gồm: làm sạch dữ liệu thô, loại bỏ các chuỗi trùng lặp; trích xuất mẫu bằng cửa sổ trượt kích thước $2n + 1$ (sử dụng padding token đối với vị trí gần hai đầu mút chuỗi protein); giảm độ dư thừa trình tự thông qua công cụ CD-HIT theo ngưỡng tương đồng xác định; xử lý mất cân bằng lớp bằng kỹ thuật undersampling mẫu âm tính theo các tỷ lệ cố định (1:1, 1:2, 1:3), không sử dụng oversampling nhằm tránh tạo dữ liệu sinh học nhân tạo thiếu kiểm chứng thực nghiệm.

Phương pháp và chỉ số đánh giá hiệu năng: Mô hình được đánh giá qua kiểm thử chéo $k$-fold ($k = 5, 10$) và kiểm thử độc lập (Independent Test). Các chỉ số đánh giá gồm: $$SEN = \frac{TP}{TP + FN}$$ $$SPE = \frac{TN}{TN + FP}$$ $$ACC = \frac{TP + TN}{TP + FN + TN + FP}$$ $$MCC = \frac{(TP \times TN) - (FN \times FP)}{\sqrt{(TP + FN)(TN + FP)(TP + FP)(TN + FN)}}$$ $$AUC = \frac{TPR - FPR + 1}{2}$$ trong đó $TPR = \frac{TP}{TP + FN}$, $FPR = \frac{FP}{FP + TN}$.

Nội dung chính theo từng chương

Chương 1: Tổng quan dự đoán vị trí sửa đổi sau dịch mã trong chuỗi protein và các kiến thức nền tảng

Chương 1 hệ thống hóa cơ sở sinh học phân tử của quá trình tổng hợp protein qua phiên mã và dịch mã, cấu trúc protein từ bậc một đến bậc bốn, và các dạng biến đổi sau dịch mã. Văn bản xác định có hơn 600 loại PTM đã được phát hiện, xuất hiện trên khoảng 50% đến 90% protein ở người, liên quan mật thiết đến vi môi trường khối u và nhiều bệnh lý nguy hiểm. Tác giả phân tích nguyên lý của phương pháp thực nghiệm khối phổ (MS), chỉ ra rào cản về chi phí và thời gian, từ đó làm rõ vai trò của phương pháp tính toán.

Nội dung chương trình bày quy trình quy đổi bài toán nhận diện vị trí PTM trên chuỗi protein dài thành bài toán phân loại nhị phân dựa trên kỹ thuật cửa sổ trượt. Tác giả khảo sát các cơ sở dữ liệu PTM chuẩn (PhosphoSitePlus, UniProt, dbPTM, PLMD, SCUD, NCBI, EPSD), đồng thời phân tích các phương pháp mã hóa chuỗi (CKSAAP, AAindex, BINARY, AAC, CTDC) và các phương pháp NLP (One-hot, Word2Vec, GloVe, FastText, BERT, GPT-2). Chương tổng kết ba nhóm phương pháp dự đoán hiện có gồm học máy truyền thống, học sâu lai và mô hình ngôn ngữ protein (PLMs), qua đó xác định khoảng trống nghiên cứu và thiết lập ba câu hỏi nghiên cứu (RQ1, RQ2, RQ3).

Chương 2: Mô hình học máy tổ hợp dự đoán vị trí sửa đổi sau dịch mã trong chuỗi protein

Chương 2 tập trung giải quyết bài toán dự đoán vị trí SUMOylation trong điều kiện dữ liệu hạn chế, thông qua việc đề xuất mô hình học máy tổ hợp mang tên RSX_SUMO (kết hợp ba thuật toán: Random Forest, Support Vector Machine và Extreme Gradient Boosting). Tác giả phân tích cơ sở lý thuyết của các kỹ thuật ensemble song song (Bagging/RF) nhằm giảm phương sai và ensemble tuần tự (Boosting/XGBoost) nhằm giảm sai lệch.

Về dữ liệu thực nghiệm, tác giả thu thập tổng số 2.623 protein chứa 4.654 vị trí SUMOylation từ dbPTM và các nguồn công bố. Sau khi làm sạch và loại bỏ trùng lặp, bộ dữ liệu còn lại 1.160 protein duy nhất với 2.109 vị trí SUMO. Bộ dữ liệu được phân chia thành: 1.000 protein (1.820 vị trí) dùng làm tập huấn luyện và 160 protein (289 vị trí) dùng làm tập kiểm thử độc lập.

Tập dữ liệu SUMOylation Số lượng protein Số lượng vị trí SUMO
Tổng dữ liệu thu thập 2.623 4.654
Dữ liệu sau loại bỏ trùng lặp 1.160 2.109
Dữ liệu huấn luyện 1.000 1.820
Dữ liệu kiểm tra độc lập 160 289

Chương 2 tiến hành khảo sát thực nghiệm trên các vector đặc trưng đơn lẻ (CKSAAP, AAindex, BINARY, AAC, CTDC) và các tập đặc trưng lai ghép. Kết quả thực nghiệm qua kiểm thử chéo và kiểm thử độc lập chứng minh rằng việc kết hợp ba thuật toán RF, SVM và XGBoost bằng chiến lược bỏ phiếu có trọng số giúp đạt độ chính xác (ACC) và độ ổn định cao hơn so với việc sử dụng từng mô hình cơ sở riêng lẻ trên các đặc trưng nghiên cứu.

Chương 3: Mô hình học sâu lai kết hợp xử lý ngôn ngữ tự nhiên dự đoán vị trí sửa đổi sau dịch mã trong chuỗi protein

Chương 3 phát triển các kiến trúc học sâu lai nhằm giảm sự phụ thuộc vào việc thiết kế đặc trưng thủ công, tăng cường khả năng tự học biểu diễn từ chuỗi protein thô cho hai dạng PTM: SUMOylation và Succinylation.

Đối với SUMOylation, tác giả đề xuất mô hình CLW_SUMO dựa trên kiến trúc học sâu lai kết hợp CNN1D và LSTM với kỹ thuật NLP. Quy trình mã hóa gồm ba bước: (1) tách chuỗi protein thành các token bằng $n$-gram, (2) chuyển đổi token thành chỉ số số dựa trên từ điển, và (3) sử dụng ma trận nhúng Word2Vec làm đầu vào cho lớp embedding trong mạng CNN1D và LSTM. Trong kiến trúc này, CNN1D đảm nhận việc trích xuất motif cục bộ, trong khi LSTM nắm bắt phụ thuộc dài hạn dọc theo chuỗi. Hiệu suất của CLW_SUMO được kiểm chứng trên kiểm thử chéo và kiểm thử độc lập, sau đó so sánh với các công cụ dự đoán SUMOylation khác.

Đối với Succinylation, tác giả đề xuất mô hình CBILSuccSite sử dụng kiến trúc lai giữa CNN1D và Bi-LSTM kết hợp kỹ thuật embedding động (Dynamic Embedding). Lớp embedding động cho phép các vector biểu diễn axit amin được cập nhật liên tục qua quá trình lan truyền ngược. Hiệu năng mô hình được đánh giá thông qua kiểm thử chéo 10 lần (10-fold cross-validation) và trên hai bộ dữ liệu kiểm thử độc lập (Bộ dữ liệu kiểm thử 1 và Bộ dữ liệu kiểm thử 2). Các chỉ số đánh giá gồm ACC, MCC và AUC được so sánh đối chuẩn với các công cụ dự đoán succinyl hóa hiện hành như DeepSucc, Deep-KsuccSite và LSTMCNNsucc.

Chương 4: Mô hình học chắt lọc tri thức kết hợp xử lý ngôn ngữ tự nhiên dự đoán vị trí sửa đổi sau dịch mã trong chuỗi protein

Chương 4 giải quyết bài toán dự đoán vị trí Ubiquitination trên loài thực vật Arabidopsis thaliana – một đối tượng có dữ liệu thực nghiệm rất ít và hạn chế, đồng thời xem xét khả năng tối ưu hóa tài nguyên tính toán. Tác giả đề xuất mô hình học chắt lọc tri thức mang tên KD_ArapUbi (dựa trên biến thể KD2).

Cơ chế hoạt động của mô hình dựa trên khung Giáo viên - Học viên (Teacher-Student):

  • "Mô hình Giáo viên" có kiến trúc phức tạp, được huấn luyện trên bộ dữ liệu Ubiquitination đa loài thực vật nhằm tiếp thu không gian biểu diễn ngữ cảnh rộng.
  • "Mô hình Học viên" (KD_ArapUbi) có kiến trúc gọn nhẹ, được huấn luyện trên tập dữ liệu chuyên biệt của loài Arabidopsis thaliana dưới sự hướng dẫn của mô hình Giáo viên, thông qua hàm mất mát chắt lọc kết hợp nhãn cứng và nhãn mềm.

Chương này thực hiện phân tích tần suất xuất hiện của $n$-gram (đơn lẻ 1-gram, 30 cặp 2-gram xuất hiện nhiều nhất, và 30 bộ ba 3-gram xuất hiện nhiều nhất), đồng thời sử dụng trực quan hóa t-SNE để quan sát không gian đặc trưng của dữ liệu trước và sau huấn luyện ở cả mô hình Giáo viên và mô hình Học viên. Luận án khảo sát thực nghiệm ảnh hưởng của hai siêu tham số chắt lọc là hệ số cân bằng $\alpha$ và nhiệt độ $\tau$. Kết quả kiểm thử chéo 5 lần và kiểm thử độc lập cho thấy mô hình học chắt lọc tri thức đạt các chỉ số ACC, MCC và AUC cạnh tranh, giảm số lượng tham số và mức sử dụng tài nguyên tính toán so với mô hình gốc, đồng thời cải thiện cơ cấu lỗi dự đoán (giảm FP và FN). Phần cuối chương tổng hợp so sánh toàn diện bốn mô hình đã đề xuất trong luận án (RSX_SUMO, CLW_SUMO, CBILSuccSite, KD_ArapUbi).

Kết quả và những đóng góp mới

Luận án tự tổng kết ba đóng góp chính về mặt khoa học và thực tiễn:

  1. Về cơ sở lý luận và tổng quan hệ thống: Luận án hệ thống hóa, phân tích và so sánh các phương pháp từ truyền thống, học máy tổ hợp, học sâu lai đến các kỹ thuật NLP và mô hình ngôn ngữ protein trong bài toán dự đoán vị trí PTM; phân tích ưu điểm và hạn chế của từng hướng tiếp cận, thiết lập cơ sở phương pháp luận cho việc xây dựng mô hình dự đoán vị trí PTM trong điều kiện dữ liệu hạn chế.

  2. Về khai thác kỹ thuật NLP cho dữ liệu protein: Chứng minh tính khả thi và hiệu quả của việc tiếp cận chuỗi protein bậc một dưới góc độ ngôn ngữ sinh học; áp dụng các phương pháp mã hóa token hóa $n$-gram, ma trận nhúng Word2Vec và embedding động, giúp mô hình nắm bắt được ngữ cảnh cục bộ và phụ thuộc chuỗi dài mà không phụ thuộc hoàn toàn vào đặc trưng thiết kế thủ công.

  3. Về đề xuất và phát triển các mô hình mới: Xây dựng bốn mô hình tính toán cho ba dạng PTM phổ biến, đạt hiệu suất cao trên các tập dữ liệu kiểm chuẩn:

    • Mô hình RSX_SUMO: Ứng dụng học máy tổ hợp kết hợp RF, SVM, XGBoost với trọng số và các vector đặc trưng lai ghép để dự đoán vị trí SUMOylation.
    • Mô hình CLW_SUMO: Ứng dụng học sâu lai kết hợp CNN1D, LSTM và ma trận nhúng Word2Vec dựa trên $n$-gram để dự đoán vị trí SUMOylation.
    • Mô hình CBILSuccSite: Ứng dụng học sâu lai kết hợp CNN1D, Bi-LSTM và kỹ thuật embedding động để dự đoán vị trí Succinylation.
    • Mô hình KD_ArapUbi: Ứng dụng học chắt lọc tri thức (Teacher-Student) kết hợp NLP để dự đoán vị trí Ubiquitination ở loài Arabidopsis thaliana, giải quyết rào cản dữ liệu hạn chế ở một loài cụ thể và giảm chi phí tính toán.
Mô hình đề xuất Dạng PTM mục tiêu Thuật toán / Kiến trúc nền tảng Phương pháp mã hóa chuỗi Đối tượng / Loài dữ liệu
RSX_SUMO SUMOylation Học máy tổ hợp (RF + SVM + XGBoost) Đặc trưng lai (CKSAAP, AAindex, BINARY, AAC, CTDC) Dữ liệu tổng hợp (dbPTM, 1.160 protein)
CLW_SUMO SUMOylation Học sâu lai (CNN1D + LSTM) $n$-gram Tokenization + Ma trận Word2Vec Dữ liệu SUMOylation chuẩn
CBILSuccSite Succinylation Học sâu lai (CNN1D + Bi-LSTM) Lớp nhúng động (Dynamic Embedding) Dữ liệu Succinylation đa tập kiểm thử
KD_ArapUbi Ubiquitination Học chắt lọc tri thức (Teacher-Student) Tokenization $n$-gram + Biểu diễn ngữ cảnh Loài Arabidopsis thaliana (từ nền đa loài)

Kiến nghị và giải pháp đề xuất từ luận án: Các mô hình tính toán đề xuất có thể được sử dụng làm công cụ sàng lọc sơ bộ trước khi tiến hành thực nghiệm sinh học phân tử hoặc khối phổ; áp dụng mô hình học chắt lọc tri thức như một giải pháp chuyển giao tri thức khả thi cho các bài toán tin sinh học có tập mẫu thực nghiệm nhỏ.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Phạm vi nghiên cứu mới tập trung vào ba dạng PTM phổ biến (SUMOylation, Succinylation, Ubiquitination) trên axit amin mục tiêu Lysine (K), trong khi thực tế có hơn 600 loại PTM khác nhau xảy ra trên nhiều loại axit amin khác.
  • Mô hình chỉ sử dụng cấu trúc protein bậc một (chuỗi trình tự FASTA) làm đầu vào; chưa tích hợp thông tin cấu trúc không gian ba chiều (bậc hai, bậc ba, bậc bốn) do nguồn dữ liệu cấu trúc 3D trong các ngân hàng protein còn thiếu hụt và đòi hỏi tài nguyên lưu trữ lớn.
  • Dữ liệu PTM thực tế có mức độ mất cân bằng lớp tự nhiên cao giữa vị trí bị biến đổi và vị trí không biến đổi; phương pháp tiền xử lý vẫn phải sử dụng kỹ thuật undersampling mẫu âm tính có kiểm soát.

Hướng nghiên cứu tiếp theo:

  • Mở rộng phạm vi áp dụng của các mô hình sang các dạng PTM khác (chẳng hạn như phosphoryl hóa, methyl hóa, glycosyl hóa) và mở rộng kiểm chứng trên nhiều loài sinh vật khác nhau.
  • Tích hợp thêm các đặc trưng cấu trúc bậc cao của protein khi các cơ sở dữ liệu cấu trúc 3D được cập nhật đầy đủ hơn.
  • Nghiên cứu sâu hơn về việc khai thác và chắt lọc tri thức từ các mô hình ngôn ngữ protein quy mô lớn (PLMs) nhằm nâng cao độ chính xác và khả năng tổng quát hóa trên các tập dữ liệu cực nhỏ.

Giá trị tham khảo

Luận án là tài liệu tham khảo hữu ích cho các nhóm đối tượng sau:

  • Nghiên cứu sinh và học viên cao học ngành Khoa học máy tính, Hệ thống thông tin và Công nghệ thông tin: Tham khảo quy trình xây dựng các mô hình học máy tổ hợp, kiến trúc học sâu lai kết hợp CNN1D và LSTM/Bi-LSTM, cũng như phương pháp chuyển giao tri thức bằng học chắt lọc tri thức (Knowledge Distillation) cho dữ liệu chuỗi.
  • Giảng viên và nhà nghiên cứu trong lĩnh vực Tin sinh học (Bioinformatics) và Sinh học tính toán: Tham khảo phương pháp luận biểu diễn chuỗi sinh học theo cách tiếp cận xử lý ngôn ngữ tự nhiên ($n$-gram, Word2Vec, Dynamic Embedding) và kỹ thuật tiền xử lý dữ liệu chuỗi bằng cửa sổ trượt, chuẩn hóa CD-HIT.
  • Các nhà nghiên cứu y sinh học và dược học: Sử dụng các kết quả dự đoán và mô hình tính toán như một công cụ hỗ trợ sàng lọc các vị trí sửa đổi sau dịch mã tiềm năng trước khi thiết kế các thí nghiệm phân tích khối phổ hoặc phát triển thuốc nhắm đích.

Các nội dung có giá trị tham khảo nổi bật bao gồm: quy trình tiền xử lý dữ liệu PTM tại Chương 1; thiết kế thực nghiệm so sánh đóng góp của các nhóm đặc trưng thủ công và đặc trưng lai tại Chương 2; giải pháp mã hóa Word2Vec và embedding động trong kiến trúc CNN-LSTM tại Chương 3; và khung thực nghiệm chắt lọc tri thức giữa mô hình Giáo viên đa loài và mô hình Học viên đơn loài tại Chương 4.

Câu hỏi thường gặp

  1. Bài toán dự đoán vị trí PTM trong chuỗi protein được chuyển đổi thành bài toán học máy như thế nào? Bài toán được chuyển đổi thành bài toán phân loại nhị phân thông qua kỹ thuật cửa sổ trượt (sliding window) kích thước $2n + 1$ di chuyển dọc theo chuỗi protein. Tâm của cửa sổ là axit amin nghi ngờ xảy ra biến đổi (như Lysine - K). Nếu vị trí tâm đã được xác nhận thực nghiệm là có PTM, đoạn peptide được gán nhãn dương ($y = 1$); nếu là axit amin cùng loại nhưng chưa được xác nhận có PTM, đoạn peptide được gán nhãn âm ($y = 0$). Mô hình học máy nhận đầu vào là các đoạn peptide này để dự đoán xác suất vị trí tâm là PTM hay Non-PTM.

  2. Bốn mô hình tính toán cụ thể được tác giả đề xuất trong luận án gồm những mô hình nào? Tác giả đề xuất bốn mô hình gồm: (1) RSX_SUMO - mô hình học máy tổ hợp (RF, SVM, XGBoost) dựa trên đặc trưng lai ghép cho SUMOylation; (2) CLW_SUMO - mô hình học sâu lai (CNN1D kết hợp LSTM) sử dụng embedding Word2Vec dựa trên $n$-gram cho SUMOylation; (3) CBILSuccSite - mô hình học sâu lai (CNN1D kết hợp Bi-LSTM) sử dụng embedding động cho Succinylation; và (4) KD_ArapUbi - mô hình học chắt lọc tri thức (Teacher-Student) kết hợp NLP cho Ubiquitination trên loài Arabidopsis thaliana.

  3. Tại sao luận án lại lựa chọn cấu trúc bậc một (chuỗi FASTA) thay vì cấu trúc không gian 3D của protein? Theo khảo sát của tác giả, cấu trúc protein bậc cao (bậc hai, ba, bốn dưới dạng ảnh 3D) trong các ngân hàng dữ liệu như UniProt, NCBI, Ensembl còn thiếu hụt, chưa đầy đủ và đòi hỏi dung lượng bộ nhớ lớn để lưu trữ và tính toán. Ngược lại, dữ liệu cấu trúc bậc một dạng chuỗi FASTA rất phong phú, tiết kiệm tài nguyên lưu trữ và phù hợp với các giải thuật học máy, học sâu và kỹ thuật xử lý ngôn ngữ tự nhiên.

  4. Quy trình mã hóa dữ liệu theo kỹ thuật NLP trong mô hình CLW_SUMO được thực hiện qua các bước nào? Quy trình gồm ba bước: Bước 1 là tách chuỗi protein (tokenization) thành các đơn vị con bằng kỹ thuật $n$-gram; Bước 2 là chuyển đổi các token thành các chỉ số số dựa trên bộ từ điển xây dựng được; Bước 3 là sử dụng ma trận nhúng Word2Vec đã huấn luyện trước làm đầu vào cho lớp embedding kết nối trực tiếp với mạng CNN1D và LSTM.

  5. Cơ chế hoạt động của mô hình chắt lọc tri thức KD_ArapUbi ở Chương 4 có điểm gì đặc thù? Mô hình áp dụng khung Giáo viên - Học viên (Teacher-Student) nhằm giải quyết tình trạng dữ liệu khan hiếm ở loài Arabidopsis thaliana. "Mô hình Giáo viên" được huấn luyện trước trên tập dữ liệu Ubiquitination đa loài thực vật để học các mẫu biểu diễn tổng quát; sau đó, tri thức này được chắt lọc và truyền sang "Mô hình Học viên" (KD_ArapUbi) có kích thước nhỏ gọn hơn, được huấn luyện trên tập dữ liệu chuyên biệt của Arabidopsis thaliana dưới sự điều chỉnh của nhiệt độ $\tau$ và trọng số $\alpha$.

Kết luận

Luận án tiến sĩ của NCS Trần Thị Xuân đã giải quyết bài toán dự đoán vị trí sửa đổi sau dịch mã (PTM) trong điều kiện dữ liệu hạn chế thông qua việc kết hợp các mô hình học máy tổ hợp, học sâu lai và kỹ thuật xử lý ngôn ngữ tự nhiên. Nghiên cứu đã đề xuất và kiểm chứng thực nghiệm bốn mô hình tính toán gồm RSX_SUMO, CLW_SUMO, CBILSuccSite và KD_ArapUbi cho ba dạng PTM phổ biến là SUMOylation, Succinylation và Ubiquitination. Kết quả nghiên cứu chứng minh tính khả thi của việc khai thác biểu diễn chuỗi theo hướng ngôn ngữ sinh học và việc áp dụng học chắt lọc tri thức để xây dựng các mô hình phân loại gọn nhẹ, có độ chính xác cao và tiết kiệm tài nguyên tính toán.