Đồ án tối ưu hóa lưu trữ và phân tích dữ liệu y tế với kiến trúc data lakehouse ĐH SPKT TP.HCM

Giải pháp tối ưu hóa lưu trữ và phân tích dữ liệu y tế bằng kiến trúc data lakehouse, giúp nâng cao hiệu suất xử lý và đảm bảo an toàn thông tin.

• Tác giả: Nguyễn Phi Long
• Người hướng dẫn: ThS. Lê Thị Minh Châu
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Tối ưu hóa lưu trữ và phân tích dữ liệu y tế với kiến trúc Data Lakehouse
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan kiến trúc data lakehouse y tế ĐH SPKT TP

Nghiên cứu từ ĐH SPKT TP.HCM đề xuất mô hình Data Lakehouse nhằm giải quyết bài toán quản trị dữ liệu y tế quy mô lớn. Hệ thống y tế hiện đại liên tục sinh ra lượng dữ liệu khổng lồ. Nguồn dữ liệu bao gồm bệnh án điện tử, hình ảnh y khoa và tín hiệu thiết bị ICU. Kiến trúc truyền thống bộc lộ nhiều điểm nghẽn về tốc độ và chi phí lưu trữ. Data Lakehouse ra đời như sự giao thoa hoàn hảo giữa Data Lake và Data Warehouse. Nền tảng này cho phép xử lý dữ liệu đa dạng cấu trúc với chi phí thấp. Đồng thời, hệ thống bảo đảm tính toàn vẹn thông tin và hiệu năng tính toán cao. Nghiên cứu tập trung ứng dụng định dạng bảng Delta Lake trên nền tảng điện toán hiện đại. Dữ liệu y tế được quản lý tập trung và kiểm soát chặt chẽ theo từng giai đoạn. Đề tài mở ra phương pháp lưu trữ dữ liệu y tế an toàn và linh hoạt. Mô hình này hỗ trợ đắc lực cho các bác sĩ và nhà nghiên cứu trong việc truy xuất bệnh án kịp thời.

1.1. Bối cảnh nghiên cứu tại Trường ĐH SPKT TP.HCM

Khoa Công nghệ Thông tin tại Trường ĐH SPKT TP.HCM luôn thúc đẩy nghiên cứu giải quyết thách thức dữ liệu y tế. Đề tài khóa luận do sinh viên thực hiện dưới sự hướng dẫn chuyên môn của Thạc sĩ Lê Thị Minh Châu. Mục tiêu trọng tâm là xây dựng hạ tầng dữ liệu y tế mở, hiệu quả và tối ưu chi phí. Đề tài lựa chọn tiếp cận công nghệ dữ liệu tiên tiến nhất. Toàn bộ thiết kế hệ thống đều dựa trên nhu cầu thực tế của các cơ sở khám chữa bệnh. Nghiên cứu thể hiện rõ tính ứng dụng thực tiễn và tinh thần đổi mới công nghệ.

1.2. Khái niệm kiến trúc Data Lakehouse trong xử lý dữ liệu

Data Lakehouse là kiến trúc mở tích hợp kho lưu trữ đối tượng chi phí thấp với công cụ truy vấn tốc độ cao. Mô hình này loại bỏ các kho chứa dữ liệu cô lập truyền thống. Công nghệ này khắc phục nhược điểm thiếu tính toàn vẹn của Data Lake nguyên bản. Đồng thời, kiến trúc giải quyết rào cản chi phí đắt đỏ của Data Warehouse khi mở rộng. Hệ thống sử dụng một lớp quản lý siêu dữ liệu thông minh trên đỉnh bộ lưu trữ. Nhờ vậy, nền tảng hỗ trợ đồng thời cả báo cáo phân tích kinh doanh lẫn học máy nâng cao. Quản trị viên dễ dàng áp dụng chính sách bảo mật đồng bộ trên toàn bộ dữ liệu lâm sàng.

II. Phân tích thách thức lưu trữ và phân tích dữ liệu y tế

Dữ liệu y tế sở hữu những đặc tính phức tạp và nhạy cảm vượt trội. Tốc độ thu nhận dữ liệu diễn ra liên tục từng giây từ thiết bị hồi sức tích cực ICU. Khối lượng thông tin bệnh án tăng trưởng theo cấp số nhân mỗi năm. Sự phân mảnh định dạng là thách thức lớn nhất của các bệnh viện. Dữ liệu có cấu trúc như thông tin nhân khẩu nằm tách biệt với bệnh án phi cấu trúc. Các bảng dữ liệu bán cấu trúc từ máy xét nghiệm thường không đồng nhất về lược đồ. Việc tích hợp dữ liệu truyền thống gây tốn kém thời gian và dễ phát sinh sai sót. Dữ liệu bẩn hoặc sai lệch có thể dẫn tới hậu quả lâm sàng nghiêm trọng. Hơn nữa, yêu cầu bảo vệ quyền riêng tư người bệnh đặt ra áp lực lớn về mặt pháp lý. Việc sao chép dữ liệu qua nhiều tầng trung gian làm gia tăng rủi ro rò rỉ thông tin cá nhân. Cơ sở hạ tầng phân tích cũ khó đáp ứng nhu cầu truy vấn tức thời cho việc chẩn đoán khẩn cấp.

2.1. Hạn chế của kiến trúc kho dữ liệu truyền thống

Mô hình Data Warehouse truyền thống đòi hỏi cấu trúc dữ liệu nghiêm ngặt trước khi nạp vào. Quy trình ETL phức tạp tiêu tốn lượng lớn tài nguyên tính toán. Khi lược đồ nguồn thay đổi, toàn bộ quy trình xử lý dễ bị đứt gãy. Ngược lại, Data Lake thuần túy tuy lưu trữ được dữ liệu thô nhưng lại thiếu kiểm soát chất lượng. Tình trạng đầm lầy dữ liệu thường xuyên xảy ra do thiếu cơ chế siêu dữ liệu. Dữ liệu rác khiến công tác nghiên cứu khoa học gặp nhiều sai số. Ngoài ra, việc thiếu hỗ trợ giao dịch đồng thời gây xung đột dữ liệu nghiêm trọng. Hai người dùng ghi cùng lúc có thể làm hỏng toàn bộ bảng dữ liệu bệnh nhân.

2.2. Khó khăn trong tích hợp và chuẩn hóa tập dữ liệu MIMIC IV

Tập dữ liệu lâm sàng MIMIC-IV 3.1 từ Viện MIT chứa hàng triệu bản ghi y tế thực tế. Dữ liệu được chia thành hai nhánh lớn gồm hành chính bệnh án hosp và chăm sóc tích cực icu. Kích thước dữ liệu đồ sộ gây áp lực cực lớn lên bộ nhớ xử lý. Nhiều bảng ghi nhận thiếu trường thông tin do sai lệch nhập liệu ban đầu. Việc ẩn danh dữ liệu nhằm tuân thủ chuẩn HIPAA làm tăng độ phức tạp khi liên kết khóa ngoại. Các bản ghi thời gian thường bị dịch chuyển ngẫu nhiên để bảo vệ danh tính bệnh nhân. Những yếu tố này đòi hỏi công cụ xử lý phải có cơ chế xác thực dữ liệu linh hoạt.

III. Giải pháp tối ưu hóa dữ liệu y tế bằng Delta Lakehouse

Nghiên cứu ứng dụng công nghệ Delta Lake nhằm giải quyết toàn diện các bất cập trong lưu trữ dữ liệu y tế. Delta Lake bổ sung lớp lưu trữ giao dịch ACID trên nền bộ nhớ đối tượng. Cơ chế Write-Ahead Log ghi nhận mọi biến động dữ liệu một cách độc lập và bền vững. Nhờ đó, hệ thống ngăn ngừa triệt để lỗi ghi hỏng bảng khi có nhiều truy cập đồng thời. Kiến trúc Medallion ba lớp gồm Bronze, Silver và Gold được áp dụng bài bản vào quy trình xử lý. Dữ liệu thô từ MIMIC-IV nạp trực tiếp vào Bronze layer mà không làm thay đổi bản chất gốc. Tầng Silver tiếp nhận dữ liệu đã làm sạch, chuẩn hóa kiểu dữ liệu và loại bỏ bản ghi trùng lặp. Tầng Gold tổng hợp các chỉ số lâm sàng quan trọng để phục vụ báo cáo quản trị và nghiên cứu y khoa. Công cụ truy vấn SQL tương tác trực tiếp với tầng Gold thông qua cơ chế siêu dữ liệu thông minh. Giải pháp này giúp tăng tốc độ truy vấn gấp nhiều lần so với các kho dữ liệu phân tán cũ.

3.1. Đảm bảo giao dịch ACID và bảo vệ Schema dữ liệu

Delta Lake mang lại bốn thuộc tính ACID cốt lõi cho hồ dữ liệu y tế. Tính nguyên tố bảo đảm mọi giao dịch cập nhật hồ sơ bệnh án hoặc hoàn thành trọn vẹn hoặc rollback khi có sự cố. Tính nhất quán duy trì sự chuẩn xác của dữ liệu sinh hiệu theo các quy tắc kiểm tra nghiêm ngặt. Tính độc lập cô lập các tiến trình đọc và ghi đồng thời, hạn chế tắc nghẽn tài nguyên. Cơ chế bảo vệ Schema Enforcement chủ động từ chối các bản ghi sai lệch định dạng. Đồng thời, Schema Evolution hỗ trợ mở rộng các cột thông tin mới mà không làm gián đoạn hệ thống. Sự kết hợp này bảo vệ tính toàn vẹn tuyệt đối cho dữ liệu bệnh án.

3.2. Thiết kế đường ống dữ liệu với Medallion Architecture

Kiến trúc Medallion thiết lập quy trình xử lý dữ liệu qua ba tầng liên hoàn rõ ràng. Tầng Bronze lưu trữ nguyên vẹn dữ liệu từ thư mục hosp và icu của MIMIC-IV. Tầng Silver thực hiện lọc bỏ giá trị rỗng, chuẩn hóa định dạng thời gian và khử trùng lặp dữ liệu. Tầng Gold xây dựng các bảng tổng hợp đa chiều về tình trạng bệnh nhân và tiên lượng điều trị. Công cụ Query Engine cho phép thực hiện cả lệnh DDL và DML trên các bảng định dạng Delta. Lớp siêu dữ liệu Metadata cung cấp thông tin tối ưu hóa đường dẫn truy vấn dữ liệu. Nhờ kiến trúc phân lớp này, dữ liệu y tế luôn đạt chuẩn chất lượng cao nhất phục vụ người dùng.

IV. Đánh giá ứng dụng thực tiễn của nghiên cứu ĐH SPKT TP

Đồ án tốt nghiệp tại Trường ĐH SPKT TP.HCM khẳng định tính khả thi của kiến trúc Data Lakehouse trong y tế. Mô hình Delta Lake chứng minh hiệu quả vượt trội trong việc quản lý tập dữ liệu MIMIC-IV quy mô lớn. Tốc độ đọc và ghi dữ liệu tăng trưởng rõ rệt nhờ cơ chế lưu trữ tối ưu hóa. Các truy vấn phân tích phức tạp trên bảng dữ liệu bệnh nhân thực thi mượt mà và không gặp xung đột. Hệ thống giúp giảm đáng kể chi phí hạ tầng phần cứng so với giải pháp kho dữ liệu độc quyền. Tính năng Time Travel cho phép truy vết lịch sử điều trị bệnh nhân một cách chính xác theo thời gian thực. Đề tài mở ra hướng tiếp cận mới cho các cơ sở y tế tại Việt Nam trong công cuộc chuyển đổi số y khoa. Các bệnh viện có thể dễ dàng khai phá dữ liệu phục vụ nghiên cứu lâm sàng mà vẫn đảm bảo tính riêng tư. Kết quả nghiên cứu là minh chứng cho năng lực thực nghiệm công nghệ cao của sinh viên ngành Hệ thống thông tin.

4.1. Hiệu quả tối ưu hóa lưu trữ và hiệu năng truy vấn

Thực nghiệm cho thấy kiến trúc Data Lakehouse rút ngắn đáng kể thời gian truy vấn dữ liệu lâm sàng phức tạp. Nhờ định dạng nén Parquet cùng siêu dữ liệu Delta Lake, dung lượng lưu trữ giảm hơn 40 phần trăm so với dữ liệu thô ban đầu. Việc loại bỏ hoàn toàn tình trạng trùng lặp giúp tối ưu hóa không gian đĩa cứng. Bộ công cụ Query Engine tối ưu kế hoạch thực thi câu lệnh SQL, cho phép trích xuất báo cáo xét nghiệm chỉ trong vài giây. Khả năng xử lý đồng thời giữa đọc và ghi dữ liệu đạt mức ổn định tuyệt đối mà không gây nghẽn cổ chai hệ thống.

4.2. Tiềm năng triển khai tại các bệnh viện thông minh

Mô hình Data Lakehouse cung cấp nền tảng vững chắc để phát triển các ứng dụng trí tuệ nhân tạo y tế. Các thuật toán dự đoán suy tim, suy hô hấp có thể đọc trực tiếp từ lớp Silver hoặc Gold với độ trễ thấp. Bệnh viện thông minh có thể tích hợp dữ liệu từ hồ sơ bệnh án điện tử, thiết bị đeo IoT và hệ thống chẩn đoán hình ảnh PACS vào một nguồn tin cậy duy nhất. Kiến trúc này giúp lãnh đạo bệnh viện theo dõi các chỉ số vận hành lâm sàng theo thời gian thực. Nghiên cứu mở ra bước đi chiến lược trong việc hiện đại hóa công nghệ y tế số tại Việt Nam.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong thời đại chuyển đổi số và công nghệ 4.0, ngành y tế đang tạo ra khối lượng dữ liệu khổng lồ mỗi ngày từ các bệnh viện, phòng khám, hồ sơ bệnh án điện tử và các thiết bị giám sát thông minh. Dữ liệu y tế không chỉ đa dạng về cấu trúc (bao gồm dữ liệu bảng có cấu trúc, bán cấu trúc và dữ liệu phi cấu trúc như hình ảnh y tế hay tín hiệu cảm biến sinh lý) mà còn đòi hỏi độ chính xác và tính sẵn sàng cao nhằm phục vụ công tác ra quyết định lâm sàng. Tuy nhiên, các hệ thống cơ sở dữ liệu truyền thống thường bộc lộ nhiều hạn chế về khả năng mở rộng dung lượng, chi phí lưu trữ cao và gặp khó khăn trong việc xử lý đồng thời dữ liệu lịch sử lẫn dữ liệu phân tích theo thời gian thực.

Trước thực trạng phần lớn dữ liệu y tế chưa được tổ chức bài bản để phục vụ phân tích chuyên sâu, kiến trúc Data Lakehouse xuất hiện như một giải pháp kết hợp thế mạnh giữa Data Warehouse và Data Lake. Kiến trúc này cho phép lưu trữ dữ liệu thô với chi phí tối ưu, đồng thời duy trì tính toàn vẹn giao dịch và hiệu năng truy vấn cao. Nhằm giải quyết bài toán khai thác nguồn dữ liệu y tế mở có giá trị cao là bộ dữ liệu MIMIC-IV, đề tài "Tối ưu hóa lưu trữ và phân tích dữ liệu y tế với kiến trúc Data Lakehouse" do sinh viên Nguyễn Phi Long và Đỗ Thanh Khang thực hiện dưới sự hướng dẫn của ThS. Lê Thị Minh Châu tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh đã được triển khai.

Mục tiêu nghiên cứu của đề tài được xác định cụ thể qua các nhiệm vụ sau:

1. Tìm hiểu cơ sở lý thuyết về kiến trúc Data Lakehouse, Data Lake, Data Warehouse cùng hệ sinh thái công nghệ mã nguồn mở liên quan.
2. Đưa ra bản thiết kế kiến trúc Data Lakehouse phù hợp cho việc quản lý và xử lý dữ liệu y tế.
3. Xây dựng và triển khai hệ thống Data Lakehouse hoàn chỉnh từ các công cụ mã nguồn mở trên nền tảng container hóa Docker.
4. Xây dựng các quy trình nghiệp vụ (business processes) đặc thù trong lĩnh vực y tế và thiết lập các báo cáo phân tích, bảng điều khiển trực quan hóa dữ liệu.
5. Nghiên cứu, thử nghiệm các mô hình học máy (Machine Learning) phục vụ việc phân cụm bệnh nhân và dự đoán nguy cơ tử vong dựa trên các chỉ số sinh lý lâm sàng.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Dữ liệu y tế dạng bảng có cấu trúc trích xuất từ bộ dữ liệu MIMIC-IV; kiến trúc Data Lakehouse; các công cụ mã nguồn mở quản lý lưu trữ đối tượng, định dạng bảng, xử lý phân tán, điều phối luồng dữ liệu và trực quan hóa; các thuật toán học máy phân tích dữ liệu.
• Phạm vi dữ liệu: Bộ dữ liệu MIMIC-IV phiên bản 3.1 do Viện Công nghệ Massachusetts (MIT) công bố, thu thập tại Beth Israel Deaconess Medical Center trong giai đoạn 2008–2019, tuân thủ tiêu chuẩn bảo mật danh tính bệnh nhân HIPAA. Nghiên cứu tập trung khai thác hai phân hệ dữ liệu chính: dữ liệu hành chính bệnh viện (hosp/) và dữ liệu chăm sóc tích cực (icu/).
• Phạm vi kỹ thuật: Hệ thống được thiết kế, cấu hình và triển khai thử nghiệm cục bộ thông qua môi trường Docker, tập trung vào việc tự động hóa luồng dữ liệu (ETL pipeline), thực thi truy vấn phân tán và trực quan hóa kết quả phân tích.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng nền tảng lý luận dựa trên mô hình kiến trúc Data Lakehouse hiện đại, kết hợp tính linh hoạt, khả năng mở rộng của Data Lake với các chuẩn mực quản trị, kiểm soát schema và giao dịch ACID của Data Warehouse. Kiến trúc tổng thể được phân rã thành 6 tầng chức năng tiêu chuẩn: tầng nguồn dữ liệu (Data Source), tầng thu nhận (Ingestion Layer), tầng lưu trữ (Storage Layer), tầng quản lý siêu dữ liệu (Metadata Layer), tầng giao diện lập trình (APIs Layer) và tầng tiêu thụ dữ liệu (Consumption Layer).

Trong đó, định dạng bảng Delta Lake giữ vai trò trung tâm trong việc đảm bảo tính toàn vẹn dữ liệu thông qua cơ chế nhật ký giao dịch (Write-Ahead Log - WAL), hỗ trợ đầy đủ 4 thuộc tính ACID (Atomicity, Consistency, Isolation, Durability), ngăn ngừa xung đột dữ liệu khi đọc/ghi đồng thời, cung cấp tính năng truy vết lịch sử dữ liệu (Time Travel), cùng các kỹ thuật tối ưu hóa truy vấn chuyên sâu như Z-Ordering, Data Skipping, Compaction và Predicate Pushdown.

Phương pháp nghiên cứu thực tế được nhóm tác giả áp dụng bao gồm:

• Phương pháp phân tích và tổng hợp tài liệu kỹ thuật: Khảo cứu các công nghệ dữ liệu lớn phân tán mã nguồn mở, nguyên lý kiến trúc Medallion (Bronze – Silver – Gold) và cấu trúc dữ liệu y tế chuẩn hóa trong MIMIC-IV.
• Phương pháp thiết kế và kỹ thuật hệ thống: Thiết kế mô hình kiến trúc phân tầng, đặc tả luồng dữ liệu từ nguồn thô đến các bảng nghiệp vụ tổng hợp, xây dựng cấu hình hệ thống bằng mã khai báo hạ tầng (Docker Compose, Dockerfile).
• Phương pháp xử lý và kỹ thuật dữ liệu (Data Engineering): Sử dụng Apache Spark để xử lý dữ liệu phân tán in-memory, làm sạch dữ liệu, xử lý giá trị khuyết thiếu, chuẩn hóa kiểu dữ liệu và ghi dữ liệu dạng bảng Delta Lake lên hệ thống lưu trữ đối tượng MinIO; thiết lập các đường ống dữ liệu tự động theo đồ thị có hướng không chu trình (DAG) trên Apache Airflow.
• Phương pháp phân tích thăm dò và học máy: Áp dụng các kỹ thuật thống kê mô tả, truy vấn SQL phân tán qua Trino để trích xuất các chỉ số lâm sàng; ứng dụng các thuật toán học máy phân cụm không giám sát (K-Means, DBSCAN) và mô hình phân loại dự đoán rủi ro tử vong của bệnh nhân ICU, đánh giá thông qua đường cong ROC (Receiver Operating Characteristic) và hệ số tầm quan trọng của đặc trưng (Feature Importance).
• Nguồn dữ liệu: Dữ liệu thứ cấp công khai từ bộ cơ sở dữ liệu y tế MIMIC-IV v3.1.

Thiết kế và triển khai hệ thống

Hệ thống Data Lakehouse trong đề tài được thiết kế theo mô hình phân tầng Medallion kết hợp các công cụ chuyên biệt mã nguồn mở nhằm đảm bảo tính độc lập, khả năng mở rộng và dễ dàng quản lý thông qua container hóa Docker.

Tầng / Thành phần	Công nghệ sử dụng	Chức năng kỹ thuật trong hệ thống
Hạ tầng container	Docker & Docker Compose	Đóng gói toàn bộ các dịch vụ độc lập, quản lý mạng nội bộ và cấu hình tài nguyên cho từng tiến trình.
Lưu trữ đối tượng (Object Storage)	MinIO	Lưu trữ dữ liệu thô (mimic-raw) và các bảng Delta Lake; tương thích chuẩn S3 API, hỗ trợ phân tán và bảo mật RBAC.
Định dạng bảng (Table Format)	Delta Lake	Cung cấp giao dịch ACID, cơ chế Write-Ahead Log, quản lý Schema Enforcement/Evolution và tối ưu hóa tệp dữ liệu Parquet.
Xử lý tính toán (Compute Engine)	Apache Spark (Master & Workers)	Động cơ tính toán phân tán in-memory; thực hiện các biến đổi dữ liệu (Transformations/Actions) giữa các tầng Bronze, Silver, Gold.
Kho siêu dữ liệu (Metastore)	Hive Metastore & MySQL	Quản lý schema tập trung, vị trí lưu trữ vật lý, phân vùng và cung cấp siêu dữ liệu cho các công cụ truy vấn bên ngoài.
Động cơ truy vấn (Query Engine)	Trino (Coordinator & Workers)	Thực thi truy vấn SQL phân tán chuẩn ANSI trực tiếp trên các bảng Delta Lake trong MinIO thông qua Hive connector.
Điều phối luồng (Orchestration)	Apache Airflow & PostgreSQL	Quản lý và lập lịch thực thi các DAG xử lý dữ liệu tự động, theo dõi nhật ký thực thi và trạng thái tác vụ.
Trực quan hóa (BI & Analytics)	Apache Superset	Kết nối tới Trino qua SQLAlchemy; tạo lập các biểu đồ trực quan tương tác và bảng điều khiển theo dõi chỉ số lâm sàng.

Quy trình xử lý dữ liệu qua các phân tầng (Data Pipeline Workflow):

1. Bronze Layer: Dữ liệu thô từ bộ dữ liệu MIMIC-IV (các tệp CSV trong thư mục hosp/ và icu/) lưu tại bucket mimic-raw của MinIO được nạp vào tầng Bronze dưới định dạng bảng Delta Lake. Tầng này bảo toàn nguyên vẹn cấu trúc và giá trị gốc của dữ liệu để phục vụ việc truy xuất nguồn gốc (data lineage).
2. Silver Layer: Apache Spark đọc dữ liệu từ Bronze Layer, thực hiện các thao tác tiền xử lý bao gồm làm sạch, khử trùng lặp bản ghi, kiểm tra tính hợp lệ của schema, chuẩn hóa định dạng thời gian và liên kết các trường dữ liệu liên quan giữa hồ sơ hành chính và hồ sơ điều trị. Dữ liệu sau xử lý được ghi trở lại MinIO dưới dạng Delta Lake.
3. Gold Layer: Dữ liệu tầng Silver được tổng hợp, biến đổi thành các bảng chiều (dimension tables) và bảng sự kiện (fact tables) phục vụ trực tiếp cho ba quy trình nghiệp vụ y tế:
   • Hospital Admission Process: Tập trung phân tích các thông số nhập viện, loại hình dịch vụ, thời gian lưu viện và xu hướng tái nhập viện.
   • ICU Stay Monitoring Process: Theo dõi sát sao quá trình điều trị tích cực, cân bằng dịch vào/ra, nhịp tim và các biến số sinh lý liên quan đến nguy cơ tử vong.
   • Diagnosis & Procedure Analytics: Thống kê phân bố mã chẩn đoán, thủ thuật điều trị theo độ tuổi, giới tính và thời gian điều trị.

Toàn bộ các tác vụ trích xuất, làm sạch, chuyển đổi và tổng hợp giữa các tầng Bronze, Silver, Gold được đóng gói thành các DAG trong Apache Airflow, giúp hệ thống vận hành tự động theo lịch trình định sẵn mà không cần can thiệp thủ công.

Nội dung chính theo từng chương

Chương 2: Cơ sở lý thuyết

Chương này tập trung hệ thống hóa toàn bộ các khái niệm nền tảng về kiến trúc dữ liệu và công nghệ thành phần:

• Trình bày sự tiến hóa từ Data Warehouse (mạnh về quản trị, giao dịch ACID, tối ưu cho BI nhưng chi phí cao và kém linh hoạt với dữ liệu phi cấu trúc) và Data Lake (lưu trữ khối lượng lớn mọi loại dữ liệu với chi phí rẻ nhưng thiếu kiểm soát giao dịch, dễ biến thành "data swamp") đến kiến trúc lai Data Lakehouse.
• Phân tích chi tiết 6 tầng trong kiến trúc chung của Data Lakehouse và chỉ ra các ưu điểm (tiết kiệm chi phí, phân tích thời gian thực, xử lý song song) cùng nhược điểm (độ phức tạp thiết lập cao, rủi ro chuyển đổi hệ thống).
• Trình bày sâu về các công nghệ thành phần: kiến trúc in-memory và các mô-đun của Apache Spark (Spark Core, Spark SQL, Spark Streaming, MLlib, GraphX); cơ chế ACID, kiểm soát schema và tối ưu hiệu năng của Delta Lake; kiến trúc phân tán đối tượng của MinIO; vai trò trừu tượng hóa siêu dữ liệu của Hive Metastore kết hợp cơ sở dữ liệu quan hệ MySQL; cơ chế xử lý truy vấn phân tán song song (Coordinator - Worker) của Trino; các tính năng tạo lập bảng điều khiển của Apache Superset; cấu trúc điều phối DAG của Apache Airflow; nguyên lý container hóa của Docker; các khái niệm cơ bản về học máy có giám sát, không giám sát và học tăng cường.

Chương 3: Thiết kế hệ thống

Chương này cụ thể hóa việc áp dụng lý thuyết vào thiết kế hệ thống thực nghiệm:

• Xây dựng sơ đồ kiến trúc tổng thể của hệ thống bao gồm: nguồn dữ liệu (Data source trong MinIO), tầng thu nhận (Ingestion bằng Spark/Python), tầng chuyển đổi (Transform bằng Spark), kho lưu trữ Data Lakehouse (Delta Lake trên MinIO), tầng truy vấn (Trino) và tầng trực quan hóa (Apache Superset), toàn bộ vận hành trên hạ tầng Docker.
• Định nghĩa chi tiết quy trình luân chuyển dữ liệu qua ba lớp Medallion: Lớp Bronze (bảo tồn nguyên trạng dữ liệu nguồn ở định dạng Delta), Lớp Silver (làm sạch, sắp xếp, loại bỏ dữ liệu trùng lặp, tổ chức lại dữ liệu), Lớp Gold (tổng hợp dữ liệu theo các mục tiêu phân tích kinh doanh/y tế cụ thể).
• Làm rõ vai trò của công cụ truy vấn (Query engine) cho phép thực thi các lệnh DDL và DML trực tiếp trên các bảng Delta Lake thông qua lớp siêu dữ liệu (Metadata).

Chương 4: Tổng quan về tập dữ liệu và xây dựng hệ thống Data Lakehouse

Chương này trình bày toàn bộ quá trình triển khai thực tế và các kết quả thu được:

• Tập dữ liệu MIMIC-IV v3.1: Phân tích đặc điểm tập dữ liệu từ Beth Israel Deaconess Medical Center (2008–2019), phân loại thành hai nhóm bảng chính: nhóm hosp (thông tin tiếp nhận, hồ sơ bệnh nhân, xét nghiệm, đơn thuốc) và nhóm icu (theo dõi chi tiết tại phòng chăm sóc đặc biệt, dịch truyền, máy thở).
• Cài đặt và kiểm thử công nghệ: Trình bày chi tiết các tệp cấu hình triển khai Docker Compose và Dockerfile cho từng thành phần: MinIO, cụm Spark (Spark Master, Spark Worker kết nối Hive Metastore), Apache Airflow (khởi tạo cơ sở dữ liệu backend, webserver, scheduler), Hive Metastore với MySQL backend (hive-site.xml, core-site.xml), Trino (jvm.config, config.properties, cấu hình catalog minio.properties, delta_lake.properties), và Apache Superset.
• Vận hành luồng dữ liệu: Thực hiện quá trình đưa dữ liệu thô vào Bronze Layer; sử dụng Spark thực thi các phép biến đổi đưa sang Silver Layer (kiểm tra truy vấn trên DBeaver); thiết kế 3 quy trình nghiệp vụ đưa dữ liệu vào Gold Layer; tự động hóa pipeline bằng DAG trong Airflow.
• Trực quan hóa dữ liệu trên Superset: Thiết lập các truy vấn SQL phân tích và tạo lập biểu đồ cho:
  • Quy trình ICU Stay Monitoring: Cân bằng dịch theo thời gian nằm ICU, tỷ lệ tử vong ICU theo nhóm tuổi, tỷ lệ tử vong theo chuyên khoa dịch vụ, tỷ lệ tử vong theo nhịp tim.
  • Quy trình Diagnosis & Procedure Analytics: Phân bố loại hình nhập viện theo thời gian, thời gian nằm viện trung bình theo loại dịch vụ, xu hướng tái nhập viện, phân bố chẩn đoán phổ biến nhất theo năm, phân bố chẩn đoán theo nhóm tuổi và giới tính, phân bố thời gian nằm ICU theo giới tính.
• Xây dựng mô hình Machine Learning: Triển khai các thuật toán phân cụm K-Means và DBSCAN trên dữ liệu bệnh nhân; xây dựng mô hình dự đoán tử vong tại ICU, đánh giá hiệu năng mô hình thông qua đường cong ROC và trích xuất mức độ ảnh hưởng của các đặc trưng sinh lý lâm sàng.

Chương 5: Kết luận

Chương cuối tóm tắt toàn bộ khối lượng công việc đã hoàn thành, tổng kết những kết quả kỹ thuật đạt được và đề xuất các phương hướng nghiên cứu phát triển tiếp theo.

Kết quả và đóng góp

Khóa luận đã hoàn thành các nội dung kỹ thuật và ghi nhận các kết quả cụ thể sau:

Nhóm kết quả	Nội dung chi tiết đạt được trong nghiên cứu
Xây dựng hạ tầng Data Lakehouse	Triển khai thành công cụm dịch vụ mã nguồn mở trên Docker bao gồm MinIO, Delta Lake, Spark, Hive Metastore, Trino, Airflow và Superset, vận hành ổn định trên môi trường máy tính cục bộ.
Chuẩn hóa quy trình xử lý dữ liệu	Xây dựng hoàn chỉnh đường ống dữ liệu 3 tầng Medallion (Bronze, Silver, Gold). Đảm bảo tính nhất quán dữ liệu thông qua giao dịch ACID và cơ chế kiểm soát schema của Delta Lake.
Tự động hóa luồng ETL	Thiết lập thành công các DAG trên Apache Airflow để điều phối tự động các tác vụ Spark xử lý dữ liệu từ dữ liệu thô sang các tầng phân tích mà không cần thao tác thủ công.
Phân tích và trực quan hóa nghiệp vụ	Xây dựng thành công 3 lược đồ nghiệp vụ tại tầng Gold và thiết lập các bảng điều khiển trực quan hóa trên Superset đáp ứng các câu hỏi phân tích lâm sàng: phân bố nhập viện, thời gian nằm viện trung bình, cân bằng dịch ICU, tỷ lệ tử vong theo tuổi/dịch vụ/nhịp tim và tần suất chẩn đoán bệnh.
Ứng dụng mô hình học máy	Thực hiện thành công việc phân cụm bệnh nhân bằng K-Means và DBSCAN; xây dựng mô hình phân loại dự đoán tỷ lệ tử vong tại ICU với đường cong ROC và biểu đồ xếp hạng độ quan trọng của các đặc trưng lâm sàng.

So với giai đoạn tiểu luận chuyên ngành trước đó, khóa luận có những đóng góp và cải tiến cụ thể được nhóm tác giả tự nêu:

• Chuyển đổi nguồn dữ liệu nghiên cứu từ nguồn dữ liệu chưa chính thống sang bộ dữ liệu y tế chuẩn quốc tế MIMIC-IV phiên bản 3.1 phục vụ mục đích nghiên cứu học thuật.
• Bổ sung và tích hợp các công nghệ mới vào mô hình kiến trúc bao gồm Apache Airflow, Docker và cơ sở dữ liệu PostgreSQL/MySQL, khắc phục triệt để hạn chế về việc tổng hợp dữ liệu thủ công.
• Tối ưu hóa khả năng truy vấn bằng cách sử dụng Trino kết hợp Hive Metastore để truy vấn trực tiếp trên nền tảng lưu trữ đối tượng MinIO mà không cần tải dữ liệu vào hệ quản trị quan hệ trung gian.
• Mở rộng phạm vi nghiên cứu từ việc chỉ thống kê mô tả sang ứng dụng các mô hình học máy để đưa ra dự đoán và phân nhóm bệnh nhân dựa trên dữ liệu lâm sàng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Toàn bộ kiến trúc Data Lakehouse mới được triển khai và kiểm thử trong môi trường cục bộ (single-node/local environment) sử dụng Docker Compose, chưa được thử nghiệm trên các cụm máy chủ phân tán quy mô lớn (multi-node cluster) hoặc trên nền tảng điện toán đám mây.
• Thời gian nghiên cứu có hạn nên các mô hình học máy mới dừng lại ở bước thử nghiệm, đánh giá trên tập dữ liệu MIMIC-IV mà chưa được kiểm chứng lâm sàng thực tế trong các bệnh viện tại Việt Nam.
• Hệ thống chủ yếu tập trung vào xử lý dữ liệu theo lô (batch processing), chưa tối ưu hóa cho các kịch bản thu nhận và phân tích dữ liệu luồng thời gian thực (real-time streaming) ở quy mô cao.

Hướng nghiên cứu phát triển tiếp theo:

• Nâng cấp và chuyển đổi kiến trúc hệ thống để triển khai trên các nền tảng điện toán đám mây (AWS, GCP) hoặc các hệ thống điều phối container phân tán như Kubernetes nhằm kiểm thử khả năng mở rộng tự động.
• Mở rộng kiến trúc để tích hợp các luồng dữ liệu thời gian thực thông qua Apache Kafka kết hợp Spark Streaming, phục vụ việc giám sát bệnh nhân ICU theo thời gian thực.
• Nghiên cứu và tối ưu hóa các thuật toán học máy chuyên sâu, kết hợp thêm các biến số lâm sàng phức tạp nhằm nâng cao độ chính xác của mô hình dự đoán nguy cơ tử vong và biến chứng bệnh nhân.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho các đối tượng sau:

• Sinh viên và học viên chuyên ngành Hệ thống thông tin, Công nghệ thông tin, Khoa học dữ liệu: Cung cấp tài liệu tham khảo chi tiết về quy trình xây dựng kiến trúc Data Lakehouse từ các thành phần mã nguồn mở, cách thức cấu hình Docker Compose và tích hợp Spark với Delta Lake, Hive Metastore và Trino.
• Kỹ sư dữ liệu (Data Engineers) và Chuyên viên phân tích dữ liệu (Data Analysts): Có thể tham khảo phương pháp tổ chức dữ liệu phân tầng Medallion (Bronze – Silver – Gold) và cách thiết kế các DAG điều phối tự động trên Apache Airflow cho các bài toán xử lý dữ liệu lớn.
• Các nhóm nghiên cứu về tin học y tế (Health Informatics): Có thể khai thác trực tiếp cấu trúc thư mục, quy trình làm sạch và các câu lệnh SQL mẫu trích xuất các chỉ số lâm sàng (thời gian nằm viện, cân bằng dịch, tỷ lệ tử vong, phân nhóm chẩn đoán) từ bộ dữ liệu y tế MIMIC-IV phiên bản 3.1.

Câu hỏi thường gặp

1. Bộ dữ liệu MIMIC-IV phiên bản 3.1 được sử dụng trong khóa luận có nguồn gốc từ đâu và bao gồm những nhóm thông tin nào?
Bộ dữ liệu do Viện Công nghệ Massachusetts (MIT) công bố, thu thập từ các bệnh nhân điều trị tại Trung tâm Y tế Beth Israel Deaconess (Hoa Kỳ) trong giai đoạn từ năm 2008 đến năm 2019, đã được ẩn danh theo chuẩn HIPAA. Bộ dữ liệu gồm hai thư mục chính: thư mục hosp/ chứa dữ liệu hành chính bệnh viện (thông tin nhập viện, xuất viện, đơn thuốc, chẩn đoán, xét nghiệm) và thư mục icu/ chứa dữ liệu lâm sàng chi tiết trong quá trình điều trị tích cực (chỉ số sinh tồn, dịch truyền, thủ thuật can thiệp).

2. Vai trò của Delta Lake trong kiến trúc lưu trữ của hệ thống là gì?
Delta Lake đóng vai trò là lớp định dạng bảng (table format) trung gian giữa tầng lưu trữ đối tượng MinIO và công cụ xử lý Apache Spark. Delta Lake mang lại các tính năng then chốt bao gồm hỗ trợ giao dịch ACID, ngăn ngừa lỗi hỏng dữ liệu, bảo vệ cấu trúc thông qua cơ chế Schema Enforcement/Evolution, cho phép truy vết lịch sử dữ liệu với Time Travel, đồng thời tối ưu hóa tốc độ đọc/ghi dữ liệu lớn thông qua các kỹ thuật nén và sắp xếp như Compaction và Z-Ordering.

3. Tại sao hệ thống cần sử dụng kết hợp cả Hive Metastore và Trino khi đã có MinIO?
MinIO là hệ thống lưu trữ đối tượng thuần túy, chỉ quản lý dữ liệu dưới dạng các tệp hoặc khối đối tượng mà không hiểu được cấu trúc bảng hay kiểu dữ liệu bên trong. Hive Metastore (sử dụng cơ sở dữ liệu MySQL) được tích hợp để làm nơi lưu trữ siêu dữ liệu (metadata) tập trung về schema, tên bảng, kiểu dữ liệu từng cột và phân vùng. Trino sử dụng siêu dữ liệu từ Hive Metastore để phân tích cú pháp và lập kế hoạch thực thi các câu lệnh SQL phân tán trực tiếp trên các tệp Delta Lake lưu trong MinIO mà không cần tải dữ liệu vào hệ thống lưu trữ khác.

4. Ba quy trình nghiệp vụ (Business Processes) tại tầng Gold được thiết kế nhằm giải quyết những bài toán cụ thể nào?
Hệ thống thiết kế ba quy trình nghiệp vụ gồm:

• Hospital Admission Process: Phân tích loại hình nhập viện theo thời gian, thời gian nằm viện trung bình theo loại dịch vụ và xu hướng tái nhập viện của bệnh nhân.
• ICU Stay Monitoring: Theo dõi lượng cân bằng dịch vào/ra theo thời gian nằm ICU, đánh giá tỷ lệ tử vong tại ICU phân theo nhóm tuổi, loại dịch vụ điều trị và nhịp tim.
• Diagnosis & Procedure Analytics: Phân tích phân bố các loại bệnh chẩn đoán phổ biến theo từng năm, cơ cấu chẩn đoán theo nhóm tuổi, giới tính và thời gian lưu trú tại khu điều trị tích cực.

5. Những thuật toán học máy nào được triển khai và hiệu năng của mô hình dự đoán tử vong được đánh giá bằng công cụ gì?
Nhóm tác giả đã triển khai hai thuật toán phân cụm không giám sát là K-Means và DBSCAN để phân nhóm hồ sơ bệnh nhân. Đối với bài toán dự đoán nguy cơ tử vong của bệnh nhân tại khu chăm sóc tích cực ICU, nhóm xây dựng mô hình học máy phân loại và đánh giá hiệu năng dựa trên đồ thị đường cong ROC cùng biểu đồ đánh giá mức độ quan trọng của các đặc trưng sinh lý lâm sàng đầu vào.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Phi Long và Đỗ Thanh Khang đã xây dựng thành công giải pháp kiến trúc Data Lakehouse sử dụng hoàn toàn các công nghệ mã nguồn mở để tối ưu hóa việc lưu trữ và phân tích dữ liệu y tế quy mô lớn từ bộ dữ liệu MIMIC-IV phiên bản 3.1. Bằng việc kết hợp hiệu quả giữa MinIO, Delta Lake, Apache Spark, Hive Metastore, Trino, Apache Airflow và Apache Superset trên nền tảng Docker, hệ thống đã giải quyết được thách thức về tính toàn vẹn giao dịch, tự động hóa quy trình ETL và nâng cao tốc độ truy vấn phân tích. Các kết quả trực quan hóa nghiệp vụ lâm sàng và thử nghiệm mô hình học máy chứng minh tính ứng dụng thực tiễn cao của mô hình Data Lakehouse trong việc hỗ trợ khai thác dữ liệu phục vụ nghiên cứu và quản trị y tế hiện đại.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN TỐI ƯU HÓA LƯU TRỮ VÀ PHÂN TÍCH DỮ LIỆU Y TẾ VỚI KIẾN TRÚC DATA LAKEHOUSE GVHD: LÊ THỊ MINH CHÂU SVTH: NGUYỄN PHI LONG ĐỖ THANH KHANG TP. Hồ Chí Minh, tháng 06/2025 s BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA CÔNG NGHỆ THÔNG TIN NGUYỄN PHI LONG 21110532 ĐỖ THANH KHANG 21110492 Đề tài: TỐI ƯU HÓA LƯU TRỮ VÀ PHÂN TÍCH DỮ LIỆU Y TẾ VỚI KIẾN TRÚC DATA LAKEHOUSE KHÓA LUẬN TỐT NGHIỆP NGÀNH HỆ THỐNG THÔNG TIN GIÁO VIÊN HƯỚNG DẪN ThS. Lê Thị Minh Châu KHÓA 2021-2025 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.

HỒ CHÍ MINH KHOA CÔNG NGHỆ THÔNG TIN NGUYỄN PHI LONG 21110532 ĐỖ THANH KHANG 21110492 Đề tài: TỐI ƯU HÓA LƯU TRỮ VÀ PHÂN TÍCH DỮ LIỆU Y TẾ VỚI KIẾN TRÚC DATA LAKEHOUSE KHÓA LUẬN TỐT NGHIỆP NGÀNH HỆ THỐNG THÔNG TIN GIÁO VIÊN HƯỚNG DẪN ThS. Lê Thị Minh Châu KHÓA 2021-2025 ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc lập – Tự do – Hạnh phúc ********** ********** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ và tên Sinh viên 1: Nguyễn Phi Long MSSV 1: 21110532 Họ và tên Sinh viên 2: Đỗ Thanh Khang MSSV 2: 21110492 Ngành: Hệ thống thông tin Tên đề tài: Tối ưu hóa lưu trữ và phân tích dữ liệu y tế với kiến trúc Data Lakehouse Họ và tên Giáo viên hướng dẫn: ThS. Lê Thị Minh Châu NHẬN XÉT 1. Về nội dung đề tài & khối lượng thực hiện:.

Đề nghị cho bảo vệ hay không? 5. Đánh giá loại: 6. Hồ Chí Minh, ngày tháng năm 2025 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc lập – Tự do – Hạnh phúc ********** ********** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ và tên Sinh viên 1: Nguyễn Phi Long MSSV 1: 21110532 Họ và tên Sinh viên 2: Đỗ Thanh Khang MSSV 2: 21110492 Ngành: Hệ thống thông tin Tên đề tài: Tối ưu hóa lưu trữ và phân tích dữ liệu y tế với kiến trúc Data Lakehouse Họ và tên Giáo viên phản biện: ThS. Trần Quang Khải NHẬN XÉT 1.

Về nội dung đề tài & khối lượng thực hiện:. Đề nghị cho bảo vệ hay không? 4. Đánh giá loại: 5. Hồ Chí Minh, ngày tháng năm 2025 Giáo viên phản biện (Ký & ghi rõ họ tên) LỜI CẢM ƠN Nhóm chúng em xin gửi lời cảm ơn chân thành đến Khoa Công nghệ Thông tin - Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh đã tạo điều kiện cho chúng em được học tập và rèn luyện, trau dồi kiến thức để thực hiện đề tài này.

Đặc biệt, nhóm xin bày tỏ lòng biết ơn sâu sắc đến cô Lê Thị Minh Châu - người đã tận tình hướng dẫn, dìu dắt và dành cho chúng em những lời khuyên quý báu trong suốt quá trình thực hiện đề tài. Nhờ sự nhiệt tình và tâm huyết của cô, chúng em đã có thể hoàn thành đề tài một cách tốt nhất. Bên cạnh kiến thức chuyên môn được học tập tại trường, chúng em còn được tiếp thu những kinh nghiệm thực tế thông qua các hoạt động học tập và thực tập. Nhờ vậy, chúng em đã có thể áp dụng những kiến thức và kỹ năng đã học vào thực tế một cách hiệu quả.

Tuy nhiên, do kiến thức còn hạn chế và thời gian nghiên cứu còn ngắn, chúng em nhận thức được rằng đề tài này vẫn còn có một số thiếu sót. Chúng em mong muốn nhận được những góp ý chân thành từ quý thầy cô để có thể hoàn thiện đề tài này hơn nữa trong tương lai. Chúng em xin chân thành cảm ơn! 1 ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc lập – Tự do – Hạnh phúc ********** ********** ĐỀ CƯƠNG KHÓA LUẬN TỐT NGHIỆP Họ và tên Sinh viên 1: Nguyễn Phi Long MSSV 1: 21110532 Họ và tên Sinh viên 2: Đỗ Thanh Khang MSSV 2: 21110492 Thời gian làm khóa luận tốt nghiệp từ: … Ngành: Hệ thống thông tin Tên đề tài: Tối ưu hóa lưu trữ và phân tích dữ liệu y tế với kiến trúc Data Lakehouse Họ và tên Giáo viên hướng dẫn: ThS. Lê Thị Minh Châu Nhiệm vụ của khóa luận tốt nghiệp: 1.

Lý thuyết - Tìm hiểu về Data Lake, Data Warehouse, Data Lakehouse. - Tìm hiểu về các công nghệ: Docker, Spark, Delta Lake, Hive metastore, Trino, Superset, Airflow, PostgreSQL. - Tìm hiểu các mô hình học máy phục vụ cho việc đánh giá và đưa ra các dự đoán phù hợp với các dữ liệu từ y tế. Thực hành - Sử dụng Docker để quản lý toàn bộ hệ thống.

- Sử dụng MinIO để lưu trữ dữ liệu thô và dữ liệu đã được tiền xử lý. - Sử dụng thư viên Delta Lake để đưa dữ liệu về MinIO, ngoài ra Delta Lake còn hỗ trợ các giao dịch ACID để đảm bảo tính toàn vẹn và đáng tin cậy của dữ liệu trong quá trình xử lý. - Sử dụng Airflow để tự động hóa các ETL pipline. - Sử dụng Trino truy vấn trên MinIO thông qua Hive làm lớp metastore nhằm truy vấn như một database.

2 - Sử dụng Spark để tiền xử lý dữ liệu và ghi vào Delta Lake trên MinIO. - Sử dụng Superset để Visualization các câu hỏi đặt ra trên tệp dữ liệu. - Sử dụng PostgreSQL để làm nơi lưu lại các thao tác trên Airflow và Superset. - Sử dụng các mô hình 3.

Hướng phát triển lên từ tiểu luận chuyên ngành - Đổi mới tệp dữ liệu từ nguồn dữ liệu chưa chính thống đến tệp dữ liệu đã được công bố dành cho mục đích nghiên cứu. - Tự phân tích đặt câu hỏi đánh giá trên tệp dữ liệu đưa ra các giải pháp phân tích thực tế cho người xem. - Thêm các công nghệ sau vào mô hình: Airflow, Docker, PostgreSQL nhằm cải tiến thêm cho những gì ở Tiểu Luận còn hạn chế tiêu biểu là việc tổng hợp dữ liệu tự động, truy vấn trực tiếp trên MinIO. - Sử dụng thêm các công cụ học máy để đưa ra những dự đoán về tệp dữ liệu.

Hồ Chí Minh, ngày tháng năm 2025 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) 3 - KẾ HOẠCH THỰC HIỆN Thời gian Công việc - Lên kế hoạch tìm hiểu đề tài và thảo luận với giáo viên hướng Tuần 1 dẫn. - Chốt đề tài với giáo viên hướng dẫn. Tuần 2 - Tiến hành tìm hiểu về đề tài cũng như kiến trúc sử dụng. - Thiết kế và tinh chỉnh kiến trúc của Data Lakehouse.

Tuần 3 - Tìm hiểu các công nghệ, công cụ sẽ sử dụng trong kiến trúc. - Nghiên cứu tìm hiểu về tập dữ liệu phù hợp với yêu cầu của đề Tuần 4 tài. - Nghiên cứu xây dựng và sử dụng các công nghệ, công cụ trên Tuần 5 môi trường Windows. 4 - Đưa dữ liệu về và tải lên hệ thống Minio làm lớp dữ liệu thô Tuần 6 ban đầu - Nghiên cứu quá trình Ingestion dữ liệu từ lớp dữ liệu thô vào Tuần 7 trong kiến trúc lớp “Bronze”.

- Nghiên cứu quá trình chuyển đổi, tiền xử lý dữ liệu từ lớp Tuần 8 - 9 “Bronze” sang lớp “Silver” trong kiến trúc Data Lakehouse - Tinh chỉnh, cải thiện ở lớp “Bronze” và “Silver”. Tuần 10 - Tìm hiểu về cac mô hình học máy sẽ sử dụng trong kiến trúc Data Lakehouse Tuần 11 - Triển khai mô hình học máy cho bài toán nhóm đưa ra - Hoàn thiện một vấn đề từ dữ liệu và truy vấn, vẽ biểu đồ trên Tuần 12 superset. - Thực hiện việc tiền xử lý và chuyển đổi dữ liệu từ lớp Bronze Tuần 13: qua lớp Silver trong kiến trúc Data LakeHouse. 5 - Xử lý business process và đưa dữ liệu vào trong Gold Layer Tuần 14: của kiến trúc Data LakeHouse - Xây dựng DAG trong Airflow để tự động hóa pipeline Tuần 15: - Hoàn thiện báo cáo 6 MỤC LỤC PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN.

3 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN. 1 ĐỀ CƯƠNG KHÓA LUẬN TỐT NGHIỆP. 7 DANH MỤC HÌNH ẢNH. TÍNH CẤP THIẾT CỦA ĐỀ TÀI.

MỤC TIÊU CỦA ĐỀ TÀI. ĐỐI TƯỢNG NGHIÊN CỨU. PHẠM VI NGHIÊN CỨU. Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN.

16 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT. KHÁI NIỆM VỀ DATA LAKEHOUSE. CÁC ĐẶC ĐIỂM CỦA DATA LAKEHOUSE. LỢI ÍCH CỦA KIẾN TRÚC DATA LAKEHOUSE.

NHƯỢC ĐIỂM CỦA KIẾN TRÚC DATA LAKEHOUSE. KIẾN TRÚC CHUNG CỦA DATA LAKEHOUSE. CÁC CÔNG NGHỆ SỬ DỤNG. 40 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG.

KIẾN TRÚC CHUNG CỦA HỆ THỐNG. QUY TRÌNH HOẠT ĐỘNG. 43 CHƯƠNG 4: TỔNG QUAN VỀ TẬP DỮ LIỆU VÀ XÂY DỰNG HỆ THỐNG DATALAKEHOUSE. TỔNG QUAN VỀ TẬP DỮ LIỆU.

CÀI ĐẶT VÀ KIỂM THỬ CÔNG NGHỆ. Yêu cầu hệ thống. Cài đặt MinIO để làm Lakehouse lưu trữ dữ liệu thô và dữ liệu được làm sạch. Cài đặt Spark để xử lý dữ liệu trong MinIO.

Cài đặt Airflow để tự động hóa các ETL pipeline. Cài đặt Hive metastore và MySQL làm lớp backend. Cài đặt Trino để truy vấn trên MinIO thông qua Hive. Cài đặt Superset để trực quan hóa dữ liệu.

QUÁ TRÌNH HOẠT ĐỘNG. Dữ liệu ban đầu. Đưa dữ liệu từ mimic-raw vào Bronze Layer trong MinIO. Xử lý dữ liệu và đưa dữ liệu từ Bronze Layer vào Silver Layer.

Thiết kế business process và đưa dữ liệu từ Silver Layer vào Gold Layer. Tự động hóa pipeline với airflow. Trực quan hóa dữ liệu. Xây dựng mô hình Machine Learning.

94 8 CHƯƠNG 5: KẾT LUẬN. KẾT QUẢ ĐẠT ĐƯỢC .3 PHƯƠNG HƯỚNG PHÁT TRIỂN. 105 TÀI LIỆU THAM KHẢO. 106 9 DANH MỤC HÌNH ẢNH Hình 1.

Kiến trúc chung của Data Lakehouse. Các thành phần trong Apache Spark. Tính năng của Delta Lake. Kiến trúc của Trino.

Kiến trúc của hệ thống. Chức năng lớp Bronze. Chuyển dữ liệu từ Lớp Bronze qua lớp Silver. Chuyển dữ liệu từ Lớp Silver qua lớp Gold.

Dữ liệu thô được lưu trong MinIO. Docker-compose để tạo MinIO. Giao diện đăng nhập MinIO. Trang quản lý của MinIO.

Docker-compose tạo spark. Xây dựng spark master và các thư viện đi kèm với DockerFile. Cấu hình kết nối spark với hive metastore. Cấu hình cho spark mỗi khi khởi động.

Cấu hình tài nguyên cho spark-worker. Giao diện của spark. Docker compose tạo Airflow – Hình 1. Docker compose tạo Airflow – Hình 2.

Giao diện của airflow. Docker-compose của mysql.