Tổng quan nghiên cứu

Xây dựng và tối ưu hóa hệ thống cơ sở dữ liệu là nhiệm vụ trọng tâm trong kỷ nguyên chuyển đổi số và phát triển đô thị thông minh. Theo các báo cáo chuyên ngành trong lĩnh vực khoa học máy tính, việc thiết kế phân mảnh dữ liệu hợp lý giúp giảm tải từ 30% đến 50% chi phí truyền thông trên mạng máy tính và tăng tốc độ xử lý giao tác đồng thời lên gấp 2 lần so với các kiến trúc nguyên khối truyền thống. Vấn đề nghiên cứu then chốt được đặt ra là làm thế nào để phân rã một lược đồ quan hệ tổng thể lớn thành các phân mảnh dọc nhỏ gọn mà không làm tổn thất thông tin và vẫn giữ nguyên vẹn toàn bộ các ràng buộc toàn vẹn dữ liệu.

Mục tiêu cụ thể của luận văn là nghiên cứu chuyên sâu các đặc tính toán học của phân mảnh dọc trong hệ cơ sở dữ liệu phân tán, từ đó đề xuất và hoàn thiện các thuật toán phân rã lược đồ quan hệ đạt dạng chuẩn Boyce-Codd (BCNF), bảo toàn trọn vẹn tập phụ thuộc hàm và đảm bảo tính nối không mất thông tin. Về phạm vi nghiên cứu, đề tài tập trung vào bài toán quản lý thông tin kỹ thuật và bảo trì mạng lưới đường bộ tại Thành phố Lạng Sơn trong giai đoạn năm 2020. Đây là một đô thị thương mại biên giới loại 3 với mạng lưới hạ tầng bao gồm 125,5 km đường giao thông, trong đó có 48,4 km đường cao cấp và hơn 450 tỷ đồng đã được đầu tư kiến thiết mở rộng.

Ý nghĩa thực tiễn của công trình thể hiện ở việc chuẩn hóa thành công 29 thuộc tính kỹ thuật phức tạp của 13 tuyến đường huyết mạch, giúp giảm thiểu đáng kể tình trạng dư thừa dữ liệu, nâng cao năng lực truy vấn với độ sẵn sàng của hệ thống đạt trên 99% và tối ưu hóa chi phí vận hành cho các cơ quan quản lý đô thị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Khung lý thuyết của nghiên cứu được xây dựng dựa trên nền tảng kiến trúc hệ quản trị cơ sở dữ liệu phân tán và lý thuyết thiết kế quan hệ hình thức. Hệ thống kế thừa và vận dụng sâu sắc 6 đặc trưng trong suốt của cơ sở dữ liệu phân tán, bao gồm: trong suốt phân tán (với ba khía cạnh địa điểm, tên gọi và bản sao), trong suốt phân mảnh, trong suốt giao dịch, trong suốt thất bại, trong suốt thao tác và trong suốt tính không thuần nhất. Các khái niệm cốt lõi được định nghĩa và vận dụng chặt chẽ gồm: phụ thuộc hàm, bao đóng của tập phụ thuộc hàm, hình chiếu phụ thuộc hàm, khóa tối tiểu, dạng chuẩn 3NF và dạng chuẩn Boyce-Codd.

Bên cạnh đó, nghiên cứu tích hợp 2 định hướng heuristic kinh điển trong phân hoạch dọc: kỹ thuật nhóm thuộc tính khởi xướng bởi Hammer và Niamir cùng Sacca và Wiederhold; kỹ thuật tách mảnh dựa trên ma trận tần suất truy cập thuộc tính do Hoffer, Severance và Navathe phát triển. Mô hình nghiên cứu tổng thể lấy toán tử đại số quan hệ và thuật toán Chase làm hạt nhân để kiểm soát tính toàn vẹn và khả năng tái thiết dữ liệu gốc.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp diễn dịch thuật toán kết hợp phân tích thực nghiệm trên hệ thống dữ liệu thực địa. Cỡ mẫu nghiên cứu bao gồm toàn bộ 29 trường thuộc tính kỹ thuật đặc trưng của 13 tuyến đường bộ với tổng chiều dài 95,489 km trải rộng trên 8 đơn vị hành chính gồm 5 phường nội thị và 3 xã ngoại thành tại Thành phố Lạng Sơn. Phương pháp chọn mẫu là chọn mẫu toàn thể theo chỉ định nghiệp vụ giao thông công chính, giúp bao quát 100% các thực thể quản lý thực tế từ kết cấu mặt đường, tình trạng chiếu sáng, mật độ lưu thông cho đến hồ sơ bảo trì và kinh phí duy tu.

Lý do lựa chọn phương pháp phân tích toán học dựa trên thuật toán Chase và thuật toán phân rã BCNF đệ quy là vì phương pháp này cung cấp bằng chứng toán học xác thực, tuyệt đối không phụ thuộc vào cảm tính chủ quan của người thiết kế, đảm bảo kiểm soát chính xác 100% tính nối không mất thông tin và bảo toàn phụ thuộc hàm. Toàn bộ quy trình khảo sát hiện trạng, chuẩn hóa mô hình toán học, thiết kế thuật toán và lập trình phần mềm thử nghiệm bằng ngôn ngữ C# trên môi trường hệ điều hành Windows được thực hiện xuyên suốt trong năm 2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, nghiên cứu đã chứng minh và hoàn thiện thuật toán phân mảnh dọc đa bước, cho phép chuyển đổi một lược đồ quan hệ tổng thể bất kỳ thành tập các lược đồ quan hệ con đạt dạng chuẩn BCNF với 100% phụ thuộc hàm được bảo toàn và 0% hao hụt thông tin khi tái thiết bằng phép nối tự nhiên.

Thứ hai, qua thuật toán tìm khóa tối tiểu trên sơ đồ quan hệ gồm 29 thuộc tính mã hóa từ a01 đến a29 của bài toán giao thông Lạng Sơn, nghiên cứu đã xác định chính xác khóa chính duy nhất của lược đồ tổng thể là mã thông tin bảo trì (thuộc tính a23). Phát hiện này là điểm mấu chốt để neo giữ tính toàn vẹn khi phân rã bảng.

Thứ ba, thuật toán đã tự động phân mảnh lược đồ 29 thuộc tính ban đầu thành 6 lược đồ quan hệ con đạt chuẩn BCNF (ký hiệu từ W1 đến W6). Kích thước mỗi bảng dữ liệu sau phân mảnh được thu gọn đáng kể, chỉ còn từ 2 đến 7 thuộc tính mỗi bảng. Việc tinh giản này giúp giảm độ rộng trung bình của các bản ghi từ 29 trường xuống còn 4,5 trường, ước tính cắt giảm từ 35% đến 45% chi phí đọc ghi đĩa và dung lượng bộ nhớ đệm cần thiết cho mỗi phiên truy vấn cục bộ.

Thảo luận kết quả

Nguyên nhân căn bản dẫn đến sự cải thiện vượt bậc về hiệu năng là do thuật toán phân mảnh dọc đã gom nhóm các thuộc tính thường xuyên xuất hiện cùng nhau trong các giao tác nghiệp vụ về cùng một quan hệ con, loại bỏ hoàn toàn hiện tượng trùng lặp dữ liệu không cần thiết (chẳng hạn như địa chỉ đơn vị thi công hay thông tin kiểu đường không còn bị lặp lại ở mỗi đợt duy tu). So với các phương pháp thiết kế truyền thống dựa trên trực giác, thiết kế kiểu từ điển hay phương pháp Blanpre vốn dễ bỏ sót các phụ thuộc hàm ẩn, cách tiếp cận toán học bảo toàn phụ thuộc hàm giúp hệ thống loại trừ triệt để các nguy cơ gây dị thường khi thêm, xóa hoặc sửa dữ liệu.

Dữ liệu kết quả phân rã có thể được mô tả rõ nét qua bảng ma trận đối chiếu cấu trúc logic và biểu đồ luồng phân tán đa trạm. Qua đó, người quản trị có thể dễ dàng định vị các mảnh quan hệ về từng trạm xử lý tương ứng với 8 đơn vị hành chính cơ sở. Hệ thống cũng đã chuẩn hóa thang đánh giá mức độ hư hỏng mặt đường thành 7 cấp độ cụ thể và phân định rõ 2 tuyến đường đô thị dài 9,100 km với 11 tuyến đường liên xã dài 86,389 km, tạo cơ sở khoa học vững chắc để tự động hóa việc phân bổ ngân sách bảo trì định kỳ.

Đề xuất và khuyến nghị

Một là, triển khai ứng dụng thuật toán phân mảnh dọc BCNF vào hệ thống phần mềm quản lý hạ tầng giao thông đô thị do Sở Giao thông Vận tải phối hợp cùng Sở Thông tin và Truyền thông tỉnh Lạng Sơn chủ trì, đặt mục tiêu cắt giảm ít nhất 40% thời gian phản hồi truy vấn dữ liệu trước quý 2 năm 2021.

Hai là, chuẩn hóa toàn diện quy trình nhập liệu và cập nhật 29 trường thuộc tính kỹ thuật đường bộ tại 8 phường và xã trực thuộc, giao Phòng Quản lý Đô thị Thành phố Lạng Sơn phụ trách, bảo đảm đạt tỷ lệ 100% dữ liệu đồng bộ và chính xác trong thời hạn 6 tháng kể từ khi áp dụng.

Ba là, nâng cấp hạ tầng từ phần mềm thử nghiệm máy đơn sang kiến trúc hệ quản trị cơ sở dữ liệu phân tán đa nút hoàn chỉnh, do đội ngũ kỹ sư hệ thống công nghệ thông tin đảm nhiệm, hướng tới chỉ số tính sẵn sàng của toàn hệ thống đạt 99,9% trong lộ trình 12 tháng.

Bốn là, tích hợp tính năng tự động cảnh báo và lập kế hoạch sửa chữa dựa trên thang đo 7 mức độ hư hỏng mặt đường và 3 loại hình bảo trì vào phân hệ quản lý tài sản công, giao Ban Quản lý Dự án Đầu tư Xây dựng điều hành định kỳ hàng quý, giúp tiết kiệm từ 15% đến 20% kinh phí phát sinh do sửa chữa chậm trễ.

Đối tượng nên tham khảo luận văn

Nhóm thứ nhất là các kiến trúc sư dữ liệu và kỹ sư phát triển phần mềm, những người cần nắm vững phương pháp toán học và thuật toán chuẩn hóa BCNF để thiết kế cấu trúc dữ liệu tối ưu cho các hệ thống phần mềm doanh nghiệp quy mô lớn.

Nhóm thứ hai là các nhà quản lý đô thị và chuyên viên phòng quản lý hạ tầng giao thông tại Thành phố Lạng Sơn cũng như các đô thị loại 3 tương đồng, có thể ứng dụng trực tiếp bộ 29 trường dữ liệu và mô hình phân mảnh để tin học hóa mạng lưới giao thông đường bộ.

Nhóm thứ ba là giảng viên, học viên cao học và sinh viên chuyên ngành Khoa học máy tính, Công nghệ thông tin, sử dụng luận văn làm tài liệu nghiên cứu chuyên sâu về thuật toán Chase, lý thuyết phụ thuộc hàm và các kỹ thuật phân rã lược đồ quan hệ trong môi trường phân tán.

Nhóm thứ tư là các doanh nghiệp công nghệ phát triển giải pháp chính quyền điện tử và đô thị thông minh, khai thác thuật toán và mã nguồn C# thử nghiệm để xây dựng các phân hệ quản lý tài sản công và giao thông thông minh.

Câu hỏi thường gặp

Phân mảnh dọc khác biệt căn bản như thế nào so với phân mảnh ngang trong hệ cơ sở dữ liệu phân tán? Phân mảnh ngang thực hiện chia cắt bảng dữ liệu theo các hàng dựa trên các vị từ điều kiện, trong khi phân mảnh dọc phân rã bảng theo các cột thuộc tính và luôn giữ lại thuộc tính khóa. Trong thực tế, phân mảnh dọc giúp tối ưu hóa hiệu năng vượt trội cho các ứng dụng chỉ thường xuyên truy xuất một số trường thông tin nhất định.

Thuật toán Chase đóng vai trò gì trong việc kiểm tra đặc tính của phân mảnh quan hệ? Thuật toán Chase sử dụng bảng ma trận n cột tương ứng n thuộc tính và k hàng tương ứng k mảnh phân rã để kiểm tra tính nối không mất thông tin. Bằng việc biến đổi ký hiệu lặp đi lặp lại theo tập phụ thuộc hàm, nếu xuất hiện một hàng chứa toàn bộ ký hiệu gốc thì chứng minh 100% quan hệ ban đầu được tái thiết trọn vẹn.

Vì sao đặc tính bảo toàn phụ thuộc hàm lại có ý nghĩa sống còn trong thiết kế cơ sở dữ liệu? Bảo toàn phụ thuộc hàm bảo đảm mọi ràng buộc toàn vẹn ngữ nghĩa đều có thể kiểm tra trực tiếp trên từng mảnh con mà không cần nối dữ liệu giữa các máy trạm. Nếu không bảo toàn phụ thuộc, mỗi thao tác cập nhật trên 29 thuộc tính sẽ buộc hệ thống phải quét toàn bộ mạng truyền thông, gây suy giảm nghiêm trọng tốc độ xử lý.

Lược đồ quan hệ quản lý đường bộ Thành phố Lạng Sơn được cấu trúc và phân rã ra sao? Lược đồ tổng thể gồm 29 thuộc tính kỹ thuật phản ánh cấp đường, mức độ hư hỏng từ cấp 1 đến 7, chiều dài tuyến và lịch sử bảo trì. Qua phân tích phụ thuộc hàm, hệ thống xác định khóa tối tiểu duy nhất là mã thông tin bảo trì a23, từ đó phân rã thành 6 phân mảnh con chuẩn BCNF với kích thước từ 2 đến 7 thuộc tính.

Môi trường phần cứng và công nghệ nào được sử dụng để lập trình thử nghiệm giải pháp? Chương trình thử nghiệm được xây dựng bằng ngôn ngữ C# trên nền tảng Microsoft .NET, vận hành ổn định trên hệ điều hành Windows 7 hoặc Windows 10. Yêu cầu phần cứng tối thiểu rất gọn nhẹ với vi xử lý Pentium IV 2.0 GHz và 1GB RAM, bảo đảm khả năng triển khai linh hoạt trên hạ tầng máy tính hiện có của các cơ quan quản lý.

Kết luận

  • Luận văn đã hệ thống hóa hoàn chỉnh cơ sở lý thuyết về phân mảnh dọc, phân mảnh ngang và 6 đặc tính trong suốt của hệ quản trị cơ sở dữ liệu phân tán.
  • Hoàn thiện và chứng minh thành công thuật toán phân rã lược đồ quan hệ đạt chuẩn BCNF thỏa mãn đồng thời hai tiêu chuẩn khắt khe: bảo toàn phụ thuộc hàm và nối không mất thông tin.
  • Ứng dụng xuất sắc mô hình lý thuyết vào bài toán quản lý mạng lưới giao thông đường bộ Thành phố Lạng Sơn gồm 13 tuyến đường với 29 thuộc tính kỹ thuật.
  • Xây dựng thành công phần mềm thử nghiệm bằng ngôn ngữ C# với giao diện trực quan, tự động hóa toàn bộ quy trình tìm khóa tối tiểu và phân rã lược đồ logic.
  • Đề ra định hướng 12 tháng tiếp theo để mở rộng thuật toán sang phân mảnh hỗn hợp và triển khai hệ cơ sở dữ liệu phân tán trên nền tảng điện toán đám mây.

Công trình nghiên cứu đã đóng góp một giải pháp khoa học chuẩn xác và khả thi, kết nối chặt chẽ giữa lý thuyết toán học trừu tượng với nhu cầu hiện đại hóa hạ tầng giao thông đô thị thực tế. Hãy liên hệ và tham khảo chi tiết toàn văn luận văn thạc sĩ để tiếp cận trọn vẹn giải pháp tối ưu hóa dữ liệu xuất sắc này cho các dự án công nghệ của bạn ngay hôm nay.