Tổng quan nghiên cứu

Sự phát triển vượt bậc của hạ tầng công nghệ thông tin và mạng máy tính diện rộng đã đặt ra bài toán cấp thiết về việc tối ưu hóa tổ chức và quản lý dữ liệu trên quy mô lớn. Tại thành phố Hải Phòng, tính đến hết quý I năm 2009, Viễn thông Hải Phòng quản lý và cung cấp dịch vụ cho hơn 400.000 khách hàng là thuê bao viễn thông và công nghệ thông tin. Trong đó, số lượng thuê bao điện thoại cố định đạt 295.397 thuê bao và thuê bao cáp quang FTTH là 411 thuê bao. Với địa bàn trải rộng trên nhiều quận, huyện và mật độ sử dụng tăng trưởng nhanh chóng, mô hình quản lý tập trung truyền thống qua mạng cục bộ đã bộc lộ nhiều điểm nghẽn nghiêm trọng, đặc biệt là tình trạng nghẽn mạng do truyền tải toàn bộ tệp dữ liệu dung lượng lớn và giảm tính chủ động tại các đài cơ sở.

Trước thực tế đó, tác giả Trịnh Ngọc Quảng dưới sự hướng dẫn khoa học của PGS. Nguyễn Văn Vỵ tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội đã thực hiện luận văn thạc sĩ chuyên ngành Công nghệ Phần mềm với đề tài nghiên cứu về hệ thống phân tán và ứng dụng cho hệ thống điều hành 119 của Viễn thông Hải Phòng. Mục tiêu trọng tâm của đề tài là ứng dụng lý thuyết cơ sở dữ liệu phân tán và công nghệ Oracle Server nhằm xây dựng giải pháp tin học hóa toàn diện quy trình tiếp nhận báo hỏng, xử lý sự cố và nghiệm thu kỹ thuật cho dịch vụ 119. Phạm vi nghiên cứu tập trung vào phân đoạn dữ liệu và phân tán xử lý tại các đài viễn thông khu vực trực thuộc thành phố Hải Phòng. Đề tài đem lại giá trị thực tiễn to lớn khi giúp giảm thiểu trên 60% lưu lượng dữ liệu dư thừa truyền qua mạng diện rộng, đồng thời rút ngắn 80% thời gian xử lý phiếu điều hành sửa chữa dây máy cáp so với quy trình thủ công trước đây.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của lý thuyết hệ thống phân tán và kiến trúc cơ sở dữ liệu phân tán hiện đại. Thứ nhất, mô hình kiến trúc máy khách và máy dịch vụ được phân tích chuyên sâu qua 27 dạng biến thể lý thuyết, trong đó tập trung vào 6 mô hình triển khai phổ biến gồm: trình diễn thông tin phân tán, trình diễn từ xa, quản lý dữ liệu từ xa, phân tán chức năng, cơ sở dữ liệu phân tán và xử lý phân tán. Mô hình này khắc phục triệt để hạn chế của kiến trúc máy dịch vụ tệp truyền thống vốn yêu cầu chuyển toàn bộ tệp qua mạng cục bộ.

Thứ hai, nghiên cứu áp dụng lý thuyết phân mảnh dữ liệu bao gồm 3 kỹ thuật chính: phân đoạn ngang, phân đoạn dọc và phân đoạn hỗn hợp. Mọi lược đồ phân đoạn đều phải thỏa mãn nghiêm ngặt 3 điều kiện ràng buộc cốt lõi: tính đầy đủ (mọi mục dữ liệu của quan hệ tổng thể đều phải thuộc về ít nhất một phân đoạn), tính khôi phục lại (quan hệ tổng thể phải được tái thiết nguyên vẹn thông qua các phép toán hợp hoặc kết nối tự nhiên), và tính rời nhau (các phân đoạn ngang không được chứa dữ liệu trùng lặp).

Thứ ba, hệ thống được thiết kế nhằm đạt được 4 mức độ trong suốt phân tán: trong suốt phân đoạn, trong suốt định vị, trong suốt ánh xạ địa phương và khả năng tương thích trên nền tảng Oracle Server với các thành phần quản trị bộ nhớ SGA kết hợp cùng các tiến trình nền như DBWR, LGWR, PMON, SMON.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp tiếp cận thiết kế từ trên xuống cho toàn bộ kiến trúc cơ sở dữ liệu phân tán, kết hợp với phương pháp phân tích nghiệp vụ thực chứng tại Viễn thông Hải Phòng trong giai đoạn năm 2008 đến năm 2009. Cỡ mẫu khảo sát bao gồm dữ liệu thực tế từ 295.397 thuê bao cố định và 411 thuê bao FTTH phân bổ trên 14 đài viễn thông quận, huyện trực thuộc địa bàn Hải Phòng. Phương pháp chọn mẫu phân tầng theo khu vực địa lý hành chính được lựa chọn nhằm phản ánh chính xác mật độ sự cố và lưu lượng giao dịch phát sinh theo từng vùng viễn thông.

Lý do lựa chọn phương pháp phân tích từ trên xuống là vì hệ thống điều hành 119 được phát triển mới hoàn toàn trên nền tảng cơ sở dữ liệu Oracle đồng nhất, cho phép chuẩn hóa lược đồ quan hệ tổng thể ngay từ đầu, sau đó tiến hành phân tích thực thể và phân đoạn dữ liệu tối ưu trước khi cài đặt vật lý. Dữ liệu thứ cấp được thu thập từ báo cáo quản trị mạng và số liệu thống kê phiếu báo hỏng tại Đài điều hành 119 trung tâm. Quy trình nghiên cứu trải qua 4 giai đoạn logic: khảo sát nghiệp vụ thực tế, xây dựng mô hình toán học cho phân đoạn dữ liệu, thiết kế giao diện ứng dụng trên công cụ hỗ trợ phát triển và triển khai thử nghiệm trên môi trường mạng nội bộ LAN/WAN của đơn vị.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và cài đặt hệ thống điều hành 119 phân tán đã mang lại các phát hiện khoa học và kết quả kỹ thuật nổi bật:

Thứ nhất, việc chuyển đổi từ kiến trúc máy dịch vụ tệp sang mô hình xử lý phân tán đã giúp giảm lưu lượng truyền tải trên mạng trung bình từ 65% đến 75%. Thay vì gửi toàn bộ tệp dữ liệu dung lượng lớn về từng máy trạm cá nhân, máy chủ Oracle chỉ truyền kết quả truy vấn sau khi đã thực hiện chọn lọc và chiếu dữ liệu tại nguồn.

Thứ hai, kỹ thuật phân đoạn ngang theo thuộc tính địa bàn hành chính (như đài Hồng Bàng, đài Ngô Quyền) giúp nâng cao tính tự chủ cục bộ tại các đài viễn thông quận, huyện lên trên 85%. Các truy vấn kiểm tra danh sách thuê bao chờ xuất phiếu, gửi máy đi đo thử nghiệm và lập báo cáo sự cố được thực hiện ngay tại cơ sở dữ liệu địa phương với độ trễ phản hồi giảm hơn 90%, trung bình dưới 1,5 giây cho mỗi giao dịch phức tạp.

Thứ ba, mô hình cây phân đoạn hỗn hợp kết hợp phân đoạn dọc (phân tách mã thuê bao, tên, phòng ban) và phân đoạn ngang theo định mức quản lý đã tối ưu hóa không gian lưu trữ và đảm bảo 100% tính toàn vẹn dữ liệu khi thực hiện tái thiết quan hệ tổng thể qua phép toán hợp và phép kết nối chính xác.

Thứ tư, hệ thống phần mềm điều hành 119 mới đã chuẩn hóa hoàn toàn 8 phân hệ chức năng nghiệp vụ, hỗ trợ xử lý luồng công việc từ khâu tiếp nhận thông tin báo hỏng, xuất phiếu điều sửa chữa, kiểm tra nghiệm thu đến tổng hợp 12 loại biểu mẫu thống kê phục vụ lãnh đạo.

Thảo luận kết quả

Kết quả nghiên cứu chứng minh rằng việc áp dụng cơ sở dữ liệu phân tán là hướng đi tất yếu cho các doanh nghiệp viễn thông có quy mô quản lý hàng trăm nghìn khách hàng. Nguyên nhân của sự vượt trội này nằm ở tính năng trong suốt định vị và trong suốt phân đoạn: người dùng tại các máy trạm khu vực có thể truy xuất dữ liệu tổng thể một cách liền mạch mà không cần quan tâm đến vị trí vật lý lưu trữ bảng dữ liệu. Khi so sánh với các hệ thống quản lý tập trung đơn thuần, mô hình phân tán loại bỏ nguy cơ tắc nghẽn nút mạng trung tâm khi xảy ra sự cố cáp hoặc thời tiết xấu khiến lượng cuộc gọi báo hỏng tăng đột biến trên 300%.

Dữ liệu phân tích và luồng điều hành có thể được trực quan hóa sinh động qua các sơ đồ luồng dữ liệu 4 mức và biểu đồ hình cây phân đoạn. Cụ thể, bảng quan hệ tổng thể nhân viên và thuê bao được biểu diễn ở gốc cây, các nhánh trung gian thể hiện phép chiếu theo cột, và các lá của cây thể hiện phân đoạn ngang tương ứng với từng trạm vật lý. So sánh với các nghiên cứu cùng thời kỳ sử dụng cơ sở dữ liệu Access hoặc FoxPro, giải pháp tích hợp Oracle Distributed Database đem lại độ tin cậy vượt trội với khả năng tự động đồng bộ và bảo mật đa tầng, đáp ứng hoàn hảo yêu cầu vận hành của ngành viễn thông.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm triển khai, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm hoàn thiện và nhân rộng hệ thống điều hành viễn thông:

  1. Chuẩn hóa hạ tầng mạng và nâng cấp bộ nhớ hệ thống: Phòng Tin học và Hạ tầng mạng của Viễn thông Hải Phòng cần tiến hành mở rộng vùng nhớ SGA của máy chủ Oracle lên tối thiểu 4GB đến 8GB và tối ưu băng thông kết nối WAN giữa trung tâm điều hành và 14 đài khu vực. Mục tiêu nhằm duy trì tỷ lệ tải dữ liệu trong bộ nhớ đệm đạt trên 95%, hoàn thành trong quý II năm 2010.

  2. Áp dụng cơ chế nhân bản dữ liệu linh hoạt: Ban chỉ đạo đề tài cần triển khai công cụ sao lặp dữ liệu không đầy đủ cho các bảng danh mục chung như bảng phân loại sự cố và bảng danh bạ trạm cáp. Giải pháp này giúp các đài quận, huyện duy trì hoạt động thông suốt 24/7 ngay cả khi tạm thời mất kết nối tới trung tâm, nâng chỉ số sẵn sàng hệ thống đạt 99,9%.

  3. Mở rộng phạm vi phân đoạn sang các dịch vụ băng rộng mới: Đội ngũ kỹ sư phần mềm cần cập nhật module quản lý báo hỏng tích hợp cho dịch vụ Internet ADSL và thuê bao cáp quang FTTH với dự kiến số lượng quản lý tăng trưởng trên 200% mỗi năm. Thời hạn hoàn thành giai đoạn mở rộng được xác định trong vòng 6 tháng kể từ khi vận hành thử nghiệm.

  4. Tổ chức đào tạo chuyển giao công nghệ phân quyền: Trung tâm Điều hành 119 phối hợp cùng bộ phận đào tạo tổ chức 3 khóa tập huấn cho hơn 100 nhân viên điều hành, điện thoại viên và kỹ thuật viên dây máy cáp nhằm sử dụng thành thạo các giao diện xuất phiếu, đo thử và nghiệm thu tự động.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang giá trị học thuật và ứng dụng thực tiễn cao, là tài liệu tham khảo đặc biệt hữu ích cho 4 nhóm đối tượng sau:

  1. Kỹ sư và kiến trúc sư hệ thống phần mềm viễn thông: Cung cấp giải pháp mẫu hoàn chỉnh về thiết kế cơ sở dữ liệu phân tán trên RDBMS Oracle, giúp tối ưu hóa luồng dữ liệu cho các bài toán quản lý trên 300.000 thực thể thuê bao.

  2. Cán bộ quản lý và chuyên viên điều hành tại các công ty viễn thông: Cung cấp quy trình chuẩn hóa nghiệp vụ báo hỏng 119, hỗ trợ xây dựng các mẫu phiếu xuất điều, quy trình đo kiểm sự cố dây máy và lập báo cáo quản trị với hơn 10 tiêu chí đánh giá hiệu năng.

  3. Học viên cao học và sinh viên chuyên ngành Công nghệ thông tin: Là tài liệu học tập chuẩn mực về việc áp dụng lý thuyết phân mảnh ngang, dọc và hỗn hợp vào giải quyết bài toán thực tế của doanh nghiệp, có sẵn các mô hình toán học và chứng minh tính khôi phục dữ liệu.

  4. Nhà nghiên cứu về tối ưu hóa mạng và hệ thống phân tán: Nguồn tư liệu tham khảo giá trị về việc đánh giá sự cân bằng giữa chi phí truyền thông trên mạng diện rộng và năng lực xử lý cục bộ tại các điểm nút mạng.

Câu hỏi thường gặp

Hệ thống phân tán mang lại lợi ích gì vượt trội so với mô hình File Server truyền thống trong điều hành 119?
Mô hình File Server yêu cầu truyền toàn bộ tệp dữ liệu qua mạng LAN về máy trạm cá nhân gây nghẽn mạng nặng nề. Hệ thống phân tán cho phép máy chủ Oracle xử lý truy vấn tại chỗ và chỉ trả về tập kết quả chọn lọc, giúp giảm trên 70% lưu lượng mạng và tăng tốc độ xử lý phiếu báo hỏng lên gấp 4 lần.

Lý thuyết phân đoạn dữ liệu được áp dụng như thế nào trong bài toán điều hành viễn thông?
Luận văn áp dụng phân đoạn ngang theo khu vực địa lý hành chính (như quận Hồng Bàng, quận Ngô Quyền) kết hợp phân đoạn dọc theo chức năng nghiệp vụ (thông tin kỹ thuật và thông tin cá nhân). Cách phân chia này đảm bảo tính đầy đủ, tính khôi phục và tính rời nhau, giúp 85% tác vụ xử lý diễn ra cục bộ tại trạm.

Hệ thống xử lý thế nào khi có sự cố mất kết nối giữa đài khu vực và máy chủ trung tâm?
Nhờ chiến lược phân tán dữ liệu và sao lặp các danh mục dùng chung, các đài viễn thông khu vực vẫn có thể tự chủ tiếp nhận và xử lý sự cố thuê bao nội hạt bình thường. Khi kết nối mạng được khôi phục, các giao dịch và trạng thái phiếu sửa chữa sẽ tự động được đồng bộ về máy chủ trung tâm với độ chính xác 100%.

Hệ quản trị cơ sở dữ liệu Oracle hỗ trợ những gì cho kiến trúc phân tán này?
Oracle cung cấp các công cụ mạnh mẽ như quản trị vùng nhớ chung SGA, các tiến trình nền tự động đồng bộ hóa, cơ chế liên kết cơ sở dữ liệu qua Database Link và hỗ trợ tính trong suốt định vị. Điều này cho phép lập trình viên và người dùng thao tác dữ liệu phân tán tương tự như trên một cơ sở dữ liệu đơn nhất.

Hệ thống điều hành 119 phân tán có thể mở rộng cho các dịch vụ viễn thông thế hệ mới không?
Hoàn toàn có thể. Cấu trúc bảng dữ liệu và mô hình phân mảnh được thiết kế theo hướng module hóa linh hoạt, cho phép tích hợp thêm các dịch vụ băng rộng như IPTV, FTTH với khả năng mở rộng quy mô quản lý vượt mốc 1.000.000 thuê bao mà không cần thay đổi cấu trúc nền tảng.

Kết luận

  • Nghiên cứu đã giải quyết thành công bài toán chuyển đổi mô hình điều hành sự cố 119 của Viễn thông Hải Phòng từ quản lý tập trung sang kiến trúc phân tán hiện đại, phục vụ hiệu quả cho hơn 400.000 thuê bao viễn thông.
  • Ứng dụng xuất sắc lý thuyết phân đoạn dữ liệu ngang, dọc và hỗn hợp trên nền tảng Oracle Server, đảm bảo tuyệt đối 3 nguyên tắc ràng buộc về tính đầy đủ, tính khôi phục và tính rời nhau.
  • Tối ưu hóa hiệu năng vận hành với lưu lượng truyền tải trên mạng diện rộng giảm trên 65% và thời gian phản hồi giao dịch tại các đài khu vực đạt dưới 1,5 giây.
  • Xây dựng bộ phần mềm điều hành hoàn chỉnh với 8 module chức năng và hệ thống biểu mẫu báo cáo tự động hóa, nâng cao năng suất lao động cho đội ngũ kỹ thuật viên.
  • Đề tài mở ra hướng nghiên cứu và ứng dụng mở rộng cho các dịch vụ mạng thế hệ mới trong lộ trình phát triển giai đoạn 2010 đến 2015 của ngành viễn thông.

Để nắm bắt toàn diện các sơ đồ kiến trúc chi tiết, thuật toán phân mảnh quan hệ và bộ mã nguồn giao diện phần mềm, quý độc giả và các nhà nghiên cứu hãy tham khảo toàn văn luận văn thạc sĩ của tác giả Trịnh Ngọc Quảng để áp dụng vào các dự án công nghệ thực tế.