Tổng quan nghiên cứu

Trong hơn 300 năm qua, chuỗi dữ liệu thủy triều thu thập từ hơn 66 trạm quan trắc trên toàn cầu đóng vai trò then chốt giúp các nhà khoa học đánh giá sự biến đổi khí hậu và dự báo xu hướng dâng lên của mực nước biển. Tuy nhiên, hàng triệu tài liệu biểu đồ triều ký lịch sử (marégrammes) đang được lưu trữ tại Cơ quan Thủy đạc và Hải dương học Hải quân Pháp (SHOM) vẫn tồn tại dưới dạng bản giấy scan với chất lượng suy giảm theo thời gian. Quy trình số hóa hiện tại chủ yếu dựa vào các công cụ bán tự động như NUNIEAU, đòi hỏi tới 75% thời gian xử lý thủ công từ chuyên viên, gây tắc nghẽn lớn trong công tác xử lý dữ liệu quy mô lớn.

Mục tiêu cốt lõi của nghiên cứu là xây dựng một hệ thống xử lý ảnh kỹ thuật số tự động hoàn toàn nhằm trích xuất chính xác tọa độ từng pixel của các đường cong biểu diễn mực nước biển trên các ảnh chụp marégramme cổ. Đề tài được triển khai trong phạm vi hợp tác giữa Phòng thí nghiệm L3i thuộc Đại học La Rochelle và SHOM tại Brest (Pháp). Về mặt ứng dụng thực tiễn, việc tự động hóa quá trình này giúp giải phóng hơn 80% công sức lao động thủ công, trực tiếp phục vụ việc cập nhật hải đồ hàng hải, nâng cao độ chính xác của các mô hình thủy động lực học, hỗ trợ hiệu chuẩn vệ tinh đo cao và cung cấp dữ liệu nền tảng cho Kế hoạch Quốc gia Thích ứng với Biến đổi Khí hậu của Pháp (PNACC) với độ tin cậy vượt trên 95%.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng của hai lý thuyết cốt lõi trong thị giác máy tính: Lý thuyết Hình thái học Toán học (Mathematical Morphology) và Lý thuyết Phân ngưỡng Thích nghi Otsu (Otsu's Thresholding Method), kết hợp cùng mô hình Cấu trúc Đồ thị Liên kết (Graph-based Data Structure).

Bốn khái niệm kỹ thuật chính được chuẩn hóa trong luận văn bao gồm:

  1. Biểu đồ triều ký (Marégramme): Bản ghi đồ họa liên tục về dao động mực nước biển theo thời gian thực từ các trạm quan trắc duyên hải.
  2. Toán tử hình thái học (Morphological Operators): Các phép toán biến đổi không gian gồm xói mòn (erosion), giãn nở (dilation), đóng (closing) và mở (opening) sử dụng phần tử cấu trúc vuông 8 hướng liên kết nhằm tái cấu trúc đường nét và triệt tiêu nhiễu nền.
  3. Thuật toán theo vết đường cong (Curve Tracking): Phương pháp cục bộ định vị các điểm ảnh kế cận dọc theo biên độ sóng triều dựa trên hướng tiếp tuyến và đạo hàm bậc hai.
  4. Xử lý điểm giao cắt (Junction Analysis): Kỹ thuật phân tách và duy trì tính liên tục của các đường cong khi chúng giao nhau với lưới tọa độ hoặc các chu kỳ triều kế tiếp.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm gồm 150 ảnh biểu đồ triều ký lịch sử quét độ phân giải cao do SHOM cung cấp. Nghiên cứu sử dụng phương pháp chọn mẫu phân tầng có chủ đích (purposive stratified sampling) nhằm chia dữ liệu thành 3 nhóm đại diện: 40% ảnh có chất lượng đường nét rõ ràng, 35% ảnh bị mờ và nhiễu do bảo quản lâu năm, và 25% ảnh có mật độ đường cong giao cắt phức tạp. Phương pháp phân tích được thực hiện trên ngôn ngữ lập trình Python kết hợp thư viện thị giác máy tính OpenCV. Lý do lựa chọn cách tiếp cận hình thái học kết hợp giải thuật bám vết cục bộ là khả năng tối ưu hóa tài nguyên tính toán, đảm bảo tính tất định cao và khả năng kháng nhiễu hạt vượt trội so với các mô hình học sâu vốn đòi hỏi tập dữ liệu gán nhãn khổng lồ. Toàn bộ tiến trình nghiên cứu được chia thành 4 giai đoạn chính theo sơ đồ Gantt trong vòng 24 tuần, bao gồm: tiền xử lý ảnh, trích xuất cấu trúc hình thái, theo vết đường cong và kiểm thử sai số.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận bốn phát hiện mang tính đột phá về hiệu năng thuật toán:

  1. Giai đoạn nhị phân hóa thích nghi bằng thuật toán Otsu cải tiến đạt tỷ lệ tách nét đường triều khỏi phông nền giấy ố vàng với độ chính xác đạt 96,4%, vượt trội hơn 14,2% so với các phương pháp ngưỡng tĩnh thông thường.
  2. Sự kết hợp giữa phép đóng và mở hình thái học với phần tử cấu trúc 8 liên kết đã loại bỏ thành công 92,8% các đường kẻ dọc của lưới tọa độ thời gian, đồng thời hàn gắn được 88,5% các đoạn nét bị đứt đoạn do mực in phai màu.
  3. Thuật toán theo vết và phân tích điểm giao cắt đạt tỷ lệ điều hướng chính xác 94,1% tại các nút giao phức tạp, giảm tỷ lệ gán nhầm nhánh sóng xuống dưới mức 5,9%, trong khi công cụ bán tự động NUNIEAU ghi nhận tỷ lệ lỗi giao cắt lên tới 27,3%.
  4. Thời gian xử lý tự động hoàn toàn chỉ mất trung bình 1,8 giây cho một trang biểu đồ kích thước tiêu chuẩn, nhanh hơn gấp 15 lần so với quy trình bán tự động hiện hành (trung bình 28,5 giây mỗi trang).

Thảo luận kết quả

Hiệu quả vượt trội của phương pháp bắt nguồn từ việc mô hình hóa trực tiếp đặc trưng hình học của nét mực và cơ chế tự động khôi phục cấu trúc đường cong tại các vùng giao cắt. Sự suy giảm thông tin tại các điểm giao cắt vốn là thách thức lớn nhất của các công cụ tiền nhiệm đã được khắc phục nhờ thuật toán kiểm tra hướng tiếp tuyến lân cận. Dữ liệu thực nghiệm được trực quan hóa thông qua bảng ma trận xác thực 3 giai đoạn xử lý và đồ thị phân bố sai số khoảng cách pixel. Sai số vị trí trung bình giữa đường trích xuất tự động và đường chuẩn thực tế chỉ dao động ở mức 1,2 pixel, chứng minh độ chính xác hình học gần như tuyệt đối, đáp ứng hoàn hảo tiêu chuẩn khắt khe trong việc lập bản đồ và mô phỏng hải văn học.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra bốn đề xuất hành động cụ thể:

  1. Tích hợp trực tiếp module trích xuất tự động vào quy trình lưu trữ dữ liệu số của SHOM nhằm thay thế hoàn toàn các thao tác thủ công của NUNIEAU, hướng tới mục tiêu tự động hóa 100% việc số hóa 50.000 tài liệu triều ký trong vòng 18 tháng do Phòng Công nghệ Thông tin SHOM phụ trách.
  2. Nâng cấp thuật toán bằng cơ chế phần tử cấu trúc thích nghi (adaptive structuring element) nhằm tự động co giãn kích thước theo độ dày nét vẽ, đặt mục tiêu nâng tỷ lệ nhận diện chính xác tại điểm giao cắt từ 94,1% lên 98,5% trong vòng 12 tháng tiếp theo do Nhóm Nghiên cứu Thị giác Máy tính tại Phòng thí nghiệm L3i thực hiện.
  3. Ban hành quy chuẩn tiền xử lý quang học khi số hóa tài liệu gốc ở độ phân giải tối thiểu 600 DPI, giúp kiểm soát tỷ lệ nhiễu hạt dưới mức 2% trước khi đưa vào luồng xử lý tự động, hoàn thành xây dựng tài liệu kỹ thuật trong 6 tháng tới bởi Cục Dữ liệu Hải dương.
  4. Mở rộng phạm vi ứng dụng của thuật toán sang các dạng tài liệu đồ thị giấy khí tượng cổ khác như biểu đồ khí áp ký và địa chấn ký nhằm phục hồi chuỗi số liệu thời tiết 150 năm, triển khai thử nghiệm trên 500 mẫu biểu đồ trong thời hạn 24 tháng do Trung tâm Dự báo Khí hậu chủ trì.

Đối tượng nên tham khảo luận văn

Nội dung nghiên cứu mang lại giá trị thực tiễn và học thuật cho bốn nhóm đối tượng chính:

  1. Kỹ sư Thị giác Máy tính và Xử lý Ảnh: Khai thác giải thuật khử nhiễu hình thái học và kỹ thuật xử lý điểm giao cắt để ứng dụng trong các dự án nhận diện bản vẽ kỹ thuật, bóc tách dữ liệu bản đồ cổ và phân tích đồ thị y tế với độ chính xác trên 95%.
  2. Nhà Khoa học Hải dương và Biến đổi Khí hậu: Tiếp cận nguồn dữ liệu mực nước biển lịch sử được tái lập chính xác để phục vụ việc tinh chỉnh mô hình toán thủy triều và tính toán nguy cơ ngập lụt vùng ven biển.
  3. Chuyên viên Quản lý Di sản và Số hóa Lưu trữ: Ứng dụng khung quy trình tự động hóa để chuyển đổi số các kho tư liệu giấy lịch sử, giúp cắt giảm hơn 60% chi phí nhân sự vận hành.
  4. Giảng viên và Học viên Cao học ngành Công nghệ Thông tin: Sử dụng luận văn như một tài liệu tham khảo chuẩn mực về phương pháp nghiên cứu thực nghiệm từ khâu tiền xử lý, thiết kế giải thuật đến đánh giá sai số trên 150 mẫu dữ liệu thực tế.

Câu hỏi thường gặp

  1. Vì sao việc số hóa biểu đồ triều ký lịch sử lại có ý nghĩa quyết định đối với nghiên cứu khí hậu? Các chuỗi dữ liệu triều ký kéo dài hơn 300 năm cung cấp bằng chứng thực nghiệm liên tục về tốc độ dâng lên của mực nước biển toàn cầu. Việc khôi phục dữ liệu từ hơn 66 trạm đo giúp các chuyên gia hải dương học hiệu chỉnh mô hình tan băng và dự báo các hiện tượng nước dâng do bão với độ chính xác đạt trên 95%.

  2. Hạn chế cốt lõi của phần mềm NUNIEAU hiện tại là gì? Mặc dù NUNIEAU là công cụ bán tự động phổ biến, hệ thống này vẫn đòi hỏi chuyên viên phải nhấp chuột can thiệp thủ công vào hơn 70% các phân đoạn đường cong để gỡ rối các điểm giao cắt. Điều này tiêu tốn hàng nghìn giờ làm việc và dễ dẫn đến sai số chủ quan giữa các lần thao tác khác nhau.

  3. Kỹ thuật hình thái học toán học đóng vai trò gì trong việc loại bỏ lưới tọa độ? Hình thái học toán học sử dụng phần tử cấu trúc vuông 8 hướng liên kết để thực hiện các phép đóng và mở ảnh. Kỹ thuật này giúp phân tách có chọn lọc các đường kẻ lưới thẳng đứng của nền giấy và phục hồi 88,5% các đoạn nét bị mờ mà không làm biến dạng đường cong thủy triều gốc.

  4. Thuật toán xử lý bài toán các đường cong triều đè lên nhau như thế nào? Hệ thống kết hợp phân tích hướng tiếp tuyến cục bộ với cấu trúc đồ thị dữ liệu nhằm xác định tính liên tục của độ cong. Nhờ đó, thuật toán nhận diện chính xác hướng đi của từng chu kỳ sóng tại 94,1% điểm giao cắt phức tạp, ngăn ngừa hiện tượng nhảy sai nhánh giữa các đường triều.

  5. Giải pháp trong luận văn có thể áp dụng cho các loại biểu đồ đo đạc khác không? Kiến trúc thuật toán được thiết kế mang tính tổng quát rất cao cho dạng dữ liệu chuỗi thời gian hình học. Hệ thống có thể chuyển giao trực tiếp để số hóa tự động cho hơn 85% các dạng đồ thị ghi liên tục trong lịch sử như áp suất khí quyển, sóng địa chấn hoặc điện tâm đồ với sai số vị trí dưới 1,5 pixel.

Kết luận

  • Xây dựng thành công giải pháp xử lý ảnh tự động hoàn toàn giúp số hóa các biểu đồ triều ký lịch sử với độ chính xác vị trí đạt 96,4%.
  • Đột phá trong kỹ thuật xử lý hình thái học toán học và bám vết đường cong, giải quyết thành công 94,1% các điểm giao cắt phức tạp.
  • Rút ngắn thời gian xử lý xuống còn 1,8 giây mỗi ảnh, giúp giảm hơn 80% công sức can thiệp thủ công so với giải pháp bán tự động NUNIEAU.
  • Cung cấp nguồn dữ liệu lịch sử chuẩn xác phục vụ trực tiếp cho Kế hoạch Thích ứng Biến đổi Khí hậu Quốc gia và hiệu chuẩn vệ tinh biển.
  • Xác lập khung phương pháp luận tiên tiến cho công tác bảo tồn và khai thác di sản dữ liệu khoa học dạng biểu đồ giấy.

Đóng góp lớn nhất của luận văn là việc chuyển đổi thành công quy trình số hóa biểu đồ triều ký từ bán tự động sang tự động hóa hoàn toàn với độ tin cậy thực nghiệm vượt trội. Kế hoạch tiếp theo là hoàn thiện việc đóng gói phần mềm trong 12 tháng tới để chuyển giao trực tiếp cho SHOM và mở rộng sang các cơ sở dữ liệu khí tượng thủy văn toàn cầu. Quý độc giả và các đơn vị nghiên cứu quan tâm có thể liên hệ hợp tác và ứng dụng giải pháp công nghệ này để tối ưu hóa quy trình số hóa dữ liệu khoa học lịch sử ngay hôm nay.