Luận văn thạc sĩ VNU UET: Tối ưu hóa xử lý giao tác với H-Store

Luận văn thạc sĩ nghiên cứu vnu uet tối ưu hóa xử lý giao tác với h store, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Đào Trọng Lực
• Người hướng dẫn: GS. Hoàng Thị Kim Quế
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Luật học
• Đề tài: Tối ưu hóa xử lý giao tác với H-Store
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2011
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN MÔ HÌNH XỬ LÝ GIAO TÁC H-STORE
• 1.1. Giới thiệu
• 1.2. Tổng quan của hệ thống H-Store
• 1.2.1. Lược đồ triển khai (System deployment)
• 1.2.2. Lược đồ thực thi (Runtime Model)
• 1.3. Lớp giao dịch (Transaction Classes)
• 1.3.1. Giao dịch đơn điểm (Single-sited Transactions)
• 1.3.2. Giao dịch một lần (One-shot Transactions)
• 1.4. Tổ chức dữ liệu vật lý
• 1.5. Nguyên tắc thiết kế hệ thống H-Store
• 1.5.1. Giao dịch tổ chức dưới các thủ tục lưu trữ (stored Procedures)
• 1.5.2. Không cần ổ cứng (No disk)
• 1.5.3. Phân vùng dữ liệu (Partitioning)
• 1.6. Cách thức thực thi giao dịch (Executing Transactions)
• 1.6.1. Các thành phần hệ thống (System components)
• 2. CHƯƠNG 2: PHÁT TRIỂN ỨNG DỤNG XỬ LÝ GIAO TÁC TRỰC TUYẾN VỚI VOLTDB
• 2.1. Giới thiệu VoltDB
• 2.2. Ứng dụng VoltDB
• 2.3. Hoạt động của VoltDB
• 2.4. Cách cài đặt VoltDB
• 2.4.1. Yêu cầu hệ điều hành và phần mềm
• 2.4.2. Cài đặt VoltDB
• 2.4.3. Các thành phần trong bộ phân phối VoltDB
• 2.5. Cách thiết kế ứng dụng VoltDB
• 2.5.1. Thiết kế Cơ sở dữ liệu
• 2.5.2. Thiết kế thủ tục truy nhập dữ liệu (Stored Procedures)
• 2.5.3. Thiết kế ứng dụng logic
• 2.6. Xây dựng ứng dụng VoltDB
• 2.6.1. Dịch ứng dụng Client và thủ tục Server
• 2.6.2. Tạo file định nghĩa dự án (Project Definition File)
• 2.6.3. Xây dựng hồ sơ thời gian chạy (Runtime Catalog)
• 2.6.4. Chạy ứng dụng VoltDB
• 2.6.5. Định nghĩa file cấu hình Cluster
• 2.6.6. Khởi động VoltDB Database
• 2.6.7. Tắt VoltDB Database
• 2.7. Các mô hình hoạt động
• 2.8. Mô hình an ninh trong VoltDB
• 2.8.1. Kích hoạt chế độ xác thực và phân quyền
• 2.8.2. Định nghĩa người dùng và nhóm người dùng
• 2.8.3. Phân quyền truy cập thủ tục
• 2.8.4. Cho phép truy cập thủ tục hệ thống và Ad Hoc Queries
• 2.9. Mô hình sẵn sàng
• 2.9.1. Mô hình K-Safety
• 2.9.2. Kích hoạt K-Safety
• 2.9.3. Khôi phục hệ thống khi bị lỗi
• 2.9.4. Tránh phân vùng mạng (Network Partitions)
• 2.10. Quản trị CSDL
• 2.10.1. VoltDB Enterprise Manager
• 2.10.2. Quản trị các Databases
• 2.10.2.1. Cài đặt và khởi động VoltDB Enterprise Manager
• 2.10.2.2. Khám phá Enterprise Manager
• 2.10.2.3. Khởi động và tắt Cơ sở dữ liệu
• 2.10.2.4. Nâng cấp Cơ sở dữ liệu
• 2.10.2.5. Bảo dưỡng và sửa chữa Cluster
• 3. CHƯƠNG 3: HỆ THỐNG QUẢN LÝ KHÁCH HÀNG VÀ KHO SỐ CỦA CÔNG TY VIỄN THÔNG NGÀNH ĐIỆN
• 3.1. Bài toán đặt ra
• 3.2. Thiết kế, cài đặt hệ thống thử nghiệm
• 3.2.1. Thiết kế cơ sở dữ liệu
• 3.2.2. Thiết kế giao diện
• 3.2.3. Thiết kế kiến trúc phần cứng – Cluster
• 3.2.4. Cài đặt chương trình
• 3.3. Quản trị hệ thống
• 3.3.1. Thiết kế giao diện
• 3.3.2. Cài đặt chương trình
• 3.3.3. Đánh giá, so sánh với hệ quản trị Oracle và MySQL
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về tối ưu hóa xử lý giao tác với H Store

H-Store là một hệ thống cơ sở dữ liệu quan hệ hiện đại, được thiết kế để tối ưu hóa xử lý giao tác trong môi trường phân tán. Hệ thống này cho phép thực hiện các giao dịch một cách nhanh chóng và hiệu quả, nhờ vào việc lưu trữ dữ liệu hoàn toàn trong bộ nhớ. Việc nghiên cứu và áp dụng H-Store trong luận văn thạc sĩ tại VNU UET không chỉ giúp cải thiện hiệu suất mà còn giải quyết các vấn đề tồn tại trong các hệ thống truyền thống.

1.1. Khái niệm cơ bản về H Store và ứng dụng

H-Store là một hệ thống OLTP (Online Transaction Processing) được thiết kế để xử lý các giao dịch với hiệu suất cao. Hệ thống này hoạt động trên nền tảng phân tán, cho phép tối ưu hóa việc xử lý giao tác bằng cách sử dụng bộ nhớ chính thay vì ổ cứng. Điều này giúp giảm thiểu độ trễ và tăng tốc độ xử lý giao dịch.

1.2. Lợi ích của việc tối ưu hóa xử lý giao tác

Việc tối ưu hóa xử lý giao tác với H-Store mang lại nhiều lợi ích, bao gồm tăng cường hiệu suất hệ thống, giảm thiểu thời gian phản hồi và khả năng mở rộng linh hoạt. Hệ thống này cho phép xử lý hàng triệu giao dịch mỗi giây, đáp ứng nhu cầu ngày càng cao của các ứng dụng hiện đại.

II. Vấn đề và thách thức trong xử lý giao tác

Mặc dù H-Store mang lại nhiều lợi ích, nhưng việc triển khai và tối ưu hóa hệ thống này cũng gặp phải một số thách thức. Các vấn đề như quản lý dữ liệu, điều khiển tương tranh và khả năng mở rộng là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Quản lý dữ liệu trong H Store

Quản lý dữ liệu là một trong những thách thức lớn nhất khi triển khai H-Store. Việc phân vùng dữ liệu và đảm bảo tính nhất quán giữa các phân vùng là rất quan trọng để duy trì hiệu suất của hệ thống.

2.2. Điều khiển tương tranh trong giao tác

Điều khiển tương tranh là một yếu tố quan trọng trong việc xử lý giao tác. H-Store sử dụng các cơ chế điều khiển tương tranh để đảm bảo rằng các giao dịch không xung đột và được thực hiện một cách chính xác.

III. Phương pháp tối ưu hóa hiệu suất giao tác với H Store

Để tối ưu hóa hiệu suất giao tác với H-Store, nhiều phương pháp đã được áp dụng. Các phương pháp này bao gồm việc sử dụng các thủ tục lưu trữ, phân vùng dữ liệu và tối ưu hóa truy vấn.

3.1. Sử dụng thủ tục lưu trữ để tối ưu hóa giao tác

Thủ tục lưu trữ là một công cụ mạnh mẽ trong H-Store, cho phép thực hiện các giao dịch phức tạp một cách hiệu quả. Việc sử dụng thủ tục lưu trữ giúp giảm thiểu độ trễ và tăng tốc độ xử lý giao dịch.

3.2. Phân vùng dữ liệu để cải thiện hiệu suất

Phân vùng dữ liệu là một kỹ thuật quan trọng trong H-Store, giúp tối ưu hóa việc truy cập dữ liệu và giảm thiểu xung đột giữa các giao dịch. Việc phân vùng hợp lý có thể cải thiện đáng kể hiệu suất của hệ thống.

IV. Ứng dụng thực tiễn của H Store trong nghiên cứu

H-Store đã được áp dụng trong nhiều lĩnh vực khác nhau, từ quản lý khách hàng đến xử lý giao dịch tài chính. Việc nghiên cứu và phát triển ứng dụng H-Store trong luận văn thạc sĩ tại VNU UET đã cho thấy những kết quả khả quan.

4.1. Ứng dụng H Store trong quản lý khách hàng

H-Store đã được sử dụng để phát triển hệ thống quản lý khách hàng cho công ty Viễn Thông Điện Lực. Hệ thống này cho phép xử lý hàng triệu giao dịch mỗi ngày, đáp ứng nhu cầu ngày càng cao của khách hàng.

4.2. Kết quả nghiên cứu và đánh giá hiệu suất

Kết quả nghiên cứu cho thấy H-Store có khả năng xử lý giao tác nhanh hơn so với các hệ thống truyền thống. Việc so sánh hiệu suất giữa H-Store và các hệ quản trị cơ sở dữ liệu khác đã chứng minh tính ưu việt của H-Store.

V. Kết luận và hướng phát triển tương lai của H Store

H-Store đã chứng minh được khả năng tối ưu hóa xử lý giao tác trong môi trường phân tán. Tuy nhiên, vẫn còn nhiều cơ hội để cải thiện và phát triển hệ thống này trong tương lai.

5.1. Tóm tắt kết quả nghiên cứu

Nghiên cứu đã chỉ ra rằng H-Store có thể cải thiện đáng kể hiệu suất xử lý giao tác. Các ứng dụng thực tiễn đã cho thấy tính khả thi và hiệu quả của hệ thống này.

5.2. Hướng phát triển trong tương lai

Trong tương lai, H-Store có thể được phát triển thêm với các tính năng mới, như cải thiện khả năng mở rộng và tối ưu hóa hơn nữa hiệu suất xử lý giao tác. Việc nghiên cứu và phát triển các công nghệ mới sẽ giúp H-Store trở thành một giải pháp tối ưu cho các hệ thống xử lý giao tác hiện đại.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ dữ liệu số và giao dịch trực tuyến, các hệ thống quản trị cơ sở dữ liệu quan hệ truyền thống đang đối mặt với nút thắt cổ chai nghiêm trọng về hiệu năng vào ra đĩa từ thiết bị I/O, khiến thông lượng xử lý thường bị giới hạn dưới ngưỡng 1.000 giao dịch mỗi giây. Nhằm giải quyết triệt để vấn đề này, kiến trúc xử lý giao tác phân tán trong bộ nhớ H-Store và đại diện tiêu biểu là VoltDB đã ra đời, mang lại bước đột phá với khả năng gia tăng băng thông xử lý lên gấp 45 lần so với các hệ quản trị dữ liệu truyền thống. Mục tiêu cốt lõi của nghiên cứu là phân tích sâu sắc mô hình H-Store, từ đó ứng dụng giải pháp VoltDB để giải quyết bài toán quản lý khách hàng và kho số cho công ty Viễn thông Điện lực.

Phạm vi nghiên cứu tập trung vào hệ thống tính cước và chăm sóc khách hàng viễn thông, nơi khối lượng giao dịch trực tuyến diễn ra liên tục với thời gian thực thi cực ngắn. Bằng việc khai thác sức mạnh của cụm máy chủ phân tán không chia sẻ tài nguyên, kết hợp phần cứng hiện đại gồm các dòng máy chủ đa nhân đa vi xử lý với dung lượng bộ nhớ RAM từ 128 GB trên mỗi máy chủ đơn lẻ đến 5 TB trên toàn tủ rack 40 máy chủ, nghiên cứu đã khắc phục tình trạng quá tải thường xuyên của hệ thống cũ. Kết quả triển khai thực nghiệm ghi nhận khả năng đáp ứng thông lượng đạt từ 10.000 đến 15.000 giao dịch mỗi giây, duy trì tính toàn vẹn dữ liệu chuẩn xác và loại bỏ hoàn toàn chi phí bản quyền nâng cấp phần cứng không cần thiết cho doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên 2 nền tảng lý thuyết cốt lõi trong khoa học máy tính:

Thứ nhất, Lý thuyết kiến trúc cơ sở dữ liệu phân tán không chia sẻ tài nguyên và xử lý hoàn toàn trong bộ nhớ chính. Mô hình này giả định toàn bộ dữ liệu nghiệp vụ giao dịch trực tuyến được nạp trực tiếp vào bộ nhớ RAM, loại bỏ hoàn toàn việc đọc ghi đĩa từ trong quá trình xử lý giao tác cơ bản. Kiến trúc phân vùng dữ liệu theo chiều ngang cho phép mỗi nút mạng đảm nhận một phần dữ liệu độc lập, tối ưu hóa việc phân tán tải trọng trên các hệ thống máy chủ đa lõi.

Thứ hai, Lý thuyết xử lý giao tác tuần tự đơn luồng và thực thi qua thủ tục lưu trữ biên dịch trước. Thay vì sử dụng cơ chế khóa phân tán phức tạp gây suy giảm hiệu năng, mô hình quy định mỗi phân vùng dữ liệu chỉ do một luồng xử lý duy nhất đảm nhiệm, thực thi các thủ tục Java kết hợp mã SQL chuẩn hóa đã được biên dịch sẵn.

Bên cạnh đó, nghiên cứu làm rõ 4 khái niệm nền tảng:

• Phân vùng dữ liệu: Kỹ thuật chia tách bảng theo khóa chính nhằm định tuyến 89% giao dịch về dạng giao dịch đơn phân vùng.
• Thực thi suy diễn: Cơ chế ẩn độ trễ mạng trong giao thức cam kết 2 pha bằng cách tiếp tục xử lý các giao dịch trong hàng đợi.
• Hệ số chịu lỗi K-Safety: Giải pháp nhân bản dữ liệu trên k bản sao để đảm bảo tính sẵn sàng cao khi có từ 1 đến 2 nút mạng gặp sự cố.
• Tính toàn vẹn ACID: Đảm bảo giao dịch thực thi trọn vẹn hoặc hoàn nguyên hoàn toàn mà không cần duy trì tệp nhật ký ghi đĩa truyền thống.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp đo kiểm hiệu năng trực tiếp trên hệ thống mô phỏng.

• Cỡ mẫu thực nghiệm: Bộ dữ liệu mô phỏng quy mô nghiệp vụ viễn thông thực tế gồm 1.000.000 bản ghi thông tin khách hàng, 200.000 bản ghi giao dịch giữ chỗ kho số và 2.000 bản ghi cấu hình dịch vụ, chịu tải bởi luồng truy vấn ngẫu nhiên từ 100 đến 10.000 yêu cầu mỗi giây.
• Phương pháp chọn mẫu: Nghiên cứu áp dụng phương pháp chọn mẫu phân tầng có chủ đích dựa trên tần suất giao tác thực tế, chia khối lượng công việc thành 89% giao dịch đơn phân vùng và 11% giao dịch đa phân vùng, mô phỏng chính xác chuẩn đánh giá giao dịch TPC-C của ngành công nghiệp phần mềm.
• Lý do lựa chọn phương pháp phân tích: Việc đo kiểm đối chuẩn hiệu năng trực tiếp giữa VoltDB, Oracle Database và MySQL cho phép lượng hóa chính xác các chỉ số kỹ thuật then chốt, bao gồm độ trễ xử lý của CPU ở mức 26 micro-giây và độ trễ truyền thông mạng cục bộ ở mức 40 micro-giây. Phương pháp này cung cấp bằng chứng thực nghiệm rõ ràng nhất để chứng minh sự vượt trội của kiến trúc xử lý trong bộ nhớ.
• Mốc thời gian nghiên cứu: Quá trình thiết kế mô hình, phát triển ứng dụng và đo kiểm thực nghiệm được triển khai đồng bộ và hoàn thành trong giai đoạn năm 2011.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và phân tích hiệu năng của hệ thống VoltDB so với các cơ sở dữ liệu quan hệ truyền thống đã chỉ ra 4 phát hiện quan trọng:

Thứ nhất, về thông lượng xử lý giao dịch, VoltDB đạt băng thông thực thi cao gấp 45 lần so với hệ quản trị cơ sở dữ liệu truyền thống khi chạy cùng tải trọng thử nghiệm. Trong các tác vụ đọc và ghi dữ liệu đồng thời ở tần suất 10.000 yêu cầu mỗi giây, VoltDB duy trì tốc độ phản hồi ổn định dưới 2 mili-giây, trong khi hệ thống cơ sở dữ liệu truyền thống xuất hiện hiện tượng nghẽn hàng đợi và suy giảm hiệu năng hơn 80%.

Thứ hai, về hiệu quả phân vùng dữ liệu, việc cấu hình chính xác khóa phân vùng trên bảng khách hàng và bảng giao dịch giúp 89% khối lượng công việc trở thành giao dịch đơn phân vùng. Các giao dịch này được thực thi độc lập trên từng lõi CPU mà không phải ghi nhận tệp nhật ký undo hay chịu chi phí khóa tài nguyên, giúp tiết kiệm hơn 60% tài nguyên xử lý của hệ thống.

Thứ ba, về cơ chế điều khiển tương tranh, thuật toán thực thi suy diễn đã tối ưu hóa thời gian chờ trong giao thức cam kết 2 pha của các giao dịch đa phân vùng. Với độ trễ mạng Ethernet xấp xỉ 40 micro-giây và thời gian xử lý CPU khoảng 26 micro-giây, cơ chế suy diễn cho phép phân vùng xử lý thêm ít nhất 2 giao dịch đơn vùng trong khoảng thời gian rỗi, nâng cao 35% hiệu suất sử dụng vi xử lý.

Thứ tư, về độ tin cậy và khả năng chịu lỗi, mô hình K-Safety với hệ số K=1 và K=2 trên cụm 6 máy chủ gồm 24 phân vùng cho phép hệ thống duy trì hoạt động 100% khi có từ 1 đến 2 máy chủ vật lý bị mất kết nối đột ngột mà không làm thất thoát bất kỳ bản ghi dữ liệu nào.

Thảo luận kết quả

Nguyên nhân cốt lõi dẫn đến sự vượt trội của VoltDB nằm ở việc loại bỏ hoàn toàn 4 thành phần gây suy giảm hiệu năng trong cơ sở dữ liệu truyền thống: chi phí ghi nhật ký đĩa, chi phí khóa tài nguyên, chi phí quản lý bộ đệm và chi phí đa luồng tương tranh. Khi so sánh với các nghiên cứu về hệ thống tính cước viễn thông sử dụng Oracle, hệ thống mới giúp loại bỏ hoàn toàn tình trạng treo tiến trình do tranh chấp khóa dòng khi hàng ngàn thuê bao cùng truy cập tra cứu kho số.

Để trình bày trực quan các kết quả đo kiểm, dữ liệu hiệu năng có thể được mô hình hóa qua biểu đồ cột so sánh thông lượng giao dịch giữa VoltDB, Oracle và MySQL tại các mức tải 1.000, 5.000 và 10.000 giao dịch mỗi giây. Đồng thời, cấu trúc phân bổ tài nguyên bộ nhớ và tỷ lệ tải của từng phân vùng nên được tổng hợp qua bảng ma trận tải trọng, thể hiện rõ mức độ chiếm dụng RAM từ 4 GB đến 128 GB trên từng nút máy chủ vật lý. Điều này chứng minh rằng việc kết hợp kiến trúc H-Store với phần cứng máy chủ hiện đại là giải pháp tối ưu cho bài toán xử lý giao dịch nghiệp vụ thời gian thực.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm, luận văn đưa ra 4 khuyến nghị và lộ trình giải pháp kỹ thuật cụ thể:

Thứ nhất, tái cấu trúc lược đồ cơ sở dữ liệu và chuẩn hóa việc lựa chọn cột phân vùng. Bộ phận Kiến trúc Dữ liệu cần tiến hành phân tích tần suất truy cập của từng bảng nghiệp vụ, thiết lập phân vùng bảng dữ liệu khách hàng theo khóa định danh duy nhất và nhân bản toàn bộ các bảng danh mục chỉ đọc có dung lượng dưới 50 MB lên tất cả các nút mạng. Mục tiêu cần đạt là duy trì tỷ lệ giao dịch đơn phân vùng tối thiểu 90%, thời gian hoàn thành trong vòng 60 ngày kể từ khi bắt đầu dự án.

Thứ tư, xây dựng và triển khai cụm máy chủ VoltDB trên nền tảng phần cứng phân tán sẵn có. Bộ phận Hạ tầng Công nghệ Thông tin cần tận dụng hệ thống máy chủ đa vi xử lý của các thương hiệu HP, SUN hoặc IBM, cấu hình cụm từ 4 đến 6 nút mạng đồng nhất với tối thiểu 8 lõi vi xử lý và 16 GB RAM mỗi máy chủ. Mục tiêu hướng tới là đạt thông lượng vận hành ổn định 15.000 giao dịch mỗi giây với tỷ lệ dự phòng an toàn 30%, triển khai trong thời gian 90 ngày.

Thứ ba, thiết lập chính sách an toàn dữ liệu và khả năng chịu lỗi K-Safety. Đội ngũ Quản trị Cơ sở Dữ liệu cần kích hoạt thông số K-Safety với giá trị K=2 kết hợp cơ chế phát hiện phân mảnh mạng tự động trong tệp cấu hình triển khai, đồng thời lên lịch chụp ảnh nhanh bộ nhớ tự động định kỳ 30 phút một lần vào thiết bị lưu trữ thứ cấp. Mục tiêu đạt chỉ số thời gian phục hồi dịch vụ dưới 5 giây khi có sự cố nút mạng, hoàn thiện quy trình trong vòng 30 ngày.

Thứ tư, chuyển đổi toàn bộ mã nguồn ứng dụng sang mô hình thủ tục lưu trữ và cơ chế gọi hàm không đồng bộ. Đội ngũ Phát triển Phần mềm cần đóng gói toàn bộ logic xử lý nghiệp vụ vào các lớp Java kế thừa từ thư viện chuẩn của hệ thống, sử dụng các hàm phản hồi phi đồng bộ để tránh hiện tượng nghẽn ngược khi lưu lượng truy cập tăng đột biến. Mục tiêu giảm thiểu 40% độ trễ phản hồi của ứng dụng đầu cuối, thực hiện cuốn chiếu trong thời gian 120 ngày.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị tham khảo thực tiễn cao cho 4 nhóm đối tượng chính:

Thứ nhất, Kỹ sư Kiến trúc Phần mềm và Lập trình viên Hệ thống. Tài liệu cung cấp hướng dẫn chuyên sâu về cách thiết kế ứng dụng giao dịch trực tuyến hiệu năng cao, cách viết thủ tục lưu trữ bằng Java, kỹ thuật phân vùng bảng dữ liệu và phương thức xử lý phản hồi bất đồng bộ nhằm tối ưu hóa thông lượng cho các hệ thống có quy mô hàng triệu người dùng.

Thứ hai, Quản trị viên Cơ sở Dữ liệu và Kỹ sư Vận hành Hạ tầng. Luận văn cung cấp toàn bộ quy trình cài đặt, cấu hình tham số cụm máy chủ, thiết lập phân quyền an ninh, quản lý ảnh chụp nhanh và vận hành công cụ giám sát tập trung để duy trì tính sẵn sàng liên tục cho hệ thống cơ sở dữ liệu trong bộ nhớ.

Thứ ba, Doanh nghiệp Viễn thông, Tài chính Ngân hàng và Thương mại Điện tử. Nghiên cứu mang đến một phương án kiến trúc khả thi giúp các tổ chức xử lý triệt để bài toán nghẽn mạng trong các đợt cao điểm giao dịch, tận dụng tối đa năng lực phần cứng máy chủ hiện có mà không cần đầu tư tốn kém vào các giải pháp phần mềm độc quyền đắt đỏ.

Thứ tư, Giảng viên, Học viên Cao học và Nghiên cứu sinh chuyên ngành Công nghệ Thông tin. Công trình là tài liệu học thuật giá trị về mô hình cơ sở dữ liệu phân tán thế hệ mới, làm sáng tỏ các lý thuyết về điều khiển tương tranh, thực thi suy diễn và giao thức cam kết hai pha trong môi trường tính toán song song.

Câu hỏi thường gặp

Hệ thống cơ sở dữ liệu VoltDB có đảm bảo đầy đủ các đặc tính toàn vẹn ACID như các hệ thống truyền thống không? Hệ thống đáp ứng tuyệt đối 100% tiêu chuẩn ACID. Bằng cách thực thi tuần tự các thủ tục lưu trữ trên từng phân vùng đơn luồng, hệ thống loại bỏ hiện tượng tranh chấp dữ liệu mà không cần cơ chế khóa. Khi xảy ra lỗi ngoại lệ, toàn bộ thao tác trong thủ tục sẽ được hoàn nguyên ngay lập tức về trạng thái ban đầu mà không để lại dữ liệu rác.

Tại sao kiến trúc H-Store lại có thể loại bỏ hoàn toàn cơ chế ghi nhật ký và khóa tài nguyên truyền thống? Do toàn bộ cơ sở dữ liệu được lưu trữ trực tiếp trên bộ nhớ RAM với dung lượng lên tới hàng trăm gigabyte, hệ thống không phải chờ đợi các thao tác đọc ghi đĩa từ chậm chạp. Việc phân vùng dữ liệu và gán mỗi phân vùng cho một luồng CPU duy nhất đảm bảo tính tuần tự tuyệt đối, giúp loại bỏ 100% chi phí khóa và ghi nhật ký phục hồi.

Hệ số K-Safety ảnh hưởng trực tiếp như thế nào đến hiệu năng và cấu hình của cụm máy chủ? Khi kích hoạt hệ số K=1 hoặc K=2, hệ thống sẽ tự động nhân bản mỗi phân vùng dữ liệu thành 2 hoặc 3 bản sao phân tán trên các nút mạng độc lập. Hiệu năng tính toán tổng thể sẽ chia sẻ cho việc đồng bộ hóa dữ liệu sao lưu, do đó doanh nghiệp cần bổ sung thêm máy chủ vật lý tương ứng để duy trì mức thông lượng 10.000 giao dịch mỗi giây.

Trong trường hợp nào doanh nghiệp nên ưu tiên lựa chọn VoltDB thay vì các giải pháp kho dữ liệu lớn? Doanh nghiệp nên ứng dụng giải pháp này cho các hệ thống xử lý giao dịch trực tuyến đòi hỏi thông lượng cao, thời gian đáp ứng dưới 5 mili-giây và dữ liệu lặp lại liên tục như tính cước viễn thông hoặc cổng thanh toán. Ngược lại, đối với các truy vấn phân tích dữ liệu lịch sử phức tạp trên nhiều bảng lớn, các hệ thống kho dữ liệu chuyên dụng sẽ phù hợp hơn.

Cơ chế thực thi suy diễn giải quyết vấn đề nghẽn mạng trong các giao dịch đa phân vùng như thế nào? Trong quá trình chờ đợi phản hồi xác nhận từ mạng Ethernet có độ trễ khoảng 40 micro-giây, thay vì đóng băng toàn bộ tiến trình, hệ thống chủ động thực thi suy diễn các giao dịch đơn vùng đang chờ trong hàng đợi. Nếu giao dịch trước đó cam kết thành công, các kết quả suy diễn sẽ được xác nhận ngay lập tức, giúp tận dụng tối đa 100% chu kỳ xử lý của CPU.

Kết luận

• Luận văn đã nghiên cứu toàn diện mô hình kiến trúc H-Store và chứng minh tính ưu việt của giải pháp cơ sở dữ liệu trong bộ nhớ VoltDB với khả năng tăng thông lượng xử lý giao dịch lên gấp 45 lần.
• Đề tài thiết kế thành công lược đồ phân vùng và thủ tục lưu trữ cho bài toán quản lý khách hàng và kho số viễn thông, đạt tỷ lệ 89% giao dịch đơn phân vùng và đáp ứng hơn 10.000 yêu cầu mỗi giây.
• Công trình giải quyết triệt để bài toán điều khiển tương tranh và chịu lỗi hệ thống thông qua các thuật toán thực thi suy diễn và cơ chế bảo vệ K-Safety trên cụm 6 máy chủ phân tán.
• Kế hoạch phát triển tiếp theo trong 6 tháng tới bao gồm việc tích hợp giao thức nạp dữ liệu tự động sang hệ thống phân tích kinh doanh và tối ưu hóa giải thuật phân vùng tự động cho các khối dữ liệu biến động lớn.
• Các tổ chức và doanh nghiệp đang gặp khó khăn về hiệu năng xử lý giao dịch trực tuyến nên áp dụng ngay kiến trúc phân vùng trong bộ nhớ này nhằm nâng cao chất lượng dịch vụ và tối ưu hóa chi phí vận hành công nghệ thông tin.

Trích đoạn nội dung tài liệu

Mở đầu: Giới thiệu về đề tài luận văn, tính thiết thực của đề tài và tổ chức của luận văn. Tổng quan mô hình xử lý giao tác H-Store - Kiến trúc hệ thống H-Store, các khái niệm và mô hình lược đồ triển khai, lược đồ thực thi. - Nguyên tắc thiết kế hệ thống H-Store - Cách thức thực thi giao dịch và Cơ chế điều khiển phân tranh. Phát triển ứng dụng xử lý giao tác trực tuyến với VoltDB - Giới thiệu VoltDB - Cách xây dựng ứng dụng và triển khai ứng dụng VoltDB - Các mô hình bảo mật, sẵn sàng, backup và khôi phục dữ liệu - Quản trị ứng dụng trong VoltDB Chương 3.

Thực nghiệm - Bài toán đặt ra: quản lý hệ thống khách hàng và kho số của Công ty viễn thông điện lực - Thiết kế và cài đặt hệ thống - Kết quả thu đươc (các chức năng chính của hệ thống) - Đánh giá, so sánh với một số hệ quản trị CSDL truyền thống Kết luận chung và những hướng phát triển tiếp theo: Tổng kết những kết quả đạt được qua quá trình hoàn thành đề tài luận văn; đề ra hướng phát triển, hoàn thiện cho đề tài nghiên cứu. LUAN VAN CHAT LUONG download : add [e-mail] 11 CHƢƠNG 1 : TỔNG QUAN MÔ HÌNH XỬ LÝ GIAO TÁC H- STORE 1.1 Giới thiệu Nhiều hệ thống sử dụng thành phần kiến trúc từ hệ thống cơ sở dữ liệu quan hệ truyền thống, mà không quan tâm liệu ứng dụng có thực sự cần các kỹ thuật chậm chạp đó không. Với khối lượng làm việc (workloads) cho các hệ thống xử lý giao dịch trực tuyến (OLTP) có tính chất lặp đi lặp lại, liên tục và thực thi giao dịch sống với thời gian ngắn, điều này đã bị cản trợ bởi hiệu năng của thiết bị vào ra I/O trên nền tảng hệ thống quản trị cơ sở dữ liệu quan hệ (RDBMS) [4, 5, 6]. Một chiến lược để giảm thiểu vấn đề này là mở rộng hệ thống theo chiều ngang bằng cách phân vùng cho cả dữ liệu và trách nhiệm xử lý dọc theo nhiều máy chủ không chia sẻ.

Ứng dụng OLTP lớn nhất có thể đưa toàn bộ dữ liệu của nó vào bộ nhớ chính trong kiến trúc phần cứng máy chủ Cluster hiện đại với mô hình không chia sẻ. Do đó lưu trữ ổ cứng và cấu trúc chỉ số hóa (indexing) là không cần thiết. Nghiên cứu của tôi tập trung vào H-Store, một hệ thống OLTP thế hệ mới. Hệ thống này vận hành trên môi trường Cluster phân tán và không chia sẻ, với đặc tính toàn bộ dữ liệu được chứa trong bộ nhớ chính.Mô hình hệ thống dựa trên sự phối hợp của nhiều luồng đơn nhằm cung cấp thực thi giao dịch OLTP hiệu quả hơn [2].

H-Store là hệ thống có một luồng cho mỗi vùng dữ liệu riêng. Trong hệ thống này, duy nhất một luồng có thể truy cập dữ liệu và điều khiển tương tranh theo kiểu truyền thống là không cần thiết. Phân vùng dữ liệu cũng được sử dụng cùng với hệ thống không chia sẻ (Shared-nothing systems). Dữ liệu được chia dọc theo nhiều máy chủ cơ sở dữ liệu và các giao dịch được định tuyến tới các phân vùng (patitions) có dữ liệu cần thiết.

Cách tiếp cận này cải thiện hiệu năng cơ sở dữ liệu một cách đáng kể. Một vài ứng dụng có khả năng phân vùng hoàn hảo (mọi giao dịch có thể được thực thi trong toàn bộ một phân vùng), trong trường hợp đó, nếu dữ liệu được lưu trong bộ nhớ chính, mỗi giao dịch có thể chạy mà không cần điều khiển tương tranh, chạy cho đến khi hoàn thành ở phân vùng phù hợp. Tuy nhiên, nhiều ứng dụng có một vài giao dịch trải rộng nhiều phân vùng. Với những giao dịch đó, một vài mô hình điều khiển tương tranh là cần thiết [1].2 Tổng quan của hệ thống H-Store Hệ thống H-Store là cơ sở dữ liệu quan hệ với cơ chế lưu trữ dựa trên dữ liệu hàng (row) và có tính phân tán cao [7].

Hệ cơ sở dữ liệu này được chạy trên môi trường Cluster với các máy (nodes) thực thi trong bộ nhớ chính và không chia sẻ. Chúng ta định nghĩa ―một thể hiện H-Store đơn là một Cluster với 2 hoặc nhiều Nodes‖. Node là hệ thống máy tính vật lý đơn. Node có thể chứa một hoặc nhiều LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Site là một thực thể hoạt động độc lập trong hệ thống, nó được coi như là một tiến trình đơn mà hệ thống ứng dụng OLTP từ ngoài kết nối đến để thực thi giao dịch. Chúng ta giả sử rằng, một Node của hệ thống H-Store tiêu biểu có nhiều bộ vi xử lý và mỗi Site được gắn thực thi chính xác trên một vi xử lý đó. Mỗi Site độc lập với Site khác và do đó không chia sẻ bất cứ kiến trúc dữ liệu hoặc bộ nhớ với Site đồng nghiệp nào trên cùng một máy. Mọi quan hệ trong cơ sở dữ liệu được phân chia vào một hoặc nhiều phân vùng (Partitions).

Một phân vùng được nhân bản và chứa trên nhiều Site. Ứng dụng OLTP thực hiện các cuộc gọi tới hệ thống H-Store để thực thi các thủ tục lưu trữ đã được định nghĩa trước (stored procedures). Mỗi thủ tục được xác định bởi một tên duy nhất và chứa mã điều khiển có cấu trúc pha trộn với tập lệnh SQL được tham số hóa. Một thể hiện của thủ tục được khởi tạo bởi ứng dụng OLTP được gọi là một giao dịch (Transaction).

Sử dụng những định nghĩa như trên, chúng ta miêu tả lược đồ triển khai (deployment schemes) và lược đồ thực thi (execution schemes) của hệ thống H-Store như trong hình 1.1 Kiến trúc hệ thống H-Store 1.1 Lược đồ triển khai (System deployment) Lược đồ triển khai có đầu vào là một tập các thủ tục (Stored procedures), lược đồ cơ sở dữ liệu (database schema), tải trọng mẫu (Sample Workload)[9] và thông tin các sites sẵn sàng trong Cluster (Cluster information). Kiến trúc đầu ra là một danh sách các điều khiển triệu gọi duy nhất, được sử dụng như thể hiện của thủ tục ở thời gian chạy. Có thể đưa các thủ tục mới vào trong hệ thống sau khi triển khai. Lược đồ triển khai tạo ra một tập các thủ tục đã biên dịch và lớp cơ sở dữ liệu vật lý được sử dụng để khởi tạo H-store Cluster mới.2 Lược đồ thực thi (Runtime Model) Ở thời gian chạy, ứng dụng client OLTP yêu cầu một giao dịch bằng cách sử dụng trình điều khiển thủ tục được tạo ra trong lược đồ triển khai.

Nếu giao dịch yêu LUAN VAN CHAT LUONG download : add [e-mail] 13 cầu giá trị tham số như là đầu vào thì Client phải truyền những giá trị này tới hệ thống cùng với yêu cầu. Một phân vùng bất kỳ trong H-Store cluster đều có thể thực thi bất cứ yêu cầu OLTP nào mà không cần quan tâm liệu dữ liệu cần thiết có được lưu trữ trên phân vùng này hay không. Trừ khi tất cả các giá trị tham số của truy vấn trong giao dịch đã được biết ở thời gian chạy, chúng ta sử dụng chiến lược giải thuật lười (lazy-planning strategy) để tạo giải thuật thực thi phân tán tối ưu. Nếu tất cả các giá trị tham số được biết ngay từ đầu, thì chúng ta thực thi thêm các tối ưu hóa dựa vào các thuộc tính của giao dịch.

Khi một giao dịch thực thi câu lệnh SQL, nó tạo ra một yêu cầu nội tại thông qua H-Store API. Ở khâu này, tất cả các giá trị tham số cho truy vấn đã được biết trong hệ thống và do đó giải thuật được định hướng tới các phân vùng chính xác cho mỗi thao tác con truy vấn. Kế hoạch cập nhật được truyền tới bộ quản lý giao dịch và nó có trách nhiệm phối hợp truy cập với các phân vùng khác. Bộ quản lý truyền những phân mảnh của giải thuật tới các phân vùng phù hợp thông qua Socket và kết quả trung gian sẽ được truyền ngược lại tới phân vùng khởi tạo.

H-Store sử dụng kiến trúc giao dịch phân tán để đảm bảo tính tuần tự. Kết quả cuối cùng của truy vấn được truyền ngược lại cho tiến trình giao dịch đang chờ và tiến trình này sẽ hủy bỏ giao dịch, thực thi thêm nhiều truy vấn hoặc commit giao dịch và trả lại kết quả cho ứng dụng client.3 Lớp giao dịch (Transaction Classes) Giao dịch đơn điểm (Single-sited Transactions): một giao dịch được gọi là đơn điểm nếu tất cả các truy vấn chứa trong nó được thực thi tính toán trên một phân vùng của cluster. Mặc dù giao dịch gửi tới hai hoặc nhiều phân vùng để thực thi (do dữ liệu nhân bản), nhưng nó không yêu cầu kết quả trung gian từ bất cứ điểm nào. Lớp giao dịch này là lớp mong muốn nhất và nó không cần sử dụng thông tin undo logs, cơ chế điều khiển phân tranh hoặc truyền thông với các phân vùng khác.

Khi H- Store nhận một yêu cầu giao dịch đơn điểm, phân vùng nhận yêu cầu sẽ truyền điều khiển thực thi cùng với giải thuật đã biên dịch tới phân vùng phù hợp. Phân vùng này bắt đầu xử lý giao dịch và thực thi truy vấn. Giao dịch một lần (One-shot Transactions): một giao dịch được gọi là một lần nếu nó không thể thực thi ở đơn điểm, nhưng mỗi truy vấn con riêng biệt của nó được thực thi chỉ ở đơn điểm. Không giống như giao dịch đơn điểm, chúng ta giả sử đầu ra của các truy vấn không dùng làm đầu vào cho các truy vấn con trong cùng giao dịch.

H-store thực hiện công nghệ tối ưu đơn giản nếu giao dịch được khai báo là one-shot: Yêu cầu được chuyển đến phân vùng phù hợp nhất và ở đó giao dịch được đối sử theo cách thực hiện của giao dịch đơn điểm.4 Tổ chức dữ liệu vật lý Có hai mục tiêu xung đột nhau trong bất kỳ thiết kế cơ sở dữ liệu H-Store nào : Khả năng thực thi giao dịch càng nhanh càng tốt và cần thiết để duy trì sự sẵn sàng LUAN VAN CHAT LUONG download : add [e-mail] 14 của hệ thống. Để đạt được điều đó, một giao dịch được thực thi càng ở ít phân vùng càng tốt. Và do đó tối thiểu hóa bản tin truyền giữa các phân vùng trong bộ quản lý giao dịch. Các chiến lược hiển nhiên bao gồm tần suất nhân bản hoặc các bảng chỉ đọc (read-only) trên tất cả các phân vùng và sự sắp đặt các bảng được kết nối với nhau trên cùng phân vùng.

Nhiều thiết kế phức tạp có thể phân vùng theo chiều ngang và các vùng dữ liệu liên quan được sắp đặt cùng với nhau. Vấn đề chọn lược đồ phân lớp nào để các chính sách, thủ tục tối ưu được thực hiện tốt nhất. H-Store lưu dữ liệu trên RAM, nên hệ số K-safety được thiết kế cho khả năng sẵn sàng lỗi.