Tìm hiểu mô hình không gian trạng thái Mamba và ứng dụng cho bài toán chuyển giao phong cách hình ảnh

Khóa luận mô hình Mamba ứng dụng chuyển giao phong cách hình ảnh tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Phan Thành Quân
• Người hướng dẫn: ThS. Quách Đình Hoàng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Trí tuệ nhân tạo
• Đề tài: Tìm hiểu mô hình không gian trạng thái Mamba và ứng dụng cho bài toán chuyển giao phong cách hình ảnh
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về mô hình Mamba chuyển giao phong cách ảnh

Mô hình không gian trạng thái Mamba đại diện cho bước tiến đột phá trong học sâu. Đề tài tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung nghiên cứu mô hình Mamba chuyển giao phong cách ảnh nghệ thuật. Công nghệ này mở ra giải pháp thay thế tiềm năng cho các kiến trúc Transformer truyền thống. Transformer vốn phụ thuộc vào cơ chế tự chú ý với độ phức tạp tính toán bậc hai. Nhược điểm này gây nghẽn cổ chai nghiêm trọng khi xử lý ảnh độ phân giải cao. Ngược lại, mô hình Mamba sở hữu cơ chế chọn lọc trạng thái thông minh. Cơ chế này cho phép mạng nén thông tin tuần tự và lọc bỏ nhiễu hiệu quả. Mô hình đạt tốc độ suy luận nhanh vượt trội. Độ phức tạp tính toán chỉ tăng tuyến tính theo kích thước ảnh đầu vào. Đồ án của nhóm sinh viên ngành Trí tuệ Nhân tạo dưới sự hướng dẫn của ThS. Quách Đình Hoàng đã hiện thực hóa thành công tiềm năng này. Nghiên cứu tạo lập nền tảng lý thuyết vững chắc cho bài toán chuyển giao phong cách hình ảnh thế hệ mới.

1.1. Khái niệm mô hình không gian trạng thái Mamba

Mô hình không gian trạng thái Mamba xuất phát từ lý thuyết điều khiển cổ điển. Kiến trúc này cải tiến các mô hình SSM truyền thống bằng cơ chế chọn lọc tham số phụ thuộc ngữ cảnh. Mamba cho phép hệ thống ghi nhớ thông tin dài hạn nhưng không làm tăng chi phí bộ nhớ. Khi áp dụng vào xử lý thị giác máy tính, ảnh số được chuyển đổi thành chuỗi dữ liệu trực quan. Các khối Mamba quét qua từng mảng điểm ảnh theo nhiều hướng không gian khác nhau. Quá trình quét giúp mô hình nắm bắt đầy đủ cấu trúc hình học và chi tiết bề mặt. Khả năng chọn lọc động loại bỏ thông tin dư thừa, giữ lại tinh hoa bố cục và màu sắc.

1.2. Mục tiêu nghiên cứu đồ án tại HCMUTE

Đề tài tốt nghiệp tại Trường Đại học Sư phạm Kỹ thuật TP.HCM đặt trọng tâm vào việc kết nối lý thuyết học sâu với thực tiễn ứng dụng. Mục tiêu hàng đầu là làm rõ cơ chế vận hành của Mamba so với Transformer. Nhóm nghiên cứu tập trung giải quyết bài toán chuyển giao phong cách hình ảnh đơn lẻ và chuỗi phong cách nối tiếp. Công trình nghiên cứu kỹ lưỡng việc nhúng thuật toán giấu tin vào quy trình xử lý thị giác. Đồ án chứng minh khả năng tái tạo ảnh nghệ thuật đẹp mắt mà vẫn khôi phục nguyên vẹn nội dung gốc. Kết quả nghiên cứu khẳng định năng lực sáng tạo công nghệ của sinh viên kỹ sư Việt Nam.

II. Phân tích thách thức mô hình Mamba chuyển giao phong cách ảnh

Bài toán chuyển giao phong cách ảnh truyền thống đối mặt với rào cản tính toán lớn. Mạng nơ-ron tích chập cổ điển chỉ trích xuất các đặc trưng cục bộ. Chúng thường bỏ sót ngữ cảnh toàn cục của tác phẩm. Kiến trúc Transformer giải quyết được ngữ cảnh toàn cục nhờ cơ chế tự chú ý đa đầu. Tuy nhiên, Transformer lại tiêu tốn tài nguyên bộ nhớ theo hàm bậc hai. Kích thước ảnh càng lớn thì thời gian huấn luyện và suy luận càng tăng vọt. Hơn nữa, bài toán chuyển giao phong cách nối tiếp bộc lộ lỗ hổng suy biến thông tin. Khi ảnh trải qua nhiều lần biến đổi phong cách liên tiếp, cấu trúc ban đầu bị biến dạng nặng nề. Các chi tiết cạnh viền và ngữ nghĩa cốt lõi dần biến mất hoàn toàn. Người dùng không thể truy hồi lại bức ảnh gốc sau chuỗi xử lý. Việc kết hợp mô hình Mamba với kỹ thuật giấu tin trở thành đòi hỏi cấp thiết. Nghiên cứu giải quyết đồng thời hai thách thức: giảm tải tính toán và bảo vệ tính toàn vẹn của dữ liệu hình ảnh.

2.1. Nút thắt cổ chai về tài nguyên của Transformer

Cơ chế tự chú ý (Self-Attention) tính toán ma trận tương tác giữa tất cả các vị trí điểm ảnh. Độ phức tạp không gian và thời gian tỷ lệ thuận với bình phương độ dài chuỗi đầu vào. Xử lý ảnh độ nét cao đòi hỏi dung lượng VRAM khổng lồ. Nhiều hệ thống máy tính phổ thông lập tức rơi vào trạng thái tràn bộ nhớ. Tốc độ kết xuất ảnh vì thế suy giảm rõ rệt trong môi trường sản xuất thực tế. Transformer cũng yêu cầu mã hóa vị trí nhân tạo nhằm duy trì thứ tự không gian. Hạn chế này cản trở khả năng mở rộng của mô hình sang các ứng dụng xử lý đồ họa theo thời gian thực.

2.2. Vấn đề mất mát dữ liệu trong chuyển giao nối tiếp

Chuyển giao phong cách nối tiếp là quá trình áp dụng liên tiếp nhiều phong cách nghệ thuật khác nhau lên một hình ảnh. Mỗi chu kỳ chuyển đổi tạo ra các biến dạng cấu trúc không thể đảo ngược. Sai số tích lũy qua từng bước làm mờ nhạt nội dung ngữ nghĩa căn bản. Các phương pháp giấu tin truyền thống như LSB hay biến đổi DCT tỏ ra kém bền vững. Chúng dễ bị phá hủy khi ảnh trải qua các hàm phi tuyến của mạng nơ-ron sâu. Dữ liệu nhúng bị phân rã hoàn toàn trong môi trường biến đổi mạnh. Do đó, bài toán đòi hỏi một giải pháp giấu tin học sâu bền vững kết hợp kiến trúc mô hình mới.

III. Giải pháp mô hình Mamba chuyển giao phong cách ảnh tại HCMUTE

Nhóm tác giả tại HCMUTE xây dựng giải pháp tích hợp giữa mô hình Mamba và kỹ thuật giấu tin học sâu. Kiến trúc cốt lõi sử dụng mạng trích xuất đặc trưng dựa trên khối chọn lọc không gian trạng thái. Mamba xử lý các mảng ảnh 2D thông qua kỹ thuật quét đa hướng tuần tự. Kỹ thuật này duy trì sự liên tục về mặt không gian mà không cần ma trận chú ý dày đặc. Nhờ đó, mô hình giảm tải mức tiêu thụ bộ nhớ về mức tuyến tính. Tốc độ suy luận tăng gấp nhiều lần so với các hệ thống Transformer cùng quy mô. Bên cạnh đó, nhóm đề xuất kiến trúc mạng kép phục vụ giấu tin chuyên sâu. Mạng mã hóa nhúng thông tin ảnh gốc trực tiếp vào biểu diễn ẩn của ảnh phong cách. Mạng giải mã có nhiệm vụ bóc tách và phục hồi ảnh nguyên bản sau các chu kỳ chuyển giao. Quá trình tối ưu sử dụng tổ hợp hàm mất mát nội dung, phong cách và mất mát tái tạo. Toàn bộ đường ống xử lý bảo đảm tính nghệ thuật cao nhưng vẫn kiểm soát nghiêm ngặt độ nguyên vẹn dữ liệu.

3.1. Ứng dụng khối Mamba trong trích xuất đặc trưng

Khối chọn lọc Mamba được thiết kế để nắm bắt phụ thuộc khoảng cách xa trong ảnh một cách hiệu quả. Dữ liệu thị giác được tuần tự hóa thành các lát cắt ma trận đa hướng. Mô hình thực hiện quét song song theo trục ngang, trục dọc và đường chéo. Các tham số điều khiển thích ứng biến đổi linh hoạt dựa trên ngữ cảnh điểm ảnh thực tế. Cấu trúc này loại bỏ hiện tượng suy giảm gradient khi xử lý chuỗi dữ liệu dài. Mạng nén thành công họa tiết phức tạp của bức tranh phong cách mà không làm mất bố cục của ảnh nội dung. Hiệu quả xử lý đạt mức tối ưu trên phần cứng đồ họa chuyên dụng.

3.2. Tích hợp Deep Steganography phục hồi ảnh gốc

Phương pháp giấu tin học sâu (Deep Steganography) đóng vai trò then chốt trong chuỗi phong cách nối tiếp. Mạng nhúng giấu toàn bộ thông tin ảnh ban đầu vào các dải tần số vô hình của ảnh kết quả. Mắt thường hoàn toàn không thể nhận ra sự khác biệt trên bề mặt tác phẩm nghệ thuật. Khi kết thúc chuỗi chuyển giao phong cách, mạng trích xuất sẽ giải mã dữ liệu ẩn để tái tạo bức ảnh xuất phát điểm ban đầu. Tỷ lệ tín hiệu trên nhiễu (PSNR) và độ tương đồng cấu trúc (SSIM) đều đạt giá trị vượt trội. Giải pháp khẳng định tính khả thi cao trong việc bảo mật và khôi phục bản quyền số.

IV. Đánh giá ứng dụng mô hình Mamba chuyển giao phong cách ảnh

Công trình nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM mở ra triển vọng to lớn cho đồ họa thị giác máy tính. Mô hình Mamba thể hiện sự vượt trội về tốc độ render và hiệu quả quản lý bộ nhớ đồ họa. Sự kết hợp giữa xử lý ảnh nghệ thuật và kỹ thuật giấu tin sâu đã chứng minh tính thực tiễn cao độ. Giải pháp không chỉ tạo ra các tác phẩm mỹ thuật số ấn tượng. Hệ thống còn bảo vệ bản quyền hình ảnh và duy trì toàn vẹn dữ liệu gốc trong mọi trường hợp. Công nghệ này sẵn sàng chuyển giao cho các lĩnh vực công nghiệp thực tế. Các ứng dụng chỉnh sửa ảnh di động có thể vận hành mượt mà trên phần cứng hạn chế. Ngành công nghiệp game và phim ảnh có thêm công cụ tự động hóa chuyển đổi cảnh quay nhanh chóng. Bảo tàng số và nhà xuất bản mỹ thuật có phương thức lưu trữ an toàn tư liệu quý giá. Thành công của đề tài khẳng định năng lực đào tạo chuyên sâu ngành Trí tuệ Nhân tạo của nhà trường trong dòng chảy công nghệ quốc tế.

4.1. Khả năng ứng dụng thực tiễn trong đồ họa số

Kiến trúc Mamba mang lại bước nhảy vọt cho các phần mềm biên tập hình ảnh hiện đại. Tốc độ tính toán tuyến tính giúp loại bỏ độ trễ khi áp dụng các bộ lọc nghệ thuật phức tạp. Người sáng tạo nội dung có thể tương tác và quan sát kết quả chuyển giao phong cách theo thời gian thực. Các thiết bị biên với tài nguyên vi xử lý khiêm tốn cũng dễ dàng chạy các mô hình thị giác này. Ngoài ra, kỹ thuật giấu tin tích hợp cung cấp cơ chế đóng dấu bản quyền kỹ thuật số vô hình. Chủ sở hữu tác phẩm dễ dàng xác thực nguồn gốc ảnh và bảo vệ tác quyền trên các nền tảng trực tuyến.

4.2. Hướng phát triển hoàn thiện mô hình trong tương lai

Nghiên cứu tại HCMUTE mở ra nhiều triển vọng mở rộng giá trị cho cộng đồng học thuật. Hướng phát triển tiềm năng bao gồm việc tối ưu hóa kiến trúc Mamba cho định dạng video độ phân giải cao. Xử lý video đòi hỏi sự đồng nhất phong cách giữa các khung hình liên tiếp. Mô hình Mamba với khả năng ghi nhớ dài hạn là ứng viên sáng giá cho bài toán này. Bên cạnh đó, việc kết hợp mô hình khuếch tán (Diffusion Models) với Mamba hứa hẹn nâng cao tính chi tiết của hình ảnh. Nhóm nghiên cứu cũng hướng đến việc xây dựng gói mã nguồn mở nhằm phục vụ đào tạo và nghiên cứu kỹ thuật chuyên sâu.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: MÔ HÌNH XỬ LÝ DỮ LIỆU TUẦN TỰ 1. TỔNG QUAN VỀ MÔ HÌNH XỬ LÝ DỮ LIỆU TUẦN TỰ Mô hình xử lý dữ liệu tuần tự (Sequence Model) là một loại mô hình học máy có khả năng xử lý và học từ các chuỗi dữ liệu đầu vào có thứ tự, ví dụ như chuỗi từ trong câu, chuỗi khung hình trong video, hoặc chuỗi các bước biến đổi trong một luồng xử lý. Hiện nay trong nhiều bài toán xử lý dữ liệu phức tạp như văn bản, âm thanh, video, các thông tin đầu vào này thường mang tính chất tuần tự theo thời gian hoặc theo bối cảnh, ngữ nghĩa. Khi đó, bài toán không chỉ phụ thuộc vào dữ liệu tại một thời điểm duy nhất, mà cần hiểu được ý nghĩa, bối cảnh của dữ liệu để đưa ra dự đoán hoặc xử lý một cách hợp lý.

Mục tiêu chính của các mô hình này là nắm bắt sự phụ thuộc theo chuỗi – tức là trạng thái hiện tại có thể bị ảnh hưởng hoặc phụ thuộc vào trạng thái trước đó, từ đó tạo ra cách biểu diễn ngữ cảnh một cách hợp lý. Từ trước đến nay, đã có nhiều nghiên cứu phát triển mô hình tuần tự hiệu quả với các cải tiến mạnh mẽ, với cơ chế cập nhật trạng thái ẩn tại mỗi thời điểm. Mô hình Long Short-Term Memory (LSTM) được đề xuất bởi nhóm tác và các cộng sự, mô hình sử dụng cơ chế cổng (Gating) để kiểm soát luồng thông tin, giúp chọn lọc thông tin dài hạn,… [1] Đặc biệt trong bài báo “Attention is all you need” được đề xuất bởi nhóm tác giả Vaswani và các cộng sự [2], họ đã giới thiệu kiến trúc Transformer với cơ chế Self- Attention, cơ chế này giúp mô hình học được quan hệ giữa mọi phần tử trong chuỗi. Đây là nền tảng cho các mô hình NLP hiện đại như BERT, GPT,… Tuy nhiên nhiều nghiên cứu gần đây đã chỉ ra rằng kiến trúc này gặp hạn chế về chi phí tính toán khi xử lý chuỗi dài hạn.

Vào năm 2023, nhóm tác giả Albert Gu và Tri Dao của bài báo “Mamba: Linear- Time Sequence Modeling with Selective State Spaces” đã giới thiệu kiến trúc mới Mamba được thiết kế dựa trên SSM [3]. Bằng cách kết hợp SSM và các kỹ thuật Gating, Selective đã giúp mô hình hiểu được bối cảnh của dữ liệu với chi phí tính toán cải thiện 7 đáng kể. Nhờ đó cải thiện được hiệu năng lẫn độ chính xác trong truyền tải thông tin ngữ nghĩa trong mô hình tuần tự. MÔ HÌNH TRANSFORMER 1.

Tổng quan về mô hình Transformer Mô hình Transformer là một kiến trúc học sâu, được giới thiệu lần đầu trong bài báo nổi tiếng "Attention is All You Need" của nhóm tác giả Vaswani và cộng sự vào năm 2017 [2]. Giống như các mạng RNN, Transformer được thiết kế để xử lý dữ liệu tuần tự, chẳng hạn như ngôn ngữ tự nhiên. Tuy nhiên khác với RNN, Transformer không yêu cầu dữ liệu tuần tự được xử lý theo thứ tự. Thay vào đó, Transformer sử dụng cơ chế chính: Self-Attention.

Đây là bước đột phá quan trọng trong lĩnh vực học sâu và ngày nay, nó cũng được ứng dụng rộng rãi trong thị giác máy tính, sinh tổng hợp dữ liệu, và nhiều lĩnh vực khác. Kiến trúc tổng quan Hình 1: Kiến trúc tổng quan của mô hình Transformer (Nguồn: bài báo "Attention Is All You Need") [2] Hình 1 mô tả kiến trúc của Transformer được thiết kế theo mô hình Encoder- Decoder, bao gồm hai thành phần chính: khối Encoder (mã hoá) và khối Decoder (giải 8 mã). Cả hai đều được xây dựng từ các khối (Layer) giống nhau, giúp mô hình trở nên linh hoạt và dễ mở rộng. Khối Encoder Encoder gồm hai khối: Multi-Head Self-Attention: Nhiệm vụ của khối này là tính toán mối quan hệ giữa từng từ với các từ khác trong chuỗi, cho phép mô hình tập trung vào các từ quan trọng trong ngữ cảnh.

Feed-Forward Network (FFN): Đây là một mạng nơ-ron dày đặc (Dense Neural Network) áp dụng phi tuyến tính để học các đặc trưng. Các bước trong khối Encoder theo tuần tự như sau: Nhập liệu và mã hóa: Đầu vào được chuyển qua một lớp Embedding để chuyển giao các từ thành các Vector đại diện. Sau đó thông tin về vị trí của từng từ cũng được thêm vào thông qua Positional Encoding, để mô hình có thể hiểu được thứ tự các từ. Self-Attention: Quá trình tiếp theo là Self-Attention, trong đó mỗi từ sẽ "tập trung" vào các từ khác trong chuỗi để học mối quan hệ giữa chúng.

Điều này cho phép mỗi từ trong câu có thể ảnh hưởng đến các từ khác, bất kể khoảng cách trong chuỗi. Normalization và Residual Connection: Sau mỗi bước Self-Attention, một bước Layer Normalization sẽ được áp dụng để giảm thiểu sự biến động của Gradient, đồng thời tăng tốc quá trình học. Residual Connection cũng được sử dụng để kết nối đầu vào ban đầu với đầu ra của Self-Attention, giúp tránh mất thông tin. Feed-Forward Network: Cuối cùng, đầu ra của Self-Attention sẽ được đưa qua một Feed-Forward Network, là một mạng nơ-ron dày đặc có chức năng xử lý phi tuyến và tăng cường khả năng biểu diễn dữ liệu.

Một lần nữa, quá trình Residual Connection và Layer Normalization được sử dụng. Khối Decoder Kiến trúc của khối Decoder tương tự Encoder, nhưng có thêm một khối: Masked Multi-Head Self-Attention: Thành phần này giúp mô hình học các mối quan hệ giữa các từ trong câu và xử lý thông tin theo cách mà không làm mất thông tin 9 quan trọng trong quá trình dự đoán, tức mỗi từ trong chuỗi đầu ra chỉ có thể dựa vào những từ đã được sinh ra, không thể “nhìn thấy” các từ chưa được sinh ra. Multi-Head Self-Attention: Khối này kết hợp đầu ra của Masked Self-Attention và thông tin từ Encoder, giúp mô hình dựa vào ngữ cảnh của cả đầu vào và ngữ cảnh trước đó. Feed-Forward Network: Tương tự Encoder, khối này xử lý biểu diễn đặc trưng qua mạng nơ-ron phi tuyến tính.

Các bước trong khối Decoder có thể biểu diễn như sau: Masked Self-Attention: Giống như Encoder, Decoder cũng sử dụng Self- Attention, nhưng có một điểm khác biệt quan trọng: Masked Self-Attention. Quá trình này đảm bảo rằng trong quá trình tạo ra chuỗi đầu ra, mỗi từ chỉ có thể "nhìn thấy" các từ đã được tạo ra trước đó, không nhìn vào các từ chưa được sinh ra. Encoder-Decoder Attention: Sau khi thông tin từ Masked Self-Attention đã được xử lý, bước tiếp theo là Encoder-Decoder Attention. Khối này giúp Decoder sử dụng thông tin đã được mã hóa từ Encoder để bổ sung ngữ cảnh cho các từ trong chuỗi đầu ra.

Điều này giúp mô hình hiểu được mối quan hệ giữa các phần tử trong đầu vào và cách chúng ảnh hưởng đến chuỗi đầu ra. Feed-Forward Network: Cuối cùng, như trong Encoder, thông tin sẽ đi qua một Feed-Forward Network, giúp mô hình có khả năng xử lý các mối quan hệ phức tạp và tạo ra các dự đoán chính xác hơn. Thêm một lần nữa, Residual Connection và Layer Normalization sẽ được áp dụng để duy trì thông tin và đảm bảo quá trình học ổn định. Positional Encoding (Mã hoá vị trí) Transfomer không xử lý tuần tự như RNN/LSTM, do đó nó sử dụng một cơ chế là Positional Encoding để cung cấp thông tin về vị trí của từ trong chuỗi.

Positional Encoding được tính bằng hàm sin và cos như sau: 𝑃𝐸 (𝑝𝑜𝑠, 2𝑖) = sin⁡(𝑝𝑜𝑠/100002𝑖/𝑑𝑚𝑜𝑑𝑒𝑙 ) 𝑃𝐸 (𝑝𝑜𝑠, 2𝑖 + 1) = cos⁡(𝑝𝑜𝑠/100002𝑖/𝑑𝑚𝑜𝑑𝑒𝑙 ) 10 Trong đó: 𝑝𝑜𝑠: Vị trí của từ trong chuỗi. Mỗi từ có một 𝑝𝑜𝑠 riêng biệt. 𝑖: chỉ số chiều trong vector mã hóa. 𝑑𝑚𝑜𝑑𝑒𝑙 : Số chiều của vector mã hóa.

Muti-Head Attention Multi-Head Attention là một phương pháp mở rộng của cơ chế Attention, nơi mà thay vì chỉ có một phép toán Attention duy nhất, ta sử dụng nhiều phép toán Attention song song (gọi là các "Heads"). Mỗi Head học được các mối quan hệ khác nhau giữa các từ trong chuỗi. Sau đó, kết quả từ tất cả các heads sẽ được kết hợp lại, giúp mô hình học được nhiều thông tin và mối quan hệ phức tạp giữa các từ hơn. Mỗi Head trong Multi-Head Attention tính toán Attention theo cách riêng của nó.

Điều này có nghĩa là mỗi Head sẽ có một ma trận trọng số khác nhau và tính toán độ tương đồng (Attention Score) giữa Q và K của từng từ trong chuỗi, rồi tính toán tổng trọng số (Weighted Sum) với V để tạo ra đầu ra cho Head đó. Công thức tính toán Attention Score giữa Q và K là: 𝑄𝐾 𝑇 𝐴𝑡𝑡𝑒𝑛𝑡𝑖𝑜𝑛(𝑄, 𝐾, 𝑉 ) = softmax ( ).𝑉 √𝑑𝑘 Trong đó ba ma trận Q, K, và V được tạo ra thông qua các phép toán tuyến tính: 𝑄: Query (mỗi từ trong câu sẽ có một vector Query). 𝑑𝐾 : Kích thước của vector Key. Những hạn chế của mô hình Transfomer Những ưu điểm của cơ chế Self-Attention đã giúp Transformer trở thành nền tảng cho nhiều đột phá trong lĩnh vực học sâu, tuy nhiên cũng chính cơ chế này lại đem đến điểm yếu lớn nhất cho mô hình Transformer do độ phức tạp tính toán ở giai đoạn suy luận (Inference) là O(n2) theo kích thước đầu vào.

Do đó với các trường hợp xử lý chuỗi 11 văn bản hoặc hình ảnh có độ phân giải cao, chi phí tính toán của bộ nhớ tăng lên đáng kể. Chính vì vậy trong những năm gần đây đã có nhiều nghiên cứu tập trung vào việc tối ưu hóa hoặc thay thế cơ chế Self-Attention, nhằm cải thiện phần nào hiệu quả tính toán của Transformer [4]. Mặc dù Transformer là một kiến trúc mạnh mẽ và tạo cảm hứng cho hàng loạt mô hình kế thừa từ nó, nhưng vẫn đối mặt với thách thức lớn là chi phí tính toán, đây sẽ là trọng tâm cho nhiều nghiên cứu cải tiến, phát triển mô hình trong tương lai. Trong những phần tiếp theo chúng tôi sẽ giới thiệu về mô hình Mamba, một mô hình mới giải quyết được vấn đề của Transformer, và cách tiếp cận của mô hình Mamba.

MÔ HÌNH KHÔNG GIAN TRẠNG THÁI (STATE SPACE MODEL) Kiến trúc Mamba được thiết kế dựa trên nền tảng State Space Model (SSM) với khả năng mô hình hóa chuỗi thông qua trạng thái ẩn (Hidden State) theo thời gian. Mô hình State Space Model (SSM) là một mô hình toán học mạnh mẽ dùng để mô hình hóa các hệ thống động trong Lý thuyết tự động hóa. Trong bối cảnh của học sâu, SSM cung cấp cách tiếp cận để xử lý các bài toán dạng chuỗi (Sequential Data) bằng cách duy trì trạng thái ẩn (Hidden State) phản ảnh các trạng thái trước đó, từ đó cho phép mô hình dự đoán các bước kế tiếp.