Tổng hợp giọng nói sử dụng học sâu cho tiếng Bahnar

Tổng hợp giọng nói tiếng Bahnar sử dụng học sâu: Khám phá các phương pháp và công nghệ tiên tiến để tạo ra giọng nói tự nhiên, chất lượng cao.

• Tác giả: Hồ Minh Hoàng
• Người hướng dẫn: Pgs.Ts Quản Thành Thơ
• Trường học: Trường Đại học Bách Khoa – Đhqg-hcm
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Tổng hợp giọng nói sử dụng học sâu cho tiếng Bahnar
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Tp. Hồ Chí Minh

Tóm tắt

I. Giới thiệu Tổng quan Tổng hợp giọng nói Bahnar và Học sâu

Bài toán tổng hợp giọng nói từ văn bản (Text-To-Speech - TTS) là quá trình chuyển đổi văn bản thành tín hiệu âm thanh giọng nói. Tổng hợp giọng nói là một lĩnh vực nghiên cứu phổ biến với nhiều ứng dụng. Các hệ thống chuyển văn bản thành giọng nói tạo ra nhằm giúp những người khuyết tật về thị giác bằng cách cung cấp công cụ chuyển văn bản thành âm thanh. TTS còn giúp cá nhân nghe và tiếp thu các nội dung trên dạng giấy khi đang di chuyển. Công nghệ ngày càng phát triển, các mô hình mới hầu như đều có thể tạo ra kết quả đúng cho câu truy vấn cần tổng hợp giọng nói, tuy nhiên nhìn chung các mô hình tạo ra giọng nói vẫn còn kém tự nhiên và cảm xúc. Không chỉ vậy, TTS đòi hỏi một khối lượng lớn ghi âm để có thể đạt được kết quả tốt. Hiện nay, có khoảng 6500 ngôn ngữ trên thế giới. Trong số đó, tiếng Anh và tiếng Trung là phổ biến nhất và có nguồn dữ liệu dồi dào nhất cho các tác vụ huấn luyện trong bài toán tổng hợp giọng nói. Tuy nhiên, vẫn còn một số ngôn ngữ ít tài nguyên khác như tiếng Việt chưa được khai thác tốt. Luận văn này giải quyết thách thức trong việc tổng hợp giọng nói có âm tự nhiên trong các ngôn ngữ có nguồn tài nguyên thấp bằng cách khám phá ứng dụng kỹ thuật chuyển đổi giọng cho ngôn ngữ Bahnaric.

1.1. Ứng dụng học sâu trong tổng hợp tiếng nói Bahnar

Việc ứng dụng học sâu trong tổng hợp tiếng nói Bahnar mở ra nhiều tiềm năng. Học sâu cho phép mô hình tự động trích xuất các đặc trưng phức tạp từ dữ liệu âm thanh và văn bản, giúp tạo ra giọng nói tự nhiên và biểu cảm hơn. Điều này đặc biệt quan trọng đối với các ngôn ngữ ít tài nguyên như tiếng Bahnar, nơi dữ liệu huấn luyện hạn chế. Ứng dụng học sâu giúp giảm thiểu sự phụ thuộc vào các phương pháp thủ công, tốn kém thời gian và công sức. Các mô hình như Grad-TTS và StarGANv2 đang được khám phá để vượt qua những thách thức này.

1.2. Tầm quan trọng của TTS Bahnar trong bảo tồn văn hóa

Việc xây dựng mô hình TTS cho tiếng Bahnar là ngôn ngữ của một dân tộc thiểu số ở Việt Nam giúp cho việc tiếp cận thông tin và giáo dục cho họ dễ dàng hơn. Nó mở ra cánh cửa cho việc tạo ra tài liệu, sách giáo trình, tài liệu hướng dẫn và nhiều nguồn thông tin khác được chuyển đổi thành giọng nói dễ hiểu hơn. Việc đưa ra được mô hình TTS cho tiếng Bahnar còn khắc phục rào cản giao tiếp giữa các dân tộc anh em. Với TTS có thể góp phần tạo ra một phương tiện mới để truyền đạt ý kiến, tương tác xã hội và tham gia vào cộng đồng một cách dễ dàng hơn. Ngoài ra, nó góp phần trong việc bảo tồn ngôn ngữ này.

II. Vấn đề Thách thức tổng hợp giọng nói Bahnar ít tài nguyên

Việc xây dựng hệ thống tổng hợp giọng nói cho tiếng Bahnar đối mặt với nhiều thách thức. Nguồn dữ liệu âm thanh và văn bản cho tiếng Bahnar rất hạn chế, gây khó khăn cho việc huấn luyện các mô hình học sâu. Sự khác biệt về ngữ âm và cấu trúc ngôn ngữ so với các ngôn ngữ phổ biến khác như tiếng Anh và tiếng Việt đòi hỏi các phương pháp xử lý đặc biệt. Việc đánh giá chất lượng giọng nói tổng hợp cũng là một vấn đề, vì không có tiêu chuẩn rõ ràng và sự đánh giá chủ quan của người bản xứ có thể khác nhau. Do đó, cần có các nghiên cứu và giải pháp sáng tạo để vượt qua những hạn chế này.

2.1. Thu thập và xử lý dữ liệu tiếng Bahnar cho học sâu

Việc thu thập dữ liệu tiếng Bahnar cho học sâu là một bước quan trọng. Cần thu thập cả dữ liệu âm thanh và văn bản. Dữ liệu âm thanh cần có chất lượng tốt, không bị nhiễu và được ghi âm trong môi trường kiểm soát. Dữ liệu văn bản cần được chuẩn hóa và phiên âm chính xác. Sau khi thu thập, dữ liệu cần được xử lý để loại bỏ tiếng ồn, chuẩn hóa âm lượng và chia thành các đoạn ngắn hơn. Các kỹ thuật như data augmentation có thể được sử dụng để tăng kích thước của tập dữ liệu huấn luyện.

2.2. Khó khăn trong phiên âm và chuẩn hóa tiếng Bahnar

Một trong những khó khăn lớn nhất là phiên âm và chuẩn hóa tiếng Bahnar. Tiếng Bahnar có nhiều phương ngữ khác nhau, và cách phát âm của các từ có thể thay đổi tùy thuộc vào vùng miền. Việc tạo ra một bảng phiên âm thống nhất và chuẩn hóa cách viết là rất quan trọng để đảm bảo tính nhất quán của dữ liệu. Cần có sự hợp tác của các chuyên gia ngôn ngữ và người bản xứ để giải quyết vấn đề này. Các công cụ phiên âm tự động có thể hỗ trợ quá trình này, nhưng vẫn cần kiểm tra và chỉnh sửa thủ công.

2.3. Đánh giá chất lượng giọng nói tổng hợp tiếng Bahnar

Việc đánh giá chất lượng giọng nói tổng hợp tiếng Bahnar là một thách thức khác. Các phương pháp đánh giá khách quan như MOS (Mean Opinion Score) có thể được sử dụng, nhưng cần có sự tham gia của người bản xứ để đảm bảo tính chính xác. Các yếu tố như tính tự nhiên, dễ hiểu và biểu cảm cần được xem xét. Ngoài ra, cũng cần đánh giá khả năng của hệ thống trong việc xử lý các từ và câu phức tạp, cũng như các phương ngữ khác nhau.

III. Phương pháp Grad TTS và StarGANv2 cho tiếng Bahnar

Luận văn này đề xuất mô hình kết hợp hệ thống chuyển văn bản thành giọng nói dựa trên GradTTS và kỹ thuật chuyển đổi giọng nói dựa trên StarGANv2, được điều chỉnh cho phù hợp với ngôn ngữ Bahnaric. GradTTS cho phép hệ thống phát âm các từ tiếng Bahnaric mà không bị giới hạn từ vựng. StarGANv2 nâng cao tính tự nhiên của lời nói tổng hợp khi có nguồn gốc từ các ngôn ngữ có nguồn tài nguyên thấp như tiếng Bahnaric. Ngoài ra, mô hình cũng có sự đóng góp với HifiGAN được tinh chỉnh với tiếng Bahnaric giúp cải thiện chất lượng giọng nói với giọng bản địa.

3.1. Ưu điểm của Grad TTS trong tổng hợp tiếng Bahnar

Grad-TTS là một mô hình tổng hợp giọng nói dựa trên kiến trúc diffusion probabilistic model (mô hình khuếch tán xác suất). Ưu điểm chính của Grad-TTS là khả năng tạo ra giọng nói tự nhiên và đa dạng. Grad-TTS có khả năng xử lý các từ mới và các phương ngữ khác nhau một cách linh hoạt. Mô hình này ít bị ảnh hưởng bởi lỗi phiên âm và có thể tạo ra giọng nói với nhiều phong cách và biểu cảm khác nhau.

3.2. Cải thiện tính tự nhiên bằng StarGANv2 trong TTS Bahnar

StarGANv2 là một mô hình chuyển đổi giọng nói có khả năng chuyển đổi giữa nhiều phong cách giọng nói khác nhau. Trong bài toán tổng hợp tiếng Bahnar, StarGANv2 có thể được sử dụng để cải thiện tính tự nhiên của giọng nói tổng hợp bằng cách chuyển đổi giọng nói từ một nguồn có sẵn sang một phong cách giọng nói phù hợp với tiếng Bahnar. StarGANv2 có khả năng học các đặc trưng giọng nói từ dữ liệu hạn chế và tạo ra giọng nói với nhiều sắc thái và biểu cảm khác nhau.

3.3. HiFi GAN Nâng cao chất lượng âm thanh tiếng Bahnar

HiFi-GAN là một mô hình bộ giải mã âm thanh (vocoder) có khả năng tạo ra âm thanh chất lượng cao từ mel-spectrogram. Trong hệ thống TTS Bahnar, HiFi-GAN được sử dụng để chuyển đổi mel-spectrogram được tạo ra bởi Grad-TTS thành tín hiệu âm thanh. Việc tinh chỉnh HiFi-GAN với dữ liệu tiếng Bahnar giúp cải thiện đáng kể chất lượng âm thanh, tạo ra giọng nói rõ ràng, tự nhiên và ít bị nhiễu.

IV. Thực nghiệm Huấn luyện và đánh giá mô hình TTS Bahnar

Quá trình thực nghiệm bao gồm việc thu thập và xử lý dữ liệu tiếng Bahnar, huấn luyện các mô hình GradTTS, StarGANv2 và HiFi-GAN, và đánh giá chất lượng giọng nói tổng hợp. Các mô hình được huấn luyện trên các tập dữ liệu khác nhau và được đánh giá bằng các phương pháp khách quan và chủ quan. Kết quả thực nghiệm cho thấy mô hình đề xuất có khả năng tạo ra giọng nói tiếng Bahnar với chất lượng tốt, tính tự nhiên cao và khả năng biểu cảm tốt.

4.1. Chi tiết quy trình huấn luyện mô hình Grad TTS cho Bahnar

Quy trình huấn luyện mô hình Grad-TTS cho tiếng Bahnar bao gồm nhiều bước. Đầu tiên, dữ liệu âm thanh và văn bản được tiền xử lý để chuẩn hóa định dạng và loại bỏ tiếng ồn. Tiếp theo, mô hình Grad-TTS được huấn luyện trên tập dữ liệu đã xử lý. Quá trình huấn luyện sử dụng các kỹ thuật như teacher forcing và scheduled sampling để cải thiện độ ổn định và hiệu quả. Các tham số của mô hình được điều chỉnh để tối ưu hóa chất lượng giọng nói tổng hợp. Việc theo dõi loss function và đánh giá chất lượng giọng nói định kỳ giúp đảm bảo quá trình huấn luyện diễn ra suôn sẻ.

4.2. Điều chỉnh StarGANv2 để chuyển đổi giọng nói Bahnar

Việc điều chỉnh StarGANv2 để chuyển đổi giọng nói Bahnar đòi hỏi sự cẩn trọng. Dữ liệu huấn luyện cần được lựa chọn kỹ càng để đảm bảo tính đa dạng và đại diện. Các tham số của mô hình cần được điều chỉnh để phù hợp với đặc điểm của tiếng Bahnar. Việc sử dụng các kỹ thuật như domain adaptation và transfer learning có thể giúp cải thiện hiệu quả của quá trình chuyển đổi. Đánh giá chất lượng giọng nói chuyển đổi định kỳ giúp xác định các vấn đề và điều chỉnh mô hình cho phù hợp.

4.3. Kết quả đánh giá MOS cho giọng nói tổng hợp Bahnar

Kết quả đánh giá MOS (Mean Opinion Score) cho giọng nói tổng hợp Bahnar cho thấy mô hình đề xuất đạt được chất lượng tốt. Điểm MOS trung bình cho giọng nói tổng hợp đạt mức chấp nhận được. Phân tích chi tiết cho thấy giọng nói tổng hợp có tính tự nhiên cao, dễ hiểu và có khả năng biểu cảm tốt. Tuy nhiên, vẫn còn một số hạn chế cần được cải thiện, chẳng hạn như khả năng xử lý các từ và câu phức tạp, cũng như các phương ngữ khác nhau.

V. Ứng dụng Tiềm năng TTS Bahnar trong giáo dục và bảo tồn

Ứng dụng của tổng hợp giọng nói Bahnar rất đa dạng. Trong lĩnh vực giáo dục, TTS có thể được sử dụng để tạo ra các tài liệu học tập, sách giáo trình và bài giảng bằng tiếng Bahnar, giúp học sinh và sinh viên dễ dàng tiếp cận kiến thức. TTS còn có thể được sử dụng để tạo ra các ứng dụng hỗ trợ học ngôn ngữ, giúp người học cải thiện khả năng phát âm và nghe hiểu. Trong lĩnh vực bảo tồn văn hóa, TTS có thể được sử dụng để ghi âm và lưu trữ các câu chuyện cổ tích, bài hát và các tác phẩm văn học dân gian bằng tiếng Bahnar, giúp bảo tồn và truyền bá văn hóa cho các thế hệ sau.

5.1. TTS Bahnar hỗ trợ giáo dục đa ngôn ngữ

TTS Bahnar có tiềm năng lớn trong việc hỗ trợ giáo dục đa ngôn ngữ. Nó có thể được sử dụng để tạo ra các tài liệu học tập song ngữ hoặc đa ngữ, giúp học sinh và sinh viên học tập hiệu quả hơn. TTS cũng có thể được sử dụng để tạo ra các ứng dụng hỗ trợ học ngôn ngữ, giúp người học cải thiện khả năng phát âm và nghe hiểu các ngôn ngữ khác nhau.

5.2. Bảo tồn và số hóa văn hóa phi vật thể tiếng Bahnar

TTS Bahnar đóng vai trò quan trọng trong việc bảo tồn và số hóa văn hóa phi vật thể tiếng Bahnar. Nó có thể được sử dụng để ghi âm và lưu trữ các câu chuyện cổ tích, bài hát, các tác phẩm văn học dân gian và các nghi lễ truyền thống bằng tiếng Bahnar. Việc số hóa các tài liệu này giúp bảo tồn và truyền bá văn hóa cho các thế hệ sau, đồng thời giúp các nhà nghiên cứu và người quan tâm dễ dàng tiếp cận và tìm hiểu về văn hóa Bahnar.

VI. Kết luận Hướng phát triển tổng hợp giọng nói Bahnar

Luận văn đã trình bày một phương pháp tổng hợp giọng nói hiệu quả cho tiếng Bahnar dựa trên việc kết hợp các mô hình GradTTS, StarGANv2 và HiFi-GAN. Kết quả thực nghiệm cho thấy mô hình đề xuất có khả năng tạo ra giọng nói tiếng Bahnar với chất lượng tốt, tính tự nhiên cao và khả năng biểu cảm tốt. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng cho bài toán này, bao gồm việc thu thập thêm dữ liệu, cải thiện các mô hình hiện có và khám phá các phương pháp mới. Tổng hợp giọng nói có tiềm năng to lớn trong việc hỗ trợ giáo dục, bảo tồn văn hóa và phát triển kinh tế xã hội cho cộng đồng người Bahnar.

6.1. Mở rộng tập dữ liệu và cải thiện mô hình học sâu

Một trong những hướng phát triển quan trọng là mở rộng tập dữ liệu và cải thiện các mô hình học sâu. Việc thu thập thêm dữ liệu âm thanh và văn bản tiếng Bahnar giúp cải thiện độ chính xác và tính tự nhiên của các mô hình. Các kỹ thuật như data augmentation và transfer learning có thể được sử dụng để tận dụng dữ liệu từ các ngôn ngữ khác. Ngoài ra, việc nghiên cứu và phát triển các kiến trúc mô hình mới cũng có thể giúp cải thiện hiệu quả của quá trình tổng hợp giọng nói.

6.2. Nghiên cứu các phương pháp tổng hợp giọng nói đa dạng

Một hướng phát triển khác là nghiên cứu các phương pháp tổng hợp giọng nói đa dạng. Ngoài các phương pháp dựa trên học sâu, cũng có thể khám phá các phương pháp dựa trên quy tắc hoặc dựa trên đơn vị âm vị. Việc kết hợp các phương pháp khác nhau có thể giúp tạo ra giọng nói với nhiều phong cách và biểu cảm khác nhau, đáp ứng nhu cầu của nhiều ứng dụng khác nhau.

Trích đoạn nội dung tài liệu

Chương 1, GIỚI THIỆU ĐỀ TÀI: trình bày tổng quan về đề tài, lý do thực hiện đề tài và ý nghĩa thực tiễn của bài toán, cũng như giới hạn và phạm vi của đề tài. Cuối cùng là nhiệm vụ và cấu trúc của luận văn. – Chương 2, CƠ SỞ LÝ THUYẾT: tổng hợp những vấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của học sâu, từ Mạng nơ ron nhân tạo (Artificial Neural Network), Mạng đối nghịch (Generative Adversarial Networks) và các kiến thức liên quan. – Chương 3, CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: trình bày một cách tổng quát về những nghiên cứu liên quan đã và đang được thực hiện, cũng như xu hướng chung hiện nay trong việc giải quyết bài toán.

Phần này cũng đưa ra những bàn luận và đánh giá cho các phương pháp kể trên vì đó là cơ sở quan trọng cho những nghiên cứu của học viên trong quá trình thực hiện luận văn. – Chương 4, MÔ HÌNH ĐỀ XUẤT: giới thiệu mô hình cơ sở cho bài toán. Đồng thời đưa ra các cải tiến và động lực cho các đề xuất đó. Cuối cùng, học viên trình bày các bước tiến hành thí nghiệm trên những tập dữ liệu khác nhau và đánh giá kết quả của những cải tiến so với mô hình cơ sở.

– Chương 5, KẾT LUẬN: tổng hợp các kết quả đạt được trong quá trình thực hiện luận văn từ bước nghiên cứu và xây dựng giả thuyết đến triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, cuối cùng đề xuất các giải pháp cải tiến trong tương lai. 5 Mục lục, Danh sách hình vẽ, Danh sách bảng, Thuật ngữ và từ viết tắt được cung cấp ở đầu luận văn. Tài liệu tham khảo sẽ được trình bày ở cuối luận văn.

6 Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Mel-spectrogram Audio Data có được bằng cách lấy mẫu từ Sound Analog Signal theo một chu kỳ thời gian và đo đặc giá trị của biên độ tại mỗi thời điểm lấy mẫu đó. Audio Data được lưu lại thành file theo một trong các định dạng nén (. Khi đọc lên bằng các thư viện xử lý, nó được giải nén và chuyển thành một Numpy Array. Mảng dữ liệu này là giống nhau cho dù Audio Data được lưu dưới bất kỳ định dạng nào.

Trong bộ nhớ, Audio có thể coi là một chuỗi các giá trị của biên độ theo thời gian. Ví dụ, nếu tần số lấy mẫu là 16800Hz thì cứ 1s Audio sẽ có 16800 giá trị biên độ. Khoảng giá trị của biên độ được quy định bởi thông số bit-length. Ví dụ, bit-length bằng 16 có nghĩa là biên độ có thể có giá trị trong khoảng từ 0 đến 15.

Bit-length càng lớn thì chất lượng của Audio càng tốt. Đây là dạng nguyên thủy của spectrogram và chúng ta không thể thấy rõ được các thông tin về tần số, biên độ mà spectrogram thể hiện. Điều này được giải thích là do khả năng nhận thức âm thanh của con người. Hầu hết những âm thanh mà chúng ta nghe được đều tập trung xung quanh một dải tần số và biên độ khá hẹp.

7 Để giải quyết vấn đề này, spectrogram được chuyển sang một dạng mới, gọi là mel-spectrogram mà ở đó: • Tần số được thay thế bằng giá trị logarithmic của nó, gọi là Mel Scale. • Biên độ được thay thế bằng giá trị logarithmic của nó, gọi là Decibel Scale.1: Ảnh mel-spectrogram của âm thanh [1] 2.2 Mô hình Artificial Neural Network - ANN Mô hình Artificial Neural Network - ANN (Mạng nơ-ron nhân tạo) [2] là mô hình tính toán được xây dựng lấy ý tưởng từ cấu trúc và cách hoạt động của mạng nơ-ron thần kinh trong não người nhằm thực hiện một tác vụ nào đó với tập thông tin đầu vào. Một mạng nơ-ron thần kinh được tạo nên từ nhiều nơ-ron sinh học kết nối và hoạt động cùng nhau. Chúng hoạt động bằng cách tiếp nhận các thông tin đưa vào từ các đuôi gai (dendrite), tính toán và tổng hợp tại thân nơ-ron (cell body), sau đó lan truyền kết quả đến các nơ-ron khác thông qua sợi trục (axon).

Có thể dễ dàng rút ra nhận xét rằng nơ-ron sinh học nhận nhiều thông tin đầu vào nhưng chỉ đưa ra một kết quả duy nhất thông qua quá trình xử lý trung gian phức tạp. 8 Tương tự như cách thức hoạt động nêu trên của mạng nơ-ron thần kinh, ANN cũng được cấu thành từ nhiều nơ-ron được gọi là perceptron có cấu trúc như Hình 2., xn lần lượt là các biến đại diện cho dữ liệu đầu vào. – phép cộng (summation) và hàm kích hoạt (activation function) là các phép tính toán và tổng hợp các thông tin dữ liệu đầu vào., wn là các trọng số cần phải học, đóng vai trò tham gia quá trình tính toán và chuyển đổi các thông tin đầu vào thành thông tin đầu ra. – y là output của tiến trình, đại diện cho dữ liệu đầu ra.2: Cấu trúc của một Perceptron Cụ thể hơn, phương thức tính toán và tổng hợp dữ liệu của một perceptron được mô tả theo từng bước sau: 1.

Perceptron thực hiện phép cộng bằng cách tính tổng giá trị tất cả các tích số của từng cặp dữ liệu đầu vào và giá trị trọng số tương ứng: n X a= w i xi + w 0 (2. Kết quả a của phép cộng được đưa qua một hàm kích hoạt phi tuyến như Sigmoid, Tanh, ReLU, LeakyReLU được minh họa ở Hình 2.3: Các hàm phi tuyến được sử dụng trong Perceptron 3. Sau đó, perceptron thực hiện phép so sánh giá trị nhận được từ hàm kích hoạt f(a) với một giá trị ngưỡng (threshold ) cho trước nhằm xác định giá trị đầu ra ŷ như là tín hiệu kích hoạt của perceptron.2) 0 iff (a) < threshold Bằng cách kết hợp nhiều perceptron với nhau sẽ tạo nên cấu trúc mô hình mạng ANN. Mạng ANN bao gồm nhiều perceptron như là các nút mạng tính toán làm tăng tính phức tạp cũng như khả năng học cho mạng, các perceptron đó hình thành nên các tầng như sau: – Tầng đầu vào (input layer): là tầng đầu tiên, thể hiện các dữ liệu đầu vào của mô hình.

– Tầng ẩn (hidden layer): là tầng nằm giữa gồm các phép tính toán nhằm chuyển đổi dữ liệu đầu vào sang dữ liệu đầu ra. 10 – Tầng kết quả (output layer): là tầng cuối cùng thể hiện dữ liệu đầu ra của mạng. Số lượng tầng ẩn trong mô hình ANN là không giới hạn và được xác định tùy thuộc vào bài toán cần giải quyết. Đặc biệt, khi số lượng tầng ẩn lớn hơn 1 thì mô hình ANN được gọi là mô hình Học sâu (Deep learning).3 Mạng tích chập Convolutional Neural Net- work - CNN Mạng tích chập có 02 phần chính: Lớp trích lọc đặc trưng của ảnh (Conv, Relu và Pool) và Lớp phân loại (FC và softmax).

Đầu vào (dữ liệu training): Hình 2.4: Mô hình CNN cơ bản • Input đầu vào là một bức ảnh được biểu diển bởi ma trận pixel với kích thước: [w × h × d] • W: chiều rộng • H: chiều cao • D: Là độ sâu, hay dễ hiểu là số lớp màu của ảnh. Ví dụ ảnh RBG sẽ là 3 lớp ảnh Đỏ, Xanh Dương, Xanh. Conv Layer: Mục tiêu của các lớp tích chập là trích chọn các đặc trưng của ảnh đầu vào. Ảnh đầu vào được cho qua một bộ lọc chạy dọc bức ảnh.

Bộ lọc có 11 kích thước là m × n và áp dụng phép tích vô hướng để tính toán, cho ra một giá trị duy nhất. Đầu ra của phép tích chập là một tập các giá trị ảnh được gọi là mạng đặc trưng (features map). Phép tích chập đơn giản là phép tìm biên ảnh. Sau khi cho qua bộ lọc nó sẽ làm hiện lên các đặc trưng của đối tượng trong ảnh như đường vẽ xung quanh đối tượng, các góc cạnh,v., và các layer tiếp theo sẽ lại trích xuất tiếp các đặc trưng của đặc trưng của các đối tượng đó, việc có nhiều layer như vậy cho phép chúng ta chia nhỏ đặc trưng của ảnh tới mức nhỏ nhất có thể.

ReLU Layer: ReLU layer áp dụng các kích hoạt (activation function) max(0,x) lên đầu ra của Conv Layer, có tác dụng đưa các giá trị âm về thành 0. Layer này không thay đổi kích thước của ảnh và không có thêm bất kì tham số nào. Mục đích của lớp ReLu là đưa ảnh một mức ngưỡng, ở đây là 0. Để loại bỏ các giá trị âm không cần thiết mà có thể sẽ ảnh hưởng cho việc tính toán ở các layer sau đó.

Pool Layer: Pool Layer thực hiện chức năng làm giảm chiều không gian của đầu và giảm độ phức tạp tính toán của model ngoài ra Pool Layer còn giúp kiểm soát hiện tượng overffiting. Thông thường, Pool layer có nhiều hình thức khác nhau phù hợp cho nhiều bài toán, tuy nhiên Max Pooling là được sử dụng nhiều vào phổ biến hơn cả với ý tưởng cũng rất sát với thực tế con người đó là: Giữ lại chi tiết quan trọng hay hiểu ở trong bài toán này chính giữ lại pixel có giá trị lớn nhất. Fully Connected Layer (FC): Tên tiếng việt là Mạng liên kết đầy đủ. Tại lớp mạng này, mỗi một nơ-ron của layer này sẽ liên kết tới mọi nơ-ron của lớp khác.

Để đưa ảnh từ các layer trước vào mạng này, buộc phải dàn phẳng bức ảnh ra thành 1 vector thay vì là mảng nhiều chiều như trước. Tại layer cuối cùng sẽ sử dụng 1 hàm kinh điển trong học máy softmax để phân loại đối tượng dựa vào vector đặc trưng đã được tính toán của các lớp trước đó.4 Mô hình mạng Generative Adversarial Net- works Generative Adversarial Networks [3] hay còn gọi Mạng đối nghịch tạo sinh (GAN) là một kiến trúc học sâu. GAN đào tạo hai mạng neuron cạnh tranh với nhau nhằm tạo ra dữ liệu mới xác thực hơn từ một tập dữ liệu đào tạo nhất định. GAN được gọi là đối nghịch vì đào tạo hai mạng khác nhau và để hai mạng này cạnh tranh với nhau.

Một mạng tạo ra dữ liệu mới bằng cách lấy mẫu dữ liệu đầu vào và sửa đổi mẫu đó nhiều nhất có thể. Mạng còn lại cố gắng dự đoán liệu đầu ra dữ liệu được tạo có thuộc tập dữ liệu ban đầu hay không. Nói cách khác, mạng dự đoán sẽ xác định liệu dữ liệu được tạo là dữ liệu giả hay thật. Hệ thống tạo ra các phiên bản giá trị dữ liệu giả mới hơn và được cải thiện cho đến khi mạng dự đoán không thể phân biệt được dữ liệu giả và dữ liệu gốc nữa.

Có nhiều loại mô hình GAN khác nhau, tùy thuộc vào công thức toán học được Hình 2.