Advanced Deep Learning with TensorFlow 2 and Keras

Giáo trình Advanced Deep Learning with TensorFlow 2 and Keras tái bản lần 2 của Rowel Atienza

• Tác giả: Rowel Atienza
• Chuyên ngành: Trí tuệ nhân tạo
• Đề tài: Advanced Deep Learning with TensorFlow 2 and Keras
• Loại tài liệu: Sách
• Năm xuất bản: 2020
• Địa điểm: Birmingham

Tóm tắt

I. Tổng quan Advanced Deep Learning with TensorFlow 2 and Keras

Sách Advanced Deep Learning with TensorFlow 2 and Keras là ấn phẩm học thuật danh tiếng do tác giả Rowel Atienza biên soạn. Cuốn sách do nhà xuất bản Packt phát hành nhằm cung cấp góc nhìn toàn diện về kỹ thuật học sâu hiện đại. Tác phẩm tập trung khai thác phiên bản TensorFlow 2 cùng giao diện lập trình cấp cao Keras. Nội dung kết hợp chặt chẽ giữa lý thuyết toán học nền tảng và mã nguồn thực tế. Các chủ đề cốt lõi bao gồm mạng nơ-ron tích chập, mạng sinh đối kháng, mô hình biến phân tự mã hóa và học tăng cường. Tác giả Rowel Atienza giữ chức vụ phó giáo sư tại Đại học Philippines Diliman. Ông sở hữu chuyên môn sâu rộng về trí tuệ nhân tạo và hệ thống thị giác máy tính. Cuốn sách đóng vai trò cẩm nang thiết yếu cho kỹ sư dữ liệu và nhà nghiên cứu công nghệ. Tài liệu yêu cầu người đọc nắm vững ngôn ngữ lập trình Python cơ bản. Kiến thức giải tích, đại số tuyến tính cùng xác suất thống kê cũng rất quan trọng khi tiếp cận. Môi trường tính toán hỗ trợ GPU phần cứng giúp tối ưu hóa thời gian huấn luyện mô hình. Đây là nguồn tài nguyên chuẩn mực cho việc phát triển giải pháp AI.

1.1. Tác giả Rowel Atienza và nền tảng học thuật

Tác giả Rowel Atienza hiện đảm nhiệm cương vị phó giáo sư tại Viện Kỹ thuật Điện và Điện tử thuộc Đại học Philippines Diliman. Ông nắm giữ ghế giáo sư danh dự Dado và Maria Banatao về Trí tuệ Nhân tạo. Quá trình đào tạo chuyên môn của tác giả hoàn tất tại Đại học Quốc gia Singapore. Kinh nghiệm nghiên cứu thực tiễn giúp ông hệ thống hóa các khái niệm học máy phức tạp thành kiến thức trực quan. Phong cách giảng dạy nhấn mạnh tư duy thuật toán chặt chẽ song hành cùng thực nghiệm mã nguồn. Tác giả định hướng sinh viên và giới chuyên môn khám phá những ranh giới công nghệ mới mẻ. Những công trình học thuật của ông luôn hướng tới khả năng ứng dụng thực tế trong công nghiệp tự động hóa.

1.2. Mục tiêu đào tạo và đối tượng độc giả hướng tới

Tác phẩm hướng tới đối tượng kỹ sư phần mềm, nhà nghiên cứu trí tuệ nhân tạo và chuyên viên khoa học dữ liệu. Người học cần có kiến thức cơ sở về học máy và kỹ năng lập trình Python thuần thục. Mục tiêu trọng tâm là rút ngắn khoảng cách giữa lý thuyết trừu tượng và triển khai kỹ thuật. Cuốn sách trang bị kỹ năng thiết kế kiến trúc mạng nơ-ron tiên tiến theo chuẩn công nghiệp. Các bài tập rèn luyện tư duy gỡ lỗi mô hình và tối ưu hóa hiệu năng tính toán. Độc giả tiếp thu năng lực xây dựng hệ thống tự hành, thị giác phân tích và mô hình tạo sinh. Kiến thức sách tạo nền tảng vững chắc cho hoạt động nghiên cứu học thuật lẫn dự án thương mại.

II. Phân tích sách Advanced Deep Learning with TensorFlow 2 and Keras

Nhiều tài liệu học sâu đương đại thường gặp phải ranh giới chia cắt giữa toán học giải tích và kỹ thuật lập trình. Đa phần giáo trình thuần lý thuyết tạo ra sự mơ hồ khi chuyển hóa công thức sang mã nguồn thực thi. Ngược lại, các tài liệu hướng dẫn lập trình bề mặt lại xem nhẹ cơ chế tối ưu gradient và đại số ma trận. Hiện tượng này dẫn đến tình trạng kỹ sư thiếu khả năng làm chủ kiến trúc khi giải quyết bài toán phức tạp. Ngoài ra, việc chuyển dịch từ TensorFlow 1 sang TensorFlow 2 đặt ra nhiều rào cản về cơ chế Eager Execution và quy chuẩn tf.keras. Những kiến trúc tiên tiến như GAN hay VAE đòi hỏi kỹ thuật đồng bộ loss phi tuyến tính rất khắt khe. Các mô hình này rất dễ rơi vào trạng thái mất ổn định hoặc sụp đổ mode huấn luyện. Sự thiếu hụt môi trường phần cứng GPU tương thích cũng kéo dài thời gian kiểm thử mô hình. Dữ liệu thực tế thường chứa nhiều nhiễu, kích thước lớn và nhãn phân loại không đồng đều. Thiếu sót kỹ thuật chuẩn hóa đầu vào sẽ khiến quá trình học nơ-ron thất bại hoàn toàn. Cuốn sách phân tích cặn kẽ những thách thức này nhằm định hình phương pháp luận khoa học cho người kỹ sư.

2.1. Rào cản toán học và sự phức tạp của kiến trúc mạng

Nhiều người nghiên cứu gặp khó khăn khi tiếp cận các phương trình vi phân và giải tích đạo hàm riêng. Sự chuyển giao toán học trừu tượng sang ma trận tensor thường phát sinh sai số kích thước và gradient biến mất. Các kiến trúc học sâu hiện đại như mạng sinh đối kháng đòi hỏi sự cân bằng trò chơi hai người chơi. Mô hình biến phân tự mã hóa lại dựa trên suy diễn biến phân và phân kỳ Kullback-Leibler. Nếu không hiểu rõ nền tảng toán học, kỹ sư rất khó hiệu chỉnh siêu tham số chuẩn xác. Quá trình tối ưu hàm mất mát đa mục tiêu trở nên mò mẫm và kém hiệu quả. Việc làm chủ lý thuyết cốt lõi giúp loại bỏ các phỏng đoán cảm tính trong quá trình huấn luyện.

2.2. Vấn đề tài nguyên phần cứng và tối ưu hóa tính toán

Các giải thuật học sâu hiện đại tiêu tốn năng lực xử lý phần cứng vô cùng lớn. Việc huấn luyện mô hình sâu trên vi xử lý trung tâm CPU thường tốn hàng chục giờ đến nhiều ngày. Tình trạng nghẽn cổ chai tài nguyên làm chậm trễ tiến độ nghiên cứu và kiểm nghiệm giải thuật. Kỹ sư buộc phải thiết lập môi trường tính toán song song với card đồ họa rời NVIDIA tương thích. Tuy nhiên, việc cài đặt trình điều khiển GPU, CUDA và cuDNN thường phát sinh lỗi xung đột phiên bản. Bộ nhớ VRAM giới hạn cũng hạn chế kích thước batch khi xử lý hình ảnh độ phân giải cao. Sự tối ưu hóa luồng nạp dữ liệu trở thành thách thức kỹ thuật lớn trong mọi dự án triển khai.

III. Giải pháp từ Advanced Deep Learning with TensorFlow 2 and Keras

Tác phẩm cung cấp lời giải toàn diện thông qua cách tiếp cận sư phạm thực chứng và khoa học. Cuốn sách tái hiện toàn bộ khung kiến trúc bằng API tf.keras chuẩn mực của hệ sinh thái TensorFlow 2. Tác giả Rowel Atienza lựa chọn tập dữ liệu kinh điển MNIST gồm 70.000 mẫu ảnh chữ số viết tay. Đây là môi trường kiểm chuẩn hoàn hảo để thử nghiệm các nguyên lý học sâu mà không đòi hỏi siêu máy tính. Mã nguồn mẫu được tối ưu hóa tối đa nhằm giúp mô hình chạy mượt mà ngay trên GPU phổ thông như GTX 1060. Độc giả được hướng dẫn xây dựng mạng MLP phân loại ảnh trước khi mở rộng sang kiến trúc CNN sâu. Mỗi thuật toán phức tạp đều đi kèm lược đồ luồng dữ liệu minh họa chi tiết. Cơ chế Eager Execution giúp lập trình viên phát hiện lỗi tensor tức thì trong từng bước lan truyền tiến. Tác giả khuyến khích phương pháp phân nhánh mã nguồn từ kho lưu trữ GitHub để thực nghiệm độc lập. Cách học thông qua thử sai và tùy biến siêu tham số giúp người học nhanh chóng làm chủ công nghệ học sâu đỉnh cao.

3.1. Phương pháp sư phạm qua thực nghiệm mã nguồn GitHub

Cuốn sách triển khai triết lý giáo dục thông qua thực hành mã nguồn trực tiếp. Mọi ví dụ trong sách đều có kho lưu trữ GitHub công khai đi kèm đầy đủ. Người học có thể tải về, xem xét từng dòng lệnh và chạy thử nghiệm cục bộ. Các tập lệnh được định dạng chuẩn xác trên hệ điều hành Ubuntu Linux và macOS. Cách tiếp cận này khuyến khích việc thay đổi siêu tham số để quan sát sự biến thiên của hàm mất mát. Kỹ sư tự tay điều chỉnh cấu trúc layer, hàm kích hoạt và thuật toán tối ưu. Phương pháp thực chứng giúp củng cố trực giác kỹ thuật và khả năng gỡ lỗi thực tế. Sự am hiểu mã nguồn giúp việc tiếp thu lý thuyết diễn ra tự nhiên.

3.2. Ứng dụng tập dữ liệu MNIST vào kiểm chuẩn mô hình

Tác giả sử dụng tập dữ liệu MNIST làm chuẩn mực thực nghiệm xuyên suốt các chương đầu. Bộ dữ liệu chứa 60.000 ảnh huấn luyện và 10.000 ảnh kiểm tra với kích thước 28x28 pixel. Quy mô tinh gọn nhưng thông tin phong phú của MNIST cho phép xác thực các định lý toán học một cách tức thì. Giao diện Keras hỗ trợ tải dữ liệu tự động chỉ bằng một dòng mã lệnh đơn giản. Người học dễ dàng kiểm tra phân phối nhãn và vẽ biểu đồ trực quan hóa dữ liệu. Mô hình phân loại Perceptron đa tầng MLP được triển khai nhanh chóng để đo lường độ chính xác. Nền tảng thực nghiệm vững chắc từ MNIST giúp người học tự tin mở rộng sang các bài toán thị giác máy tính quy mô lớn hơn.

IV. Ứng dụng sách Advanced Deep Learning with TensorFlow 2 and Keras

Sách Advanced Deep Learning with TensorFlow 2 and Keras là tài liệu kinh điển định hình năng lực kỹ thuật công nghệ thông tin. Các thuật toán trình bày trong cuốn sách mở ra lộ trình phát triển vô vàn ứng dụng công nghiệp thông minh. Trong lĩnh vực thị giác máy tính, mô hình cung cấp kỹ thuật nhận diện và phân đoạn đối tượng chính xác cao. Trong ngành công nghiệp sáng tạo nội dung, kiến trúc GAN và VAE cho phép tạo sinh hình ảnh, âm thanh và chuyển đổi phong cách hội họa tự động. Giải thuật học tăng cường sâu hỗ trợ phát triển các hệ thống điều khiển robot và thuật toán xe tự hành hiện đại. Học không giám sát mở rộng khả năng khai phá mẫu ẩn trong dữ liệu y sinh và tài chính quy mô lớn. Tác phẩm của Rowel Atienza là cầu nối vững chắc đưa nghiên cứu học thuật vào các giải pháp phần mềm thương mại. Đầu tư thời gian nghiên cứu ấn phẩm này mang lại lợi thế chuyên môn vượt trội cho kỹ sư trí tuệ nhân tạo. Những nguyên lý nền tảng trong sách sẽ tiếp tục dẫn dắt sự phát triển của công nghệ máy học tương lai.

4.1. Khả năng phát triển mô hình thị giác và tạo sinh AI

Kỹ thuật xử lý thị giác máy tính trong sách giải quyết xuất sắc các bài toán phân loại và định vị vật thể. Mạng nơ-ron tích chập sâu kết hợp cùng cơ chế neo anchor giúp phát hiện đối tượng trong thời gian thực. Bên cạnh đó, các mô hình tạo sinh mở ra khả năng sáng tạo phi thường cho máy học. Mạng sinh đối kháng có thể phục hồi chi tiết ảnh phân giải siêu cao và tổng hợp dữ liệu nhân tạo. Kỹ thuật này giúp bảo vệ quyền riêng tư dữ liệu người dùng trong các phân tích y khoa. Khả năng phân tách đặc trưng không giám sát còn hỗ trợ phát hiện gian lận tài chính tinh vi. Đây là nền móng cốt lõi cho các sản phẩm trí tuệ nhân tạo thế hệ mới.

4.2. Triển khai mô hình tự hành và học tăng cường thực tế

Thuật toán học tăng cường sâu deep RL trong sách cung cấp công cụ đào tạo các tác nhân ra quyết định tự động. Mô hình có khả năng tự thích ứng với môi trường biến động thông qua cơ chế phản hồi phần thưởng. Kỹ thuật này được ứng dụng rộng rãi trong việc lập quỹ đạo bay cho máy bay không người lái drone. Hệ thống tự hành và điều khiển cánh tay robot công nghiệp cũng hưởng lợi trực tiếp từ phương pháp này. Việc tích hợp tf.keras giúp đơn giản hóa quá trình tối ưu hóa chính sách hành động policy gradient. Kỹ sư có thể mô phỏng môi trường tương tác phức tạp trước khi đưa thuật toán vào phần cứng cơ điện tử. Khả năng thích ứng cao biến kiến thức trong sách thành công cụ thực chiến đắc lực.

Nội dung chính

Tổng quan về giáo trình

Giáo trình Advanced Deep Learning with TensorFlow 2 and Keras (Tái bản lần thứ hai - Second Edition, 2020) do Phó Giáo sư Rowel Atienza (Viện Kỹ thuật Điện và Điện tử, Đại học Philippines Diliman) biên soạn, được phát hành bởi nhà xuất bản Packt Publishing. Trong chương trình đào tạo đại học và sau đại học các khối ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Kỹ thuật Dữ liệu, tài liệu này đóng vai trò là giáo trình chuyên khảo nâng cao thuộc khối kiến thức chuyên ngành, tiếp nối sau các học phần Nhập môn Trí tuệ nhân tạo và Học máy căn bản.

Về mục tiêu học tập (learning outcomes), giáo trình trang bị cho người học năng lực giải thích các cơ sở toán học và cơ chế vận hành của những mô hình học sâu hiện đại; khả năng hiện thực hóa các công thức giải tích, suy diễn biến phân và tối ưu hóa thành mã nguồn thực thi bằng giao diện tf.keras của TensorFlow 2; đồng thời rèn luyện kỹ năng xây dựng, tinh chỉnh và kiểm thử các kiến trúc mạng chuyên dụng phục vụ cho các bài toán tạo sinh dữ liệu, điều khiển tác tử, nhận diện đối tượng và phân cụm không giám sát.

Cấu trúc tiếp cận của giáo trình tuân thủ một chu trình khép kín: bắt đầu từ việc trình bày nguyên lý toán học nền tảng, giải thích trực giác bản chất thuật toán, chuyển đổi mô hình thành mã nguồn Python cụ thể bằng Keras Functional API hoặc các lớp tùy biến, và cuối cùng là phân tích thực nghiệm dựa trên kết quả đầu ra.

Điểm đặc thù của giáo trình nằm ở việc tập trung trực tiếp vào các mô hình phức tạp đã qua chọn lọc thay vì dàn trải toàn bộ phân ngành AI. Giáo trình chuyển dịch hoàn toàn sang kiến trúc TensorFlow 2.0 thuần nhất (tf.keras), khai thác tối đa tính trực quan trong ghép nối tầng mạng cùng khả năng mở rộng với đồ thị động phục vụ nghiên cứu thực nghiệm.

---

Nội dung kiến thức cốt lõi

Các chương/chủ đề chính

Cấu trúc giáo trình bao gồm 13 chương với trình tự phát triển từ mô hình nền tảng đến các kiến trúc chuyên sâu:

• Chương 1: Introducing Advanced Deep Learning with Keras: Hệ thống hóa ba khối mạng nơ-ron nền tảng gồm Perceptron đa tầng (MLP), Mạng nơ-ron tích chập (CNN) và Mạng nơ-ron hồi quy (RNN). Phân tích cấu trúc dữ liệu ảnh MNIST, các phương pháp chuẩn hóa (regularization), hàm mục tiêu (loss function) và thuật toán tối ưu (optimization).
• Chương 2: Deep Neural Networks: Khai thác Functional API trong tf.keras để thiết kế các kiến trúc phân nhánh nhiều đầu vào/đầu ra. Trình bày chi tiết cấu trúc Mạng dư sâu (ResNet) và Mạng tích chập kết nối dày đặc (DenseNet), kèm mã nguồn triển khai mô hình DenseNet-BC 100 tầng trên tập dữ liệu CIFAR10.
• Chương 3 & Chương 8: Autoencoders & Variational Autoencoders (VAEs): Nghiên cứu không gian tiềm ẩn (latent space), ứng dụng Autoencoder trong khử nhiễu và tô màu ảnh tự động. Chương 8 đào sâu suy biến biến phân (variational inference), kỹ thuật tái tham số hóa (reparameterization trick) và biến thể $\beta$-VAE phục vụ gỡ rối biểu diễn tiềm ẩn.
• Chương 4, 5, 6 & 7: Generative Adversarial Networks (GANs) và các biến thể nâng cao: Khảo sát nguyên lý mạng đối kháng sinh dữ liệu (DCGAN). Chương 5 đề cập đến các kỹ thuật khắc phục bất ổn định khi huấn luyện thông qua Wasserstein GAN (WGAN với Wasserstein loss), Least-squares GAN (LSGAN) và Auxiliary Classifier GAN (ACGAN). Chương 6 tập trung vào phân rã đặc trưng với InfoGAN và StackedGAN. Chương 7 triển khai CycleGAN phục vụ chuyển đổi miền dữ liệu giữa MNIST và SVHN (Street View House Numbers).
• Chương 9 & 10: Deep Reinforcement Learning & Policy Gradient Methods: Trình bày cơ chế học tăng cường qua Q-learning rời rạc, Deep Q-Networks (DQN) trên thư viện môi trường mô phỏng OpenAI Gym. Chương 10 mở rộng sang không gian hành động liên tục qua định lý đạo hàm chính sách (Policy Gradient Theorem), thuật toán REINFORCE, REINFORCE có baseline, và Actor-Critic / Advantage Actor-Critic (A2C).
• Chương 11 & 12: Object Detection & Semantic Segmentation: Xây dựng mô hình dò tìm vật thể SSD (Single Shot MultiBox Detector) với hộp neo (anchor boxes) và thuật toán loại bỏ phi cực đại (Non-Maximum Suppression - NMS). Chương 12 triển khai mạng phân đoạn ngữ nghĩa hoàn toàn tích chập (FCN) để phân loại nhãn ở cấp độ từng điểm ảnh (pixel-level).
• Chương 13: Unsupervised Learning Using Mutual Information: Trình bày hướng tiếp cận học không giám sát không dựa vào nhãn con người thông qua tối đa hóa tương hỗ thông tin (Mutual Information) và Entropy cho cả biến ngẫu nhiên rời rạc lẫn biến ngẫu nhiên liên tục (phân phối Gauss hai biến).

Kiến thức nền tảng được xây dựng

Giáo trình củng cố và tích hợp ba trụ cột kiến thức lý thuyết:

1. Lý thuyết tối ưu hóa và toán học giải tích: Cơ chế lan truyền ngược gradient, đạo hàm riêng, định lý đạo hàm chính sách trong không gian liên tục, và xấp xỉ phân phối xác suất qua độ đo phân kỳ trong VAE.
2. Nguyên lý lý thuyết thông tin: Đo lường entropy, thông tin tương hỗ giữa các biến ngẫu nhiên để thiết lập các hàm mục tiêu trong học không giám sát và gỡ rối đặc trưng biểu diễn (disentanglement).
3. Cơ chế mô hình đối kháng và hàm mất mát khoảng cách: Khoảng cách Wasserstein (Earth Mover's Distance), bình phương cực tiểu, và việc kết hợp các hàm mất mát có điều kiện (conditional loss) để ổn định quá trình huấn luyện cực tiểu - cực đại (minimax game).

Kỹ năng phát triển

• Năng lực kỹ thuật (Technical skills): Thành thạo lập trình hướng mô hình bằng tf.keras, thiết lập các pipeline dữ liệu (Data Generator), triển khai cấu trúc mạng phức tạp qua Functional API và các lớp kế thừa Model/Layer. Cấu hình và khai thác môi trường tính toán tăng tốc bằng GPU phần cứng của NVIDIA (CUDA, cuDNN).
• Năng lực phân tích (Analytical skills): Phân tích hình thái hàm mất mát, chẩn đoán hiện tượng sụp đổ mode (mode collapse) trong GAN, đánh giá sự hội tụ của chính sách hành động trong môi trường RL, và phân định không gian tiềm ẩn (latent representations).
• Năng lực thực hành thực nghiệm (Practical competencies): Tự thu thập, gán nhãn dữ liệu cho mô hình thị giác máy tính; triển khai các thuật toán hậu xử lý chuyên biệt như Non-Maximum Suppression (NMS); đo lường hiệu năng mô hình qua các tập dữ liệu benchmark chuẩn (MNIST, CIFAR10, SVHN).

---

Phương pháp giảng dạy và học tập

Giáo trình triển khai phương pháp sư phạm định hướng thực hành (hands-on, code-driven pedagogy). Mọi chủ đề lý thuyết phức tạp đều được cấu trúc hóa theo 4 bước liên kết chặt chẽ: Thiết lập cơ sở lý thuyết -> Trực quan hóa toán học -> Triển khai mã nguồn chi tiết -> Đo lường và đánh giá kết quả. Phương pháp này giảm thiểu sự trừu tượng hóa thuần túy bằng cách biến các công thức giải tích thành các câu lệnh lập trình rõ ràng trong Python 3.

Hệ thống bài tập và case studies gắn liền với các bài toán kỹ thuật thực tế:

• Triển khai mô hình phân loại đa lớp trên tập dữ liệu chuẩn mực MNIST và CIFAR10.
• Xây dựng hệ thống tự động khử nhiễu (denoising) và tô màu ảnh tự động (colorization autoencoders).
• Giả lập điều khiển tác tử tự động tương tác với môi trường mô phỏng thông qua bộ công cụ chuẩn OpenAI Gym.
• Tự thiết lập quy trình thu thập, định dạng dữ liệu và gán nhãn cho mô hình SSD nhận diện đối tượng và FCN phân vùng ngữ nghĩa.

Về phương pháp đánh giá (Assessment methods), giáo trình định hướng kiểm tra năng lực thông qua tính toàn vẹn của mã nguồn (code reproducibility), khả năng hội tụ của các giá trị loss trong quá trình huấn luyện, tính chuẩn xác của các số liệu thống kê (accuracy, IoU), và chất lượng trực quan của dữ liệu tổng hợp (đối với các mô hình sinh GAN/VAE).

Về hướng dẫn tự học (Self-study guidelines), người học được khuyến khích tương tác trực tiếp với kho mã nguồn mẫu trên GitHub (PacktPublishing/Advanced-Deep-Learning-with-Keras). Quá trình tự học đòi hỏi việc chủ động biên soạn lại từng khối lệnh, can thiệp vào các tham số mạng (hyperparameters), và thực hiện các thí nghiệm so sánh để kiểm chứng tác động của từng phương pháp tối ưu hóa.

---

Điểm nổi bật và cập nhật

So với ấn bản đầu tiên (phát hành tháng 10 năm 2018), ấn bản thứ hai (tháng 2 năm 2020) mang các cập nhật cấu trúc mang tính kỹ thuật quan trọng:

• Đồng bộ hóa toàn diện với TensorFlow 2.0: Mã nguồn loại bỏ các phụ thuộc vào phiên bản Keras đa backend (Theano, CNTK) cũ, chuyển toàn bộ sang sử dụng thư viện tensorflow.keras (tf.keras). Việc chuyển dịch này tận dụng cơ chế thực thi eager execution mặc định và chuẩn hóa quy trình triển khai mô hình.
• Bổ sung ba chương chuyên đề hoàn toàn mới:
  • Chương 11 (Object Detection): Tập trung vào thuật toán SSD, giải quyết bài toán phát hiện vị trí và định danh đối tượng đa tỷ lệ.
  • Chương 12 (Semantic Segmentation): Đi sâu vào mạng tích chập hoàn toàn (FCN) nhằm phân loại nhãn điểm ảnh chi tiết.
  • Chương 13 (Unsupervised Learning Using Mutual Information): Cung cấp giải pháp phân cụm phi giám sát dựa trên nguyên lý lý thuyết thông tin, giảm sự phụ thuộc vào dữ liệu gán nhãn thủ công.
• Tích hợp các xu hướng nghiên cứu đối kháng hiện đại: Cập nhật các kiến trúc GAN chuyên sâu như WGAN để khắc phục điểm yếu toán học của khoảng cách Jensen-Shannon, ACGAN trong bài toán có điều kiện, InfoGAN và StackedGAN để phân tách các thuộc tính tạo sinh một cách có kiểm soát.
• Tính ứng dụng công nghiệp: Các thuật toán được lựa chọn trong giáo trình liên kết trực tiếp tới các ứng dụng kỹ thuật thực tế như hệ thống hỗ trợ lái tự động (nhận diện vật cản qua SSD và phân đoạn bề mặt qua FCN), xử lý hình ảnh và chuyển đổi phong cách đồ họa qua CycleGAN, và giải quyết bài toán tối ưu hóa hành động trong điều khiển robot thông qua Policy Gradient.

---

Đối tượng sử dụng giáo trình

Giáo trình phục vụ trực tiếp cho các nhóm đối tượng học thuật và kỹ thuật:

• Sinh viên đại học và học viên cao học: Sinh viên năm cuối hoặc học viên sau đại học thuộc các ngành Khoa học Máy tính, Kỹ thuật Phần mềm, Trí tuệ Nhân tạo, Hệ thống Thông tin và Điện tử - Viễn thông có định hướng chuyên sâu về Computer Vision và Reinforcement Learning.
• Yêu cầu điều kiện tiên quyết (Prerequisites):
  • Kỹ năng lập trình thành thạo ngôn ngữ Python 3.
  • Nền tảng toán học cấp độ đại học: Giải tích (đạo hàm ma trận, vector), Đại số tuyến tính (phép toán ma trận, không gian vector), Xác suất và Thống kê (phân phối xác suất, ước lượng biến số, kỳ vọng).
  • Kiến thức học máy và học sâu căn bản: Đã hiểu cấu trúc Perceptron, thuật toán lan truyền ngược (backpropagation) và các tầng tích chập căn bản.
• Giảng viên đại học: Có thể sử dụng tài liệu làm khung bài giảng cho học phần "Học sâu nâng cao" (Advanced Deep Learning) hoặc "Chuyên đề Thị giác máy tính và Học tăng cường". Cấu trúc phân đoạn của từng chương giúp dễ dàng thiết kế các bài thực hành trong phòng lab (Lab sessions).
• Kỹ sư học máy và nhà nghiên cứu (ML Engineers & Researchers): Phục vụ như một tài liệu tham khảo kỹ thuật để chuyển đổi các bài báo khoa học (research papers) thành mã nguồn Keras có thể triển khai được trong môi trường sản xuất.

---

Câu hỏi thường gặp

1. Giáo trình này phù hợp với ai?

Giáo trình được thiết kế cho sinh viên năm cuối, học viên cao học chuyên ngành công nghệ thông tin/khoa học máy tính, và các kỹ sư học máy muốn chuyển hóa các mô hình lý thuyết toán phức tạp thành mã nguồn Keras thực thi.

2. Cần trang bị những kiến thức nền tảng nào trước khi học?

Người học cần có kiến thức toán học đại học vững chắc (giải tích, đại số tuyến tính, xác suất thống kê), thành thạo lập trình Python 3, và đã nắm được các nguyên lý học sâu cơ bản (cơ chế hoạt động của MLP, CNN, các hàm kích hoạt và thuật toán lan truyền ngược).

3. Điểm khác biệt của giáo trình này so với các tài liệu nhập môn khác là gì?

Giáo trình không dừng lại ở các bài toán phân loại nhãn đơn giản bằng mô hình Sequential API. Thay vào đó, tài liệu đi thẳng vào các kiến trúc nâng cao: mạng đồ thị đa nhánh (ResNet, DenseNet), mạng đối kháng sinh dữ liệu (DCGAN, WGAN, CycleGAN, InfoGAN), mô hình sinh biến phân (VAE), học tăng cường liên tục (Policy Gradient), và học không giám sát dựa trên Tương hỗ thông tin.

4. Cần cấu hình phần cứng như thế nào để thực hành các nội dung trong sách?

Tác giả khuyến nghị hệ thống cần có bộ xử lý đồ họa GPU của NVIDIA với kiến trúc tối thiểu tương đương NVIDIA GTX 1060 để đảm bảo thời gian huấn luyện khả thi. Giáo trình được kiểm thử trên hệ thống chạy Ubuntu Linux 18.04 LTS hoặc macOS Catalina, cài đặt TensorFlow 2 và driver CUDA/cuDNN tương thích.

5. Giáo trình cung cấp những tài nguyên bổ trợ nào?

Người học được cung cấp kho mã nguồn mở hoàn chỉnh trên GitHub (PacktPublishing/Advanced-Deep-Learning-with-Keras), tệp hình ảnh màu trực quan cho toàn bộ các biểu đồ và kết quả sinh ảnh của các mô hình, cùng các chỉ dẫn cài đặt môi trường mở rộng như OpenAI Gym, Matplotlib, Graphviz.

---

Kết luận

Giáo trình Advanced Deep Learning with TensorFlow 2 and Keras cung cấp một hệ thống lý thuyết chuẩn mực và thực nghiệm toàn diện về các cấu trúc học sâu hiện đại. Bằng việc kết hợp chặt chẽ giữa toán học nền tảng và mã nguồn thực thi trên nền tảng tf.keras, tác phẩm giúp người học chuẩn hóa quy trình nghiên cứu và phát triển các mô hình nơ-ron chuyên sâu.

Lộ trình học tập khuyến nghị bắt đầu từ việc chuẩn hóa kỹ năng xây dựng mạng phức tạp qua Functional API (Chương 1-2), tiếp nối bằng các mô hình sinh dữ liệu và biểu diễn tiềm ẩn (Chương 3-8), sau đó mở rộng sang các kỹ thuật điều khiển tối ưu trong Học tăng cường (Chương 9-10), và kết thúc bằng việc giải quyết các bài toán thị giác máy tính và học phi giám sát (Chương 11-13). Người học cần tích cực khai thác kho mã nguồn mẫu và các tập dữ liệu mở đi kèm để hoàn thiện năng lực triển khai thực tế.

Trích đoạn nội dung tài liệu

Advanced Deep Learning with TensorFlow 2 and Keras Second Edition Apply DL, GANs, VAEs, deep RL, unsupervised learning, object detection and segmentation, and more Rowel Atienza BIRMINGHAM - MUMBAI Advanced Deep Learning with TensorFlow 2 and Keras Second Edition Copyright © 2020 Packt Publishing All rights reserved. No part of this book may be reproduced, stored in a retrieval system, or transmitted in any form or by any means, without the prior written permission of the publisher, except in the case of brief quotations embedded in critical articles or reviews. Every effort has been made in the preparation of this book to ensure the accuracy of the information presented. However, the information contained in this book is sold without warranty, either express or implied.

Neither the author, nor Packt Publishing or its dealers and distributors, will be held liable for any damages caused or alleged to have been caused directly or indirectly by this book. Packt Publishing has endeavored to provide trademark information about all of the companies and products mentioned in this book by the appropriate use of capitals. However, Packt Publishing cannot guarantee the accuracy of this information. Producer: Andrew Waldron Project Editor: Janice Gonsalves Content Development Editor: Dr.

Ian Hough Technical Editor: Karan Sonawane Copy Editor: Safis Editing Proofreader: Safis Editing Indexer: Pratik Shirodkar Production Designer: Sandip Tadge First published: October 2018 Second edition: February 2020 Production reference: 1260220 Published by Packt Publishing Ltd. Livery Place 35 Livery Street Birmingham B3 2PB, UK.com Subscribe to our online digital library for full access to over 7,000 books and videos, as well as industry leading tools to help you plan your personal development and advance your career. For more information, please visit our website. Why subscribe? • Spend less time learning and more time coding with practical eBooks and Videos from over 4,000 industry professionals • Learn better with Skill Plans built especially for you • Get a free eBook or video every month • Fully searchable for easy access to vital information • Copy and paste, print, and bookmark content Did you know that Packt offers eBook versions of every book published, with PDF and ePub files available? You can upgrade to the eBook version at www.com and as a print book customer, you are entitled to a discount on the eBook copy.

Get in touch with us at [e-mail] for more details.com, you can also read a collection of free technical articles, sign up for a range of free newsletters, and receive exclusive discounts and offers on Packt books and eBooks. Contributors About the authors Rowel Atienza is an Associate Professor at the Electrical and Electronics Engineering Institute of the University of the Philippines, Diliman. He holds the Dado and Maria Banatao Institute Professorial Chair in Artificial Intelligence and received his MEng from the National University of Singapore for his work on an AI-enhanced four-legged robot. He gained his Ph.

at The Australian National University for his contribution in the field of active gaze tracking for human-robot interaction. His current research work focuses on AI and computer vision. I would like to thank my family, Cherry, Diwa, and Jacob. They never cease to support my work.

I would like to thank my mother, who instilled into me the value of education. I would like to express my gratitude to the people of Packt and this book's technical reviewer, Janice, Ian, Karan, and Valerio. They are inspiring and easy to work with. I would like to thank the institutions who always support my teaching and research agenda, University of the Philippines, DOST, Samsung Research PH, and CHED-PCARI.

I would like to acknowledge my students. They have been patient as I develop my courses in AI. About the reviewer Valerio Maggio received his Ph.D in Computational Science by the Dept. of Mathematics of the University of Naples "Federico II", with a thesis in machine learning and software engineering entitled "Improving Software Maintenance using Unsupervised Machine Learning techniques." After some years as a postdoc researcher and lecturer at the University of Salerno and at the University of Basilicata, he joined the "Predictive Models for Biomedicine and Environment" lab at Fondazione Bruno Kessler (FBK), where he worked as a Research Associate.

Valerio is currently a Senior Research Associate at the Dynamic Genetics Lab at University of Bristol (http://dynamicgenetics. His research interests focus on methods and software for reproducible machine learning and deep learning for biomedicine. Valerio is also a Cloud Research Software Engineer as part of the Microsoft initiative for Higher Education and Research, and a very active member of the Python community. He is a lead member of the organising committee of many international conferences, such as EuroPython, PyCon/PyData Italy, and EuroScipy.

Table of Contents Prefacevii Chapter 1: Introducing Advanced Deep Learning with Keras 1 1. Why is Keras the perfect deep learning library? 2 Installing Keras and TensorFlow 3 2. MLP, CNN, and RNN 5 The differences between MLP, CNN, and RNN 5 3. Multilayer Perceptron (MLP) 6 The MNIST dataset 7 The MNIST digit classifier model 9 Building a model using MLP and Keras 13 Regularization 15 Output activation and loss function 16 Optimization 19 Performance evaluation 23 Model summary 25 4.

Convolutional Neural Network (CNN) 28 Convolution30 Pooling operations 31 Performance evaluation and model summary 32 5. Recurrent Neural Network (RNN) 35 6. References 41 Chapter 2: Deep Neural Networks 43 1. Functional API 44 Creating a two-input and one-output model 47 2.

Deep Residual Network (ResNet) 53 [i] Table of Contents 3. Densely Connected Convolutional Network (DenseNet) 67 Building a 100-layer DenseNet-BC for CIFAR10 69 5. References 74 Chapter 3: Autoencoders 77 1. Principles of autoencoders 78 2.

Building an autoencoder using Keras 81 3. Automatic colorization autoencoder 96 5. References 104 Chapter 4: Generative Adversarial Networks (GANs) 105 1. An Overview of GANs 105 Principles of GANs 107 2.

Implementing DCGAN in Keras 112 3. References 131 Chapter 5: Improved GANs 133 1. Wasserstein GAN 134 Distance functions 134 Distance function in GANs 136 Use of Wasserstein loss 139 WGAN implementation using Keras 144 2. Least-squares GAN (LSGAN) 151 3.

Auxiliary Classifier GAN (ACGAN) 155 4. References 169 Chapter 6: Disentangled Representation GANs 171 1. Disentangled representations 172 InfoGAN174 Implementation of InfoGAN in Keras 178 Generator outputs of InfoGAN 189 2. StackedGAN 192 Implementation of StackedGAN in Keras 193 Generator outputs of StackedGAN 211 4.

References 215 [ ii ] Table of Contents Chapter 7: Cross-Domain GANs 217 1. Principles of CycleGAN 218 The CycleGAN model 221 Implementing CycleGAN using Keras 227 Generator outputs of CycleGAN 242 CycleGAN on MNIST and SVHN datasets 245 2. References 252 Chapter 8: Variational Autoencoders (VAEs) 255 1. Principles of VAE 256 Variational inference 257 Core equation 258 Optimization 259 Reparameterization trick 260 Decoder testing 261 VAE in Keras 261 Using CNN for AE 268 2.

𝜷𝜷-VAE – VAE with disentangled latent representations 282 4. References 286 Chapter 9: Deep Reinforcement Learning 289 1. Principles of Reinforcement Learning (RL) 290 2. Q-learning example 294 Q-Learning in Python 299 4.

Temporal-difference learning 307 Q-learning on OpenAI Gym 307 6. References 326 Chapter 10: Policy Gradient Methods 327 1. Policy gradient theorem 328 2. Monte Carlo policy gradient (REINFORCE) method 331 3.

REINFORCE with baseline method 335 4. Actor-Critic method 338 [ iii ] Table of Contents 5. Advantage Actor-Critic (A2C) method 341 6. Policy Gradient methods using Keras 344 7.

Performance evaluation of policy gradient methods 360 8. References 367 Chapter 11: Object Detection 369 1. Ground truth anchor boxes 379 4. SSD model architecture 390 6.

SSD model architecture in Keras 394 7. SSD objects in Keras 395 8. SSD model in Keras 398 9. Data generator model in Keras 402 10.

SSD model training 407 12. Non-Maximum Suppression (NMS) algorithm 408 13. SSD model validation 412 14. References 419 Chapter 12: Semantic Segmentation 421 1.

Semantic segmentation network 425 3. Semantic segmentation network in Keras 428 4. Semantic segmentation validation 435 6. References 439 Chapter 13: Unsupervised Learning Using Mutual Information 441 1.

Mutual Information and Entropy 444 3. Unsupervised learning by maximizing the Mutual Information of discrete random variables 447 4. Encoder network for unsupervised clustering 450 5. Unsupervised clustering implementation in Keras 454 6.

Validation using MNIST 464 7. U  nsupervised learning by maximizing the Mutual Information of continuous random variables 464 [ iv ] Table of Contents 8. Estimating the Mutual Information of a bivariate Gaussian 466 9. U  nsupervised clustering using continuous random variables in Keras 473 10.

References 481 Other Books You May Enjoy 483 Index487 [v] Preface In recent years, Deep Learning has made unprecedented success stories in difficult problems in vision, speech, natural language processing and understanding, and all other areas with abundance of data. The interest in this field from companies, universities, governments, and research organizations has accelerated the advances in the field. This book covers select important topics in Deep Learning with three new chapters, Object Detection, Semantic Segmentation, and Unsupervised Learning using Mutual Information. The advanced theories are explained by giving a background of the principles, digging into the intuition behind the concepts, implementing the equations and algorithms using Keras, and examining the results.

Artificial Intelligence (AI), as it stands today, is still far from being a well- understood field. Deep Learning (DL), as a sub field of AI, is in the same position. While it is far from being a mature field, many real-world applications such as vision-based detection and recognition, autonomous navigation, product recommendation, speech recognition and synthesis, energy conservation, drug discovery, finance, and marketing are already using DL algorithms. Many more applications will be discovered and built.

The aim of this book is to explain advanced concepts, give sample implementations, and let the readers as experts in their field identify the target applications. A field that is not completely mature is a double-edged sword. On one edge, it offers a lot of opportunities for discovery and exploitation. There are many unsolved problems in deep learning.

This translates into opportunities to be the first to market – be that in product development, publication, or recognition. The other edge is it would be difficult to trust a not-fully-understood field in a mission-critical environment. We can safely say that if asked, very few machine learning engineers will ride an auto-pilot plane controlled by a deep learning system. There is a lot of work to be done to gain this level of trust.

The advanced concepts that are discussed in this book have a high chance of playing a major role as the foundation in gaining this level of trust. [ vii ] Preface No DL book will be able to completely cover the whole field. This book is not an exception. Given time and space, we could have touched interesting areas like natural language processing and understanding, speech synthesis, automated machine learning (AutoML), graph neural networks (GNNs), Bayesian deep learning, and many others.

However, this book believes in choosing and explaining select areas so that readers can take up other fields that are not covered. As the reader who is about to embark upon reading this book, keep in mind that you chose an area that is exciting and can have a huge impact on society. We are fortunate to have a job that we look forward to working on as we wake up in the morning. Who this book is for The book is intended for machine learning engineers and students who would like to gain a better understanding of advanced topics in deep learning.

Each discussion is supplemented with code implementation in Keras. In particular, the Keras API of TensorFlow 2 or simply tf.keras is what's used This book is for readers who would like to understand how to translate theory into working code implementation in Keras. Apart from understanding theories, code implementation is usually one of the difficult tasks in applying machine learning to real-world problems.