Khóa luận chẩn đoán bệnh phổi qua X-Quang với Deep Learning - HCMUTE

Khóa luận nghiên cứu ứng dụng xử lý ảnh và học sâu với các mô hình VGG16, MobileNet, DenseNet121 để chẩn đoán bệnh phổi qua ảnh X-Quang chính xác

• Tác giả: Nguyễn Lê Điền
• Người hướng dẫn: Trần Tiến Đức
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Chẩn đoán một số bệnh phổi sử dụng xử lý ảnh và học sâu
• Loại tài liệu: khóa luận tốt nghiệp kỹ sư cntt
• Năm xuất bản: 2016 - 2020
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Cách chẩn đoán bệnh phổi bằng xử lý ảnh và học sâu hiệu quả

Chẩn đoán bệnh phổi bằng xử lý ảnh và học sâu đang trở thành xu hướng nổi bật trong y học hiện đại. Phương pháp này kết hợp xử lý ảnh y tế với mô hình học sâu để phát hiện sớm các bất thường trên phổi từ hình ảnh X-quang hoặc CT. Theo nghiên cứu của Nguyễn Lê Điền và Nguyễn Trường Tráng (2020) tại Trường Đại học Sư phạm Kỹ thuật TP.HCM, việc ứng dụng mạng nơ-ron tích chập (CNN) giúp phân loại chính xác các bệnh như viêm phổi, lao phổi và ung thư phổi với độ tin cậy cao. Học sâu cho phép hệ thống tự động trích xuất đặc trưng hình ảnh mà không cần can thiệp thủ công, từ đó nâng cao hiệu suất chẩn đoán. Việc tích hợp Grad-CAM còn hỗ trợ trực quan hóa vùng ảnh có ảnh hưởng lớn đến quyết định chẩn đoán, tăng tính minh bạch cho mô hình. Với sự phát triển nhanh chóng của trí tuệ nhân tạo trong y tế, phương pháp này hứa hẹn mang lại giải pháp hỗ trợ bác sĩ trong môi trường lâm sàng, đặc biệt tại các cơ sở y tế thiếu chuyên gia chẩn đoán hình ảnh.

1.1. Vai trò của xử lý ảnh trong chẩn đoán bệnh phổi

Xử lý ảnh y tế là bước nền tảng để chuẩn hóa và làm nổi bật vùng phổi trong hình ảnh X-quang. Các kỹ thuật như cắt vùng ROI (Region of Interest), cân bằng histogram và lọc nhiễu giúp cải thiện chất lượng đầu vào cho mô hình học sâu. Việc xác định chính xác vùng phổi giúp loại bỏ nhiễu từ các cơ quan lân cận, từ đó tăng độ chính xác của hệ thống chẩn đoán. Trong nghiên cứu của nhóm sinh viên ĐH Sư phạm Kỹ thuật TP.HCM, bước tiền xử lý này đóng vai trò then chốt trong việc nâng cao hiệu suất mô hình.

1.2. Ứng dụng học sâu trong phân tích hình ảnh phổi

Học sâu, đặc biệt là CNN, cho phép hệ thống tự học các đặc trưng hình ảnh phức tạp từ dữ liệu huấn luyện. Các kiến trúc như VGG16, MobileNetV2 và DenseNet được thử nghiệm để phân loại bệnh phổi. Mô hình không chỉ phát hiện sự hiện diện của bệnh mà còn có thể phân biệt giữa các loại bệnh khác nhau. Độ chính xác đạt được trong nghiên cứu đạt khoảng 85–90%, tùy thuộc vào chất lượng dữ liệu và kiến trúc mạng. Điều này cho thấy tiềm năng lớn của trí tuệ nhân tạo trong chẩn đoán hình ảnh y tế.

II. Thách thức khi chẩn đoán bệnh phổi bằng học sâu

Mặc dù tiềm năng lớn, chẩn đoán bệnh phổi bằng xử lý ảnh và học sâu vẫn đối mặt với nhiều thách thức. Một trong những rào cản chính là thiếu dữ liệu y tế chất lượng cao và được gán nhãn chính xác. Dữ liệu hình ảnh X-quang thường không đồng nhất về độ phân giải, góc chụp và thiết bị thu nhận. Ngoài ra, thiếu kiến thức y khoa chuyên sâu ở nhóm phát triển mô hình khiến việc giải thích kết quả chẩn đoán trở nên khó khăn. Nghiên cứu của Nguyễn Lê Điền và cộng sự (2020) cũng chỉ ra rằng mô hình hiện tại mới chỉ dừng ở mức thử nghiệm, chưa được triển khai thực tế trong môi trường lâm sàng. Một thách thức khác là tính minh bạch và khả năng giải thích của mô hình học sâu – điều cực kỳ quan trọng trong y học. Bác sĩ cần hiểu rõ lý do vì sao mô hình đưa ra chẩn đoán cụ thể để tin tưởng và áp dụng vào thực tiễn.

2.1. Hạn chế về dữ liệu huấn luyện và gán nhãn

Dữ liệu hình ảnh y tế cho bệnh phổi thường khan hiếm và khó thu thập do yêu cầu bảo mật và đạo đức. Việc gán nhãn chính xác đòi hỏi sự can thiệp của bác sĩ chuyên khoa, tốn kém thời gian và chi phí. Trong nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM, nhóm tác giả chỉ có thể tiếp cận dữ liệu từ các nguồn công cộng như ChestX-ray14, dẫn đến hạn chế về số lượng và độ đa dạng bệnh lý. Điều này ảnh hưởng trực tiếp đến khả năng tổng quát hóa của mô hình.

2.2. Thiếu tích hợp kiến thức y học vào mô hình AI

Các mô hình học sâu hiện tại chủ yếu dựa trên đặc trưng hình ảnh mà không lồng ghép kiến thức y học lâm sàng. Điều này khiến hệ thống khó phân biệt các dấu hiệu tương đồng giữa các bệnh khác nhau, ví dụ như viêm phổi và phù phổi. Việc kết hợp hệ chuyên gia y tế với mô hình AI là hướng đi cần thiết để nâng cao độ chính xác và độ tin cậy trong chẩn đoán.

III. Phương pháp chẩn đoán bệnh phổi bằng CNN và Grad CAM

Phương pháp chẩn đoán bệnh phổi bằng xử lý ảnh và học sâu hiệu quả nhất hiện nay dựa trên mạng nơ-ron tích chập (CNN) kết hợp với kỹ thuật Grad-CAM. CNN trích xuất đặc trưng hình ảnh tự động, trong khi Grad-CAM giúp xác định vùng ảnh có ảnh hưởng lớn đến quyết định phân lớp. Trong nghiên cứu của Nguyễn Lê Điền và Nguyễn Trường Tráng (2020), nhóm đã thử nghiệm nhiều kiến trúc CNN như VGG16, MobileNetV2 và DenseNet trên tập dữ liệu hình ảnh X-quang phổi. Kết quả cho thấy DenseNet đạt độ chính xác cao nhất nhờ khả năng tái sử dụng đặc trưng qua các lớp. Đồng thời, Grad-CAM được sử dụng để trực quan hóa vùng tổn thương, giúp bác sĩ xác minh tính hợp lý của chẩn đoán. Đây là bước tiến quan trọng trong việc xây dựng hệ thống AI hỗ trợ chẩn đoán y tế có thể giải thích được.

3.1. So sánh hiệu suất các kiến trúc CNN trong chẩn đoán

Các kiến trúc CNN như VGG16, MobileNetV2 và DenseNet được đánh giá dựa trên độ chính xác, tốc độ và khả năng tổng quát. VGG16 cho kết quả ổn định nhưng yêu cầu tài nguyên cao. MobileNetV2 nhẹ và nhanh, phù hợp triển khai trên thiết bị di động. DenseNet vượt trội nhờ kết nối dày đặc giữa các lớp, giúp giảm mất mát thông tin và cải thiện độ chính xác. Trong nghiên cứu, DenseNet đạt độ chính xác khoảng 89% trên tập kiểm thử.

3.2. Trực quan hóa chẩn đoán bằng Grad CAM

Grad-CAM (Gradient-weighted Class Activation Mapping) là kỹ thuật giúp hiểu được mô hình học sâu đang “nhìn” vào đâu khi đưa ra quyết định. Bằng cách tính gradient của lớp phân lớp theo đặc trưng ở lớp cuối cùng, Grad-CAM tạo ra bản đồ nhiệt cho thấy vùng ảnh quan trọng. Trong chẩn đoán bệnh phổi, bản đồ này thường trùng với vùng tổn thương thực tế, giúp bác sĩ tin tưởng hơn vào kết quả AI.

IV. Ứng dụng thực tiễn của AI trong chẩn đoán bệnh phổi

Ứng dụng chẩn đoán bệnh phổi bằng xử lý ảnh và học sâu đang dần được triển khai trong thực tế, đặc biệt tại các quốc gia đang phát triển. Hệ thống AI có thể hỗ trợ bác sĩ chẩn đoán hình ảnh trong việc sàng lọc hàng loạt ca X-quang, giảm tải công việc và phát hiện sớm bệnh. Tại Việt Nam, nghiên cứu của Trường Đại học Sư phạm Kỹ thuật TP.HCM mở ra hướng tiếp cận khả thi cho các giải pháp y tế thông minh. Tuy nhiên, để đưa vào lâm sàng, hệ thống cần vượt qua các rào cản về đạo đức y khoa, quy định pháp lý và tích hợp với hệ thống bệnh viện. Một số ứng dụng thương mại như Qure.ai hay Aidoc đã được FDA phê duyệt, cho thấy xu hướng toàn cầu đang chuyển dịch mạnh mẽ sang AI hỗ trợ chẩn đoán y tế.

4.1. Hỗ trợ sàng lọc bệnh phổi tại cơ sở y tế tuyến dưới

Tại các bệnh viện tuyến huyện hoặc vùng sâu vùng xa, thiếu bác sĩ chuyên khoa X-quang, hệ thống AI có thể đóng vai trò sàng lọc ban đầu. Khi phát hiện dấu hiệu bất thường, hệ thống sẽ cảnh báo để chuyển tuyến trên. Điều này giúp tối ưu hóa nguồn lực y tế và phát hiện sớm bệnh phổi, đặc biệt là ung thư phổi – bệnh có tỷ lệ tử vong cao nếu không được điều trị kịp thời.

4.2. Tích hợp AI vào hệ thống PACS và HIS

Để ứng dụng thực tế, mô hình học sâu cần được tích hợp vào hệ thống lưu trữ và truyền hình ảnh y tế (PACS) và hệ thống thông tin bệnh viện (HIS). Việc này đòi hỏi chuẩn hóa đầu vào, bảo mật dữ liệu và giao diện thân thiện với bác sĩ. Nghiên cứu của nhóm sinh viên ĐH Sư phạm Kỹ thuật TP.HCM đề xuất hướng phát triển theo mô hình cloud-based AI, cho phép truy cập từ xa và cập nhật mô hình liên tục.

V. Tương lai của chẩn đoán bệnh phổi bằng học sâu

Tương lai của chẩn đoán bệnh phổi bằng xử lý ảnh và học sâu nằm ở sự kết hợp giữa AI, dữ liệu lớn và kiến thức y học lâm sàng. Các hướng phát triển bao gồm: thu thập dữ liệu đa trung tâm, áp dụng học liên kết (federated learning) để bảo vệ quyền riêng tư, và tích hợp hệ chuyên gia y tế vào vòng huấn luyện mô hình. Nhóm nghiên cứu tại ĐH Sư phạm Kỹ thuật TP.HCM đề xuất cải thiện độ chính xác bằng cách xác định chính xác vùng phổi và mở rộng tập dữ liệu cho các bệnh như thoát vị hoành, xơ hóa phổi. Ngoài ra, việc ứng dụng mô hình chuyển đổi (transformer) trong xử lý hình ảnh y tế cũng đang được kỳ vọng sẽ vượt trội hơn CNN truyền thống. Mục tiêu cuối cùng là xây dựng hệ thống AI y tế thông minh, đáng tin cậy và có thể triển khai rộng rãi trong hệ thống y tế quốc gia.

5.1. Mở rộng dữ liệu và bệnh lý đa dạng

Để nâng cao độ chính xác, cần thu thập thêm hình ảnh X-quang cho các bệnh phổi ít phổ biến như phù phổi, xơ hóa phổi và thoát vị hoành. Việc hợp tác với nhiều bệnh viện giúp tạo ra tập dữ liệu đa dạng, phản ánh đúng thực tế lâm sàng. Điều này cũng giúp mô hình tránh thiên lệch (bias) và hoạt động tốt trên nhiều nhóm dân cư khác nhau.

5.2. Nghiên cứu mô hình học sâu thế hệ mới

Các kiến trúc học sâu mới như Vision Transformer (ViT) và ConvNeXt đang cho thấy hiệu suất vượt trội trong nhiều tác vụ thị giác máy tính. Việc thử nghiệm những mô hình này trong chẩn đoán bệnh phổi là hướng đi tiềm năng. Đồng thời, học không giám sát và học bán giám sát có thể tận dụng lượng lớn dữ liệu X-quang chưa gán nhãn, giảm phụ thuộc vào chuyên gia y khoa trong khâu chuẩn bị dữ liệu.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI Convolutional Neural Network (CNNs - Mạng nơ-ron tích chập) là một trong những mô hình Deep Learning tiên tiến. Nó giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay. Như hệ thống xử lý ảnh lớn như Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận diện khuôn mặt người dùng, phát triển xe hơi tự lái hay drone giao hàng tự động.

CNN được sử dụng nhiều trong các bài toán nhận dạng các đối tượng, vật thể trong ảnh, phân loại ảnh. Nhận thấy, việc áp dụng CNN vào y tế để giải quyết các vấn đề chẩn đoán liên quan đến hình ảnh như phim X-Quang, ảnh điện ti là hoàn toàn phù hợp và mang lại lợi ích cao. Một mô hình hoàn chỉnh, chính xác cao góp phần rất lớn trong việc giúp đỡ các bác sĩ đưa ra quyết định đúng đắn một cách nhanh chóng. Trong cuộc sống, các bệnh về phổi là những bệnh hết sức phổ biến, việc chẩn đoán các bệnh này phải được thực hiện qua các thủ tục xét nghiệm, chẩn đoán bằng phim X- Quang.

Trong đó việc khảo sát hình chụp X-Quang là bước quan trọng nhất trong việc đưa ra chẩn đoán. Vì thế, để làm cho khâu quan trọng này trở nên đơn giản hơn, nhóm quyết định xây dựng một mô hình học sâu để giải quyết vấn đề này. Và để thực hiện được, cần tìm hiểu các kiến thức liên quan mà quan trọng hơn cả là kiến thức về mạng nơ-ron tích chập. Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN Về mặt khoa học, đề tài này nghiên cứu về mảng học sâu, đó chính là thuật toán CNN, về vấn đề đã được công bố trước đó, phù hợp với việc học tập trong môi trường giáo dục.

Tuy nhiên không thể phủ nhận được hiệu quả của mô hình này với những ứng dụng quan trọng của nó như hệ thống nhận diện gương mặt của Facebook, Google. Bằng phát minh thuật toán này, việc làm cho suy nghĩ của máy tính càng gần giống như trí óc của con người. Sự phát triển của công nghệ AI nói chung và học sâu nói riêng cũng được nhận định là sẽ đe dọa đến loài người khi ngày càng máy tính càng có suy nghĩ, hiểu biết. Nhưng việc bùng nổ công nghệ này đang mang lại lợi ích lớn cho loài người, biểu 10 hiện rõ nhất là trong lĩnh vực y tế.

Đó cũng là nội dung mà nhóm sẽ trình bày trong đề tài này: chẩn đoán một số bệnh phổi bằng phim X-Quang dựa trên thuật toán CNN. MỤC TIÊU NGHIÊN CỨU Mục tiêu cuối cùng của việc nghiên cứu đề tài này là để trả lời câu hỏi làm sao để giúp cho việc chẩn đoán các bệnh về phổi bằng hình chụp X-Quang của các bác sĩ trở nên nhanh chóng, làm giảm thời gian và công sức của các bác sĩ từ đó nâng cao năng suất công việc. Hơn nữa, khi mô hình huấn luyện đạt đến mức độ chính xác cao, khâu kiểm tra kết quả chẩn đoán của con người có thể được lược bỏ hoàn toàn và được tự động hóa bởi máy móc. Từ đó, góp phần tạo ra một hệ sinh thái y khoa tiên tiến, giảm được nhiều chi phí mà mang lại độ chính xác cao, về lâu dài có thể thay thế con người trong khâu chẩn đoán bệnh.

11 Chương 2: CƠ SỞ LÝ THUYẾT Máy tính “nhìn” theo cách khác con người. Trong thế giới máy tính chỉ có những con số. Mỗi hình ảnh có thể được biểu diễn dưới dạng mảng 2 chiều những con số được gọi là các pixel. Mặc dù máy tính nhìn nhận theo cách khác con người, chúng ta vẫn có thể dạy máy tính nhận diện các mẫu như con người.

Điều quan trọng là chúng ta cần nghĩ về hình ảnh theo một cách khác đi. Cách máy tính nhìn một đối tượng Để dạy thuật toán nhận diện đối tượng trong hình ảnh, ta sử dụng một loại mạng nơ-ron nhân tạo (Artificial Neural Network): mạng nơ-ron tích chập. Tên của nó được dựa trên phép tính quan trọng được sử dụng trong mạng đó là tích chập. Mạng nơ-ron tích chập lấy cảm hứng từ não người.

Nghiên cứu trong những thập niên 1950 và 1960 của D.N Wiesel trên não của động vật đã đề xuất một mô hình mới cho việc cách mà động vật nhìn nhận thế giới. Trong báo cáo, hai ông đã diễn tả 2 loại tế bào nơ-ron trong não và cách hoạt động khác nhau: tế bào đơn giản (simple cell – S cell) và tế bào phức tạp (complex cell – C cell). Các tế bào đơn giản được kích hoạt khi nhận diện các hình dáng đơn giản như đường nằm trong một khu vực cố định và một góc cạnh của nó. Các tế bào phức tạp có vùng tiếp nhận lớn hơn và đầu ra của nó không nhạy cảm với những vị trí cố định trong vùng.

Trong thị giác, vùng tiếp nhận của một nơ-ron tương ứng với một vùng trên võng mạc nơi mà sẽ kích hoạt nơ-ron tương ứng. 12 Năm 1980, Fukushima đề xuất mô hình mạng nơ-ron có cấp bậc gọi là neocognitron. Mô hình này dựa trên khái niệm về S cell và C cell. Mạng neocognitron có thể nhận diện mẫu dựa trên việc học hình dáng của đối tượng.

Sau đó vào năm 1998, mạng nơ-ron tích chập được giới thiệu bởi Bengio, Le Cun, Bottou và Haffner. Mô hình đầu tiên của họ được gọi tên là LeNet-5. Mô hình này có thể nhận diện chữ số viết tay. 13 Chương 3: NỘI DUNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU 3.

KIẾN THỨC CƠ SỞ 3. Mạng Nơ-ron nhân tạo 3. Khái niệm về Perceptron và mạng Perceptron Perceptrons (tri giác), được hiểu trong ANN như một nơ-ron nhân tạo. Perceptrons được phát triển vào khoảng những năm 1950 - 1960 bởi nhà khoa học Frank Rosenblatt và được lấy cảm hứng từ những ý tưởng trước đó của Warren McCulloch và Walter Pitts.

Các thành phần của một Perceptron: • Các giá trị đầu vào (input) là các giá trị nhị phân 𝑥1 , 𝑥2 , 𝑥3 , … Số lượng các giá trị input có thể tùy ý, phụ thuộc vào mục đích sử dụng. • Các giá trị đầu ra (output) là một giá trị nhị phân 0 hoặc 1. Đầu ra của nơ-ron này có thể sẽ làm input cho nơ-ron khác trong cùng một mạng perceptron. • Ngưỡng 𝑡 là một tham số giống như weight, để xác định kết quả output.

• Các trọng số (weight) 𝑤1 , 𝑤2 , 𝑤3 , … được thêm vào để thể hiện tầm quan trọng của từng input đối với kết quả output. Các giá trị trọng số tham gia vào việc tính toán kết quả output bằng cách tính tổng các 𝑥𝑖 𝑤𝑖. Nếu kết quả 𝑤𝑖 𝑥𝑖 > 𝑡 thì output là 1, ngược lại, output là 0: 1, ∑ 𝑤𝑖 𝑥𝑖 > 𝑡 𝑖 𝑜𝑢𝑡𝑝𝑢𝑡 = { 0, ∑ 𝑤𝑖 𝑥𝑖 ≤ 𝑡 𝑖 Hình 3. Mô hình của perceptron Mạng perceptron (Perceptron Network - PN) gồm các perceptron được xếp thành các lớp.

Các perceptron trong lớp thứ nhất đưa ra quyết định bằng các tổng hợp các input. Các lớp tiếp theo đưa ra quyết định dựa vào kết quả output của các perceptron 14 trong lớp trước đó. Như vậy các perceptron của lớp sau sẽ đưa ra các quyết định có tính chính xác cao hơn các perceptron của lớp trước đó. Mạng perceptron Nếu gọi 𝑥 là véc-tơ các giá trị input, 𝑤 là véc-tơ các giá trị weight và đặt 𝑤 ∙ 𝑥 = ∑𝑖 𝑤𝑖 𝑥𝑖.

Chuyển 𝑡 sang vế trái và thay thế nó bằng giá trị Perceptron’s bias 𝑏 (𝑏 = −𝑡 ). Khi đó ta có: 1, 𝑤∙𝑥+𝑏 >0 𝑜𝑢𝑡𝑝𝑢𝑡 = { 0, 𝑤∙𝑥+𝑏 ≤0 Giá trị Perceptron’s bias 𝑏 có thể được biết như đại lượng đo lường khả năng perceptron được kích hoạt (tức là giá trị output của perceptron là 1). Một perceptron có bias 𝑏 càng lớn thì khả năng perceptron được kích hoạt cũng càng lớn. Ngoài cách perceptron tổng hợp các yếu tố để đưa ra kết luận, còn một cách nữa để thực hiện là sử dụng các phép toán logic AND, OR và NAND.

Hàm kích hoạt (Activation Functions - AFs) Hàm kích hoạt có chức năng đưa ra quyết định cuối cùng (tức là output) của một nơ-ron. Hàm kích hoạt cũng được biết với một tên gọi khác là hàm lan truyền. Hàm kích hoạt chia làm 2 loại sau: • Hàm kích hoạt tuyến tính • Hàm kích hoạt phi tuyến 3. Hàm kích hoạt tuyến tính Hàm kích hoạt tuyến tính biểu diễn toán học của hàm kích hoạt tuyến tính là một đường thẳng 𝑦 = 𝑓 (𝑥) = 𝑥.

Do đó, output của hàm số sẽ không được giới hạn trong một phạm vi nào hay nói cách khác, hàm kích hoạt tuyến tính có phạm vi trong khoảng (−∞, +∞).3 Đồ thị biểu diễn hàm tuyến tính 3. Hàm kích hoạt phi tuyến Không giống như hàm kích hoạt tuyến tính, các hàm phi tuyến tính có phạm vi giới hạn xác định được nên được áp dụng nhiều nào việc quyết định của nơ-ron. Các hàm kích hoạt phi tuyến tính thường sử dụng: a. Hàm kích hoạt Sigmoid (Hàm kích hoạt Logistic) Công thức hàm sigmoid: σ(z)=1/(1+e^(-z)) Công thức đạo hàm hàm sigmoid: σ^' (z)=σ(z).(1-σ(z)) Hàm sigmoid có dạng đường cong giống như hình chữ S.4 Đồ thị hàm sigmoid và đạo hàm của nó 16 Lý do hàm sigmoid được sử dụng là vì giá trị của hàm này nằm trong phạm vi khoảng (0, 1).

Và kết quả output cũng được biết như việc dự đoán xác suất của một mô hình. Hàm kích hoạt Tanh Công thức hàm tanh: tanh⁡(z)=(e^z-e^(-z))/(e^z+e^(-z)) Công thức đạo hàm hàm tanh: tanh^' (z)=1-tanh^2⁡z Hình 3.5 Đồ thị hàm tanh và đạo hàm của nó Phạm vi giá trị của hàm tanh là khoảng (-1, 1) c. Hàm kích hoạt ReLU (Rectified Linear Unit) Công thức hàm ReLU: 𝑅(𝑧) = max(0, 𝑧) 1, 𝑧 > 0 Công thức đạo hàm hàm ReLU: 𝑅′ (𝑧) = { 0, 𝑧 < 0 Hình 3.6 Đồ thị hàm ReLU d. Các hàm kích hoạt khác: Leaky ReLU, Softmax, ELU.

Đạo hàm và thuật toán giảm độ dốc (Gradient Descent) 3. Đạo hàm và khảo sát sự biến thiên của hàm số 17 Đạo hàm mô tả sự biến đổi của hàm số, hay nói cách khác, đạo hàm mô tả quỹ đạo của một hàm số hay độ dốc của nó. Để khảo sát độ dốc của một đồ thị hàm số, người ta dựa vào đạo hàm của hàm số đó. Ví dụ: 𝑑𝑓 Cho hàm số 𝑓 (𝑥) = 𝑥 2 , ta có đạo hàm 𝑓 ′ (𝑥) = = 2𝑥.

Ta có nhận xét: 𝑑𝑥 Với 𝑥 = −1, 𝑓 ′ (𝑥) = 𝑓 ′ (−1) = −2. Do 𝑓 ′ (𝑥 = −1) < 0 thì hàm số giảm. Do 𝑓 ′ (𝑥 = 1) > 0 thì hàm số tăng.1 Sự biến thiên của hàm số f(x)=x^2 𝑥 −∞ 0 +∞ −∞ +∞ 𝑓 (𝑥 ) 0 Hình 3.7 Đồ thị hàm số f(x)=x^2 3.