Chương 1: Tổng quan luận văn: o_ Giới thiệu luận văn, đề tài nghiên cứu, động lực, mục tiêu, phạm vi, cách thức nghiên cứu, ý nghĩa khoa học và thực tiễn của luận văn e Chương 2: Cơ sở lý luận và các nghiên cứu trước đó o Trinh bay co Sở lý thuyết về các kiến thức nèn táng ứng dụng vào nghiên cứu và khái quát các nghiên cứu liên quan tai trong va ngoai nước. e Chương 3: Đề xuất mô hình Deep Learning o_ Giới thiệu về phương pháp xây dựng mô hình đề xuất và phương pháp đánh giá mô hình đã xây dựng e© Chương 4: Tiến hành nghiên cứu thực nghiệm và đánh giá tổng quát 16 o_ Giới thiệu tông quan quá trình tiến hành thực nghiệm, chỉ tiết từng giai đoạn tiên hành, kết quả đánh giá và xây dựng ứng dụng. e Chương 5: Kết luận và hướng phát triển tương lai ©_ Khái quát lại một số thành tựu đạt được và hướng phát triển tương lai sau nay. e TAI LIEU THAM KHẢO 17 CHƯƠNG 2: CƠ SỞ LÝ LUẬN VÀ CÁC NGHIÊN CỨU TRƯỚC ĐÓ Trong phần này, bài viết sẽ nêu lên cái nhìn tống quan cơ sở lý luận và các nội dung tương đồng săn có hiện nay liên quan đến luận văn nghiên cứu.
Natural Language Processing Nhu cầu được giao tiếp là điều tất yếu trong xã hội ngày nay, do đó tạo ra một Số lượng lớn nguồn dữ liệu văn bản mỗi ngày. Lượng thông tin này rất lớn không những từ mạng xã hội, các phương tiện truyền thông, các tài liệu nghiên cứu khoa học đến những đánh giá phản hồi hàng hóa tiêu dùng. Tuy nhiên nó chưa tận dụng hết giá trị tiềm năng, máy tính giúp con người có thể khai thác nhiều giá trị hơn từ những dữ liệu, vì vậy đề việc hỗ trợ máy tính hiểu được những thông tin đó là rat can thiệt. 1 Natural Language Processing -NLP Xử lý ngôn ngữ tự nhiên (NLP) là một hướng phát triển vô cùng quan trong của trí tuệ nhân tạo (Artificial Intelligence).
Từ sự thịnh hành của giao tiếp người và máy cũng như sự tiến bộ vượt trội, các giả pháp đám mây là động lực thúc đây các ứng 18 dụng NLP ra đời. NLP với nhiệm vụ tiếp nhận và phân tích một lượng lớn thông tin đề mô phỏng các tương tác giữa con người theo cách như con người. Word Embedding Word Embedding là một phương thức hữu hiệu trong việc biếu diễn từ, mà theo đó mỗi từ sẽ được đại diện bằng một vector só chứa về ý nghĩa của từ ngữ đó. Điều này cho phép việc xử lý từ vựng trở nên hiệu quả trên máy tính.
Có nhiều kỹ thuật Word Embedding đã được đề xuất như Word2vec, GloVe. Tuy nhiên, những phương thức này đều cần tuân thủ hai điều kiện sau: e Mai tt chỉ có một biểu diễn duy nhất, có nghĩa là hai từ khác nhau sẽ được biểu diễn băng hai vector khác nhau. © Hai tir co y nghĩa tương đương sẽ được biêu diễn bằng hai vector tương tự hoặc gần nhau trong không gian vector, có nghĩa là khoảng cách giữa chúng Sẽ nhỏ.1 Mã hóa one - hot Mã hóa one — hot (OH) được biêu diễn đưới dạng vector nhị phân. Mỗi giá trị hạng mục được mã hóa bằng một vector chỉ có một chiều duy nhất bang có giá trị bằng 1, còn các chiều còn lại bằng 0, vector này còn được gọi là “ OH vector”.
Số chiều của OH vector bằng số từ. Mã hoá one-hot là một phương pháp đề chuyên đôi từng từ ở một từ điển thành một vectơ số, và nó dùng nhiều trong NLP và DL., thường dùng cho trường hợp từ vựng có kích thước nhỏ. Kỹ thuật này đảm bảo rằng mỗi từ khác nhau sẽ có một vectơ khác nhau. Tuy nhiên, khi sử dụng one-hot vector cần chú ý các nội dung sau: e©_ Khi làm việc với từ vựng lớn, kỹ thuật này dẫn đến các vectơ thừa với số chiều lớn, và gần như tất cả các chiều của vectơ có giá trị 0.
e _ Kỹ thuật này không thê biểu diễn sự khác nhau về mặt ý nghĩa giữa các từ. Hai vectơ one-hot bắt kỳ luôn có khoảng cách.2 Word2Vec Năm 2013, một nhóm các nhà nghiên cứu do Tomas Mikolov dẫn đầu đã công bố công khai mô hình Word2vec. Đây là mô hình phố biến dùng đề biêu diễn từ thành những vector từ trong không gian vector với số chiéu thap hon trong tap dataset. Có 2 cách thức đề thiết lập mô hình trên: e Skip-gram: Thông qua các từ đích biết trước dự đoán những từ ngữ cảnh e Continuous Bags Words (CBOVWW: Dự đoán từ đích nếu biết trước những từ ngữ cảnh input projection output input projection output W› O W-: W-+ O W- PJ we wl by Ko W: W; We O We CBOW Skip-gram Hình 2.
2 Mô hình Skip-gram và CBOWV 2. Machine Learning Machine Learning (ML) la mot lĩnh vực của AI, trải qua các thời kỳ phát triển, ML tập trung vào việc phát triển thuật toán và mô hình giúp máy tính có thê học từ data và tự động cải thiện hiệu suất trong trình giải quyết các nhiệm vụ được giao 20 ARTIFICIAL INTELLIGENCE MACHINE LEARNING Daa LEARNING oats.A) DK) SK 1950's 1960's 1970's 1980's 1990's 2000's 2010's Hinh 2. 3 Cac thoi diém phat triém Al, ML, DL Một số ứng dụng hiện tại của ML duoc ding phé bién ngay nay nhw: © Đưa ra đề cử sản pham: o_ Các công ty như Amazon và Netflix sử dụng ML để phân tích dữ liệu về hành vi mua hàng và xem phim của người dùng. o_ Dựa trên thông tin này, hệ thống ML đề xuất những nội dung phù hop với Sở thích cá nhân của người dùng, tăng trải nghiệm và tăng khả năng tiếp thị.
e Dich may: o_ Công nghệ dich may str dung ML để tự động dịch văn bản từ một ngôn ngữ này sang ngôn ngữ khác. o_ Hệ thống ML học từ các bộ data đã được dịch trước đó và dùng các mô hình mục đích cho việc dự đoán và tạo ra các bản dịch chính xác. e Xe tự lái: 21 o_ Các công ty / tập đoàn lớn trên thế giới như Waymo, Tesla,. Ứng dụng Machine Learning sử dụng trong việc phát triển các thuật toán đề xe tự lái có thê nhận diện và phản ứng với môi trường xung quanh.
o_ Hệ thống ML dựa trên data huấn luyện có thẻ hiểu từ data cảm biến như radar, camera va lidar dé tu động lái xe, nhận biết biển báo giao thông, dự đoán hành vi người lái khác và đưa ra quyết định an toàn Self-Driving Car / Phanh khan cdo Nhận dạng người di bổ. Tránh dụng độ Quan sát Hồ trợ ddxe Canh bao va cham Long-Range Rodor Cảnh báo vạch kẻ LIDAR dường bộ Quan sát xung quanh Camera Short-Medium Range Rador Ultrasonic Sensor Hình 2. 4 Hình ảnh minh họa xe tự lái sử dụng hệ thống Machine Learnir Phân tích tín hiệu y té: o_ Được dùng cho phân tích, chân đoán các tín hiệu y tế như hình ảnh chụp X-quang, dữ liệu ECG hoặc dữ liệu gen. o_ Khả năng học từ thông tin y tế và cung cấp dự đoán những bệnh lý, hỗ trợ việc chuẩn đoán và điều trị.
Nhận dạng giọng nói: o_ Được dùng chủ yếu trong các ứng dụng nhận dạng giọng nói như virtual assistant: Siri, Cortana, Alexa, Google Assistant, Bixby. 22 o Hệ thống học từ dữ liệu giọng nói và nhận diện và hiểu các lệnh và yêu cầu từ người dùng. “Hey Siri” “Hey Cortana” “Alexa” “OK Google” “Hi Bixby” Oe Hình 2. 5 Top virtual assistant phô biến nhát hiện nay Bên cạnh đó, ML còn Sử dụng trên da dạng lĩnh vực khác ví dụ: Lĩnh vực quảng cáo, dự báo thời tiết, tài chính.
Dựa trên các cách thức xử lý vấn đề giải khác nhau của từng bài toán khác nhau có thê chia Machine Learning thành bốn loại chính: e Học có giam sat (Supervised Learning) e Hoc khéng giam sat (Unsupervised Learning) e Hoc ban giam sat (Semi-supervised Learning) se Học tang cuong (Reinforcement Learning) Supervised Unsupervised Semi-Supervised Reinforcement Machine Learning Machine Learning Learning Learning Hình 2. 6 Bốn phương pháp chính của Machine Learning Trong đó: se - Học có giám sát (Supervised Learning): 23 Supervised Machine Learning ¬ Labelled Data Output for 7 bà ® Strawberry 6 @ (Be) é Apple _ ® ®_S‹. 7 Ung dung Supervised Learning Vi o_ Mô hình học từ một tập dữ liệu huần luyện mà đã được gán nhãn trước, mỗi mẫu data trong tập huấn luyện sẽ có data đầu vào (input) và một nhãn (label) tương ứng. Supervised Learning hướng tới mục tiêu là đạt được nhiệm vụ dự đoán chính xác cho tập data mới có Input mà nó chưa gặp trước đó dựa vào mô hình được thiết lập sẵn.
Trong suốt quá trình huần luyện của học có giám sát sẽ tiền hành tìm hiểu mối quan hệ giữa các đặc trưng của dữ liệu mput và nhãn label tương ứng. Ví dụ khác như tập dữ liệu chứa các thông tin hình các ký tự số viết tay được gán nhãn rõ con số tương ứng. Sau khi hoàn tất quá trình huấn luyện, mô hình có khả năng nhận biết các hình đáng và cụm điểm ảnh tương ứng với các ký tự số như nhận biết chính xác các số dễ nhằm lẫn như cặp Số 9 và 4 hoặc là 8 va 6. Ở học có giảm sát có các thuật toán tiêu biểu như: Decision Trees, Support vector machines, linear regression,.
được dùng trong các lĩnh vực, phân loại (Classification), dự đoán (Prediction), nhận dạng mẫu (recognition) và nhiều lĩnh vực khác nữa. Hoc khéng giam sat (Unsupervised Learning): 24 ©_ Khác với học có giám sát, mô hình học không giám sát học từ một tập dữ liệu huấn luyện mà không được gán nhãn hoặc phân loại. Mô hình học không giám sát không được cung cấp thông tin về output đầu ra mong muốn mà chỉ có nhiệm vụ tìm ra các mô hình hoặc cấu trúc an trong dữ liệu. Unsupervised Learning Supervised Learning ® ®" e@ @ a ; l4 e @® se ® @ = @> 8 Hinh 2.
8 So sanh Unsupervised Learning voi Supervised Learnin o Muc tiéu cia học không giám sát phô biến là khám phá thông tin ân, phân nhom (clustering) hoac giam sé chiều dữ liệu (dimensinality reduction). ©_ Các thuật toán phố biến trong học không giám sát như: Phân cụm K- means (K-means clustering), (Agglomerative clustering), Gaussian Mixture Models (GMM), Principal Component Analysis (PCA), va t- SNE (t-Distributed Stochastic Neighbor Embedding). o Ung dụng của phương pháp: s*' Phân cụm: Nhóm các tài liệu tương tự nhau trong khai thác văn bản, phân loại khách hàng dựa trên Sở thích và nhu cầu mua hàng và tô chức bộ dữ liệu hình ảnh. % Giảm kích thước: Giảm số lượng tính năng trong dữ liệu nhiều chiều, trực quan hóa các bộ dữ liệu phức tạp và nén hình ảnh mà không làm mất thông tin quan trong.