Chương 1: Tống quan luận văn: o Giới thiệu luận văn, đề tài nghiên cứu, động lực, mục tiêu, phạm vi, cách thức nghiên cứu, ý nghĩa khoa học và thực tiễn của luận văn e Chương 2: Cơ sở lý luận và các nghiên cứu trước đó o Trình bày cơ sở lý thuyết về các kiến thức nền tảng ứng dụng vào nghiên cứu và khái quát các nghiên cứu liên quan tại trong và ngoài nước. e Chương 3: Dé xuất mô hình Deep Learning o Giới thiệu về phương pháp xây dựng mô hình đề xuất và phương pháp đánh giá mô hình đã xây dựng e Chương 4: Tiến hành nghiên cứu thực nghiệm và đánh giá tổng quát o Giới thiệu tổng quan quá trình tiến hành thực nghiệm, chỉ tiết từng giai đoạn tiến hành, kết quả đánh giá và xây dựng ứng dụng. 16 e Chương 5: Kết luận và hướng phát triển tương lai o Khái quát lại một số thành tựu đạt được và hướng phát triển tương lai Sau này. e TÀI LIỆU THAM KHAO 17 CHƯƠNG 2: CƠ SỞ LÝ LUẬN VÀ CÁC NGHIÊN CỨU TRƯỚC ĐÓ Trong phân này, bài viét sẽ nêu lên cái nhìn tông quan cơ sở lý luận và các nội dung tương đồng sẵn có hiện nay liên quan đến luận văn nghiên cứu.
Natural Language Processing Nhu cầu được giao tiếp là điều tất yếu trong xã hội ngày nay, do đó tạo ra một số lượng lớn nguồn dit liệu văn bản mỗi ngày. Lượng thông tin này rất lớn không những từ mạng xã hội, các phương tiện truyền thông, các tài liệu nghiên cứu khoa học đến những đánh giá phản hồi hàng hóa tiêu dùng,. Tuy nhiên nó chưa tận dụng hết giá trị tiềm năng, máy tính giúp con người có thê khai thác nhiều giá trị hơn từ những đữ liệu, vì vậy để việc hỗ trợ máy tính hiểu được những thông tin đó là rất cần thiết. Xử lý ngôn ngữ tự nhiên (NLP) là một hướng phát triển vô cùng quan trọng của trí tuệ nhân tạo (Artificial Intelligence).
Từ sự thịnh hành của giao tiếp người và máy cũng như sự tiến bộ vượt trội, các giải pháp đám mây là động lực thúc day các ứng dụng NLP ra đời. NLP với nhiệm vụ tiếp nhận và phân tích một lượng lớn thông tin đê mô phỏng các tương tác giữa con người theo cách như con người. Word Embedding Word Embedding là một phương thức hữu hiệu trong việc biéu diễn từ, mà theo đó mỗi từ sẽ được đại diện bằng một vector số chứa về ý nghĩa của từ ngữ đó. Điều này cho phép việc xử lý từ vựng trở nên hiệu quả trên máy tính.
Có nhiều kỹ thuật Word Embedding đã được dé xuất như Word2vec, GloVe,. Tuy nhiên, những phương thức này đều cần tuân thủ hai điều kiện sau: e Mỗi từ chỉ có một biểu diễn duy nhất, có nghĩa là hai từ khác nhau sẽ được biểu diễn băng hai vector khác nhau. e_ Hai từ có ý nghĩa tương đương sẽ được biéu diễn bằng hai vector tương tự hoặc gần nhau trong không gian vector, có nghĩa là khoảng cách giữa chúng sẽ nhỏ.1 Mã hóa one - hot Mã hóa one — hot (OH) được biéu diễn dưới dạng vector nhị phân. Mỗi giá trị hạng mục được mã hóa băng một vector chỉ có một chiêu duy nhât băng có giá trị băng 1, còn các chiêu còn lại bang 0, vector nay còn được gọi là “ OH vector”.
Sô chiêu của OH vector băng sô từ. Mã hoá one-hot là một phương pháp dé chuyền đồi từng từ ở một từ điển thành một vecto số, và nó dùng nhiều trong NLP va DL , thường dùng cho trường hop từ vựng có kích thước nhỏ. Kỹ thuật này đảm bảo rằng mỗi từ khác nhau sẽ có một vectơ khác nhau. Tuy nhiên, khi sử dụng one-hot vector cân chú ý các nội dung sau: e Khi làm việc với từ vựng lớn, kỹ thuật này dẫn đến các vectơ thừa với số chiêu lớn, và gân như tât cả các chiêu của vectơ có giá trị 0.
e Ky thuật này không thé biểu diễn sự khác nhau về mặt ý nghĩa giữa các từ. Hai vectơ one-hot bất kỳ luôn có khoảng cách.2 Word2Vec Năm 2013, một nhóm các nhà nghiên cứu do Tomas Mikolov dẫn đầu đã công bố công khai mô hình Word2vec. Đây là mô hình phé biến dùng dé biểu diễn từ thành những vector từ trong không gian vector với số chiều thấp hơn trong tập dataset. Có 2 cách thức dé thiết lập mô hình trên: e Skip-gram: Thông qua các từ đích biết trước dự đoán những từ ngữ cảnh e Continuous Bags Words (CBOW): Dự đoán từ dich nếu biết trước những từ ngữ cảnh input projection output input projection output W-.
Wo Wo O W: Wi We O We CBOW Skip-gram Hình 2. 2 Mô hình Skip-gram và CBOW 2. Machine Learning Machine Learning (ML) là một lĩnh vực của AI, trải qua các thời kỳ phát triển, ML tập trung vào việc phát triển thuật toán và mô hình giúp máy tính có thể học từ data và tự động cải thiện hiệu suất trong trình giải quyết các nhiệm vụ được giao 20 MACHINE LEARNING DEEP Sử `⁄ LEARNING _= 1950's 1960's 1970's 1980's 1990's 2000's 2010's Hình 2. 3 Các thời điểm phát triển AI, ML, DL Một số ứng dụng hiện tại của ML được dùng phô biến ngày nay như: e Đưa ra đề cử sản phẩm: o Các công ty như Amazon va Netflix sử dung ML dé phân tích dit liệu về hành vi mua hàng và xem phim của người dùng.
o Dựa trên thông tin này, hệ thống ML đề xuất những nội dung phù hợp với sở thích cá nhân của người dùng, tăng trải nghiệm và tăng khả năng tiếp thị. e Dich máy: o Công nghệ dich máy sử dung ML dé tu động dich van ban từ một ngôn ngữ này sang ngôn ngữ khác. o Hệ thống ML học từ các bộ data đã được dịch trước đó và dùng các mô hình mục đích cho việc dự đoán và tạo ra các bản dịch chính xác. e Xe tự lái: o_ Các công ty /tập đoàn lớn trên thé giới như Waymo, Tesla,.
Ứng dụng Machine Learning sử dụng trong việc phát triển các thuật toán để xe tự lái có thé nhận diện và phan ứng với môi trường xung quanh. 21 o Hệ thống ML dựa trên data huấn luyện có thể hiểu từ data cảm biến như radar, camera và lidar để tự động lái xe, nhận biết biển báo giao thông, dự đoán hành vi người lái khác và đưa ra quyết định an toàn Phanh khẩn cdo Nhân dạng người di bộ Tránh dụng đệ Cảnh báo va chạm F we Redor ` Cảnh báo vạch kẻ .- - p đường bộ ` Short-Medium Range Radar Ultrasonic Sensor Hình 2. 4 Hình ảnh minh họa xe tự lái sử dụng hệ thống Machine Learning e Phân tích tín hiệu y tế: o Được dùng cho phân tích, chân đoán các tín hiệu y tế như hình ảnh chụp X-quang, dữ ligu ECG hoặc dữ liệu gen. o_ Khả năng học từ thông tin y tế và cung cấp dự đoán những bệnh lý, hỗ trợ việc chân đoán và điều trị.
e Nhận dạng giọng nói: o Được dùng chủ yếu trong các ứng dụng nhận dạng giọng nói như virtual assistant: Siri, Cortana, Alexa, Google Assistant, Bixby. 22 o Hệ thông học từ dữ liệu giọng nói và nhận diện và hiéu các lệnh và yêu câu từ người dùng. “Hey Siri” “Hey Cortana” “Alexa” “OK Google” “Hi Bixby” Bên cạnh đó, ML còn sử dụng trên đa dạng lĩnh vực khác ví dụ: Lĩnh vực quảng cáo, dự báo thời tiết, tài chính,. Dựa trên các cách thức xử lý vân đê giải khác nhau của từng bài toán khác nhau có thê chia Machine Learning thành bốn loại chính: e Học có giám sat (Supervised Learning) e Hoc không giám sat (Unsupervised Learning) e Hoc bán giám sát (Semi-supervised Learning) e Hoc tăng cường (Reinforcement Learning) Supervised Unsupervised Semi-Supervised Reinforcement Machine Learning Machine Learning Learning Learning Hình 2.
6 Bốn phương pháp chính của Machine Learning Trong đó: e Học có giám sat (Supervised Learning): o Mô hình hoc từ một tập dữ liệu huấn luyện mà đã được gán nhãn trước, mỗi mẫu data trong tập huấn luyện sẽ có data đầu vào (input) và một 23 Supervised Machine Learning Output for future inputs iis ® Strawberry awbecry G Apple Machine Learning Model Hinh 2. 7 Ung dung Supervised Learning nhãn (label) tương tng. Supervised Learning hướng tới mục tiêu là dat được nhiệm vụ dự đoán chính xác cho tập data mới có input ma nó chưa gặp trước đó dựa vào mô hình được thiết lập sẵn. Trong suốt quá trình huấn luyện của học có giám sát sẽ tiền hành tìm hiểu mối quan hệ giữa các đặc trưng cua dữ liệu input và nhãn label tương ứng.
Ví dụ khác như tập dữ liệu chứa các thông tin hình các ký tự số viết tay được gán nhãn rõ con số tương ứng. Sau khi hoàn tất quá trình huấn luyện, mô hình có khả năng nhận biết các hình dáng và cụm điểm ảnh tương ứng với các ký tự số như nhận biết chính xác các số dễ nhằm lẫn như cặp số 9 và 4 hoặc là § và 6. Ở học có giám sát có các thuật toán tiêu biểu như: Decision Trees, Support vector machines, linear regression,. được dùng trong các lĩnh vực, phân loại (Classification), dự đoán (Prediction), nhận dạng mẫu (recognition) và nhiêu lĩnh vực khác nữa.
Học không giám sát (Unsupervised Learning): 24 o Khác với học có giám sát, mô hình học không giám sát học từ một tập dữ liệu huấn luyện mà không được gán nhãn hoặc phân loại. Mô hình học không giám sát không được cung cấp thông tin về output đầu ra mong muốn mà chỉ có nhiệm vụ tìm ra các mô hình hoặc cấu trúc ân trong dữ liệu. Unsupervised Learning Supervised Learning o Mục tiêu của hoc không giám sát phố biến là khám phá thông tin ẩn, phân nhóm (clustering) hoặc giảm số chiều dữ liệu (dimensionality reduction). o Các thuật toán phô biến trong học không giám sát như: Phan cụm K- means (K-means clustering), (Agglomerative clustering), Gaussian Mixture Models (GMM), Principal Component Analysis (PCA), va t- SNE (t-Distributed Stochastic Neighbor Embedding).
o Ứng dụng của phương pháp: s* Phân cụm: Nhóm các tài liệu tương tự nhau trong khai thác van bản, phân loại khách hàng dựa trên sở thích và nhu cầu mua hàng và tô chức bộ dữ liệu hình ảnh. s* Giảm kích thước: Giảm số lượng tính năng trong dit liệu nhiều chiều, trực quan hóa các bộ dữ liệu phức tạp và nén hình ảnh mà không làm mất thông tin quan trọng. Học bán giám sát ( Semi-supervised Learning ) 25 o_ Sử dụng các thuật toán kết hợp các yếu tố của hai kỹ thuật học có giám sát và không giám sát. Mô hình sử dụng tập dữ liệu huấn luyện mà có data gan nhãn va data không có gan nhãn.