CHƯƠNG 1.3 Tổng quan về Tornado Framework 2.4 Tổng quan về xử lí ngôn ngữ tự nhiên (NLP) 2.5 Tổng quan về Sentiment Analysis 2.6 Tổng quan về Deep Learning và một số thuật toán nổi trội trong Deep Learning 2.2 Phát triển ứng dụng 2.1 Xác định và mô hình hóa yêu cầu 2.2 Thiết kế hệ thống 2.3 Cài đặt và kiểm thử 3.1 Kết quả đạt được 3.3 Hướng phát triển 3.4 Lời kết 20 Phần II NỘI DUNG 21 CHƯƠNG 2. CƠ SỞ LÍ THUYẾT CHƯƠNG 2: CƠ SỞ LÍ THUYẾT 2.1 TỔNG QUAN VỀ CÁC CÔNG NGHỆ SỬ DỤNG TRONG ĐỀ TÀI 2.1 FastAPI FastApi là 1 web framework dùng để xây dựng các API có hiệu năng cao, dễ làm việc, đơn giản nhưng cũng hỗ trợ tốt cho việc tạo sản phẩm. Các đặc điểm của FastAPI [1]: 1. Dựa trên các tiêu chuẩn mở - Dùng OpenAPI để tạo API, bao gồm khai báo hoạt động đường dẫn, tham số, yêu cầu nội dung, bảo mật,.
- Sử dụng mô hình dữ liệu tự động với lược đồ JSON 2. Tài liệu tự động - Tài liệu API tương tác và giao diện người dùng web thăm dò. Vì xây dựng dựa trên OpenAPI nên có nhiều tùy chọn, 2 tùy chọn được bao gồm theo mặc định: Swagger UI và Alternative API 3. Hiệu suất cao: Hiệu suất cao ngang với NodeJS và GO 4.
Code nhanh hơn, tốc độ code các features tăng khoảng 200 đến 300% 5. Ít lỗi: Do đơn giản nên giảm số lượng bugs lên tới 40% 6. Hỗ trợ code với tự động gợi í, debug cần ít thời gian hơn so với trước 7. Ngắn gọn: Giảm thiểu sự trùng lặp mã.
Nhiều tính năng từ mỗi khai báo tham số. Mạnh mẽ: hiệu năng mạnh mẽ, có thể tương tác API qua docs 2.2 Uvicorn Uvicorn là một triển khai máy chủ web ASGI cho Python. Cho đến hiện nay, ASGI đã giúp tạo ra các giao diện ứng dụng, máy chủ cấp thấp tối thiểu cho các tác vụ bất đồng bộ và có nghĩa là bây giờ chúng ta có thể bắt đầu xây dựng một bộ công cụ chung có thể sử dụng được trên tất cả các khuôn khổ không đồng bộ. Uvicorn hiện hỗ trợ HTTP / 1.3 ASGI ASGI là viết tắt của Asynchronous Server Gateway Interface.
Nó mở rộng các khả năng của WSGI (Web Server Gateway Interface), là một cách giao tiếp tiêu chuẩn giữa máy chủ web và các ứng dụng web trong python hiện nay. Với WSGI, một giao thức khá phổ biến đã giúp người lập trình không phải băng khoăn về những chi tiết trong cấu hình khi thay đổi một framework mới khi hoạt động trên nền tảng HTTP. Nhưng khi mà các định nghĩa về bất đồng bộ ra đời như Socket,. Thì WSGI sẽ không thể xử lí được các giao thức loại này vì các ứng dụng WSGI chỉ có thể nhận yêu cầu từ máy chủ và trả lại phản hồi cho máy khách / máy chủ hoặc có thể nói WSGI chỉ phù hợp để xử lý giao thức HTTP.
Các ứng dụng WSGI là đơn lẻ, có thể gọi là đồng bộ. ASGI thì có 2 thành phần khác nhau và chịu trách nhiệm 2 phần khác nhau: • Một máy chủ giao thức, kết thúc các socket và ánh xạ chúng thành các kết nối và thông báo sự kiện cho mỗi kết nối. • Một ứng dụng chạy bên trong máy chủ giao thức, được khởi tạo một lần cho mỗi kết nối và xử lý các thông báo sự kiện khi chúng xảy ra. Máy chủ lưu trữ và chạy ứng dụng bên trong nó, đồng thời chuyển các yêu cầu đến ứng dụng theo định dạng chuẩn hóa.
Tuy nhiên, không giống như WSGI, các ứng dụng là các đối tượng chấp nhận các sự kiện thay vì các tệp có thể gọi đơn giản và phải chạy dưới dạng các coroutines có khả năng xử lý các hoạt động I / O không đồng bộ.2 TỔNG QUAN VỀ SQLALCHEMY SQLAlchemy là một bộ công cụ SQL mã nguồn mở, ORM (Object Relational Mapping) sử dụng trong ngôn ngữ lập trình Python, giúp hỗ trợ việc quản lý và thao tác với cơ sở dữ liệu. SQLAlchemy cung cấp cho người dùng một ORM sử dụng mô hình thiết kế Data Mapper. Được ra lò vào năm 2006, SQLAlchemy nhanh chóng khẳng định vị thế của mình trong cộng đồng lập trình viên Python, được sử dụng rất rộng rãi bên cạnh Django ORM. SQLAlchemy được sử dụng phổ biến ở cả những công ty lớn trong ngành công nghệ như Yelp!, Reddit, Dropbox,.
Khác với mô hình Active Record, ở trong các ORM sử dụng mô hình thiết kế Data Mapper, thay vì kết nối trực tiếp mỗi object với một record trong database, ORM sẽ đóng vai trò như một lớp (layer) có chức năng tách biệt cũng như vận chuyển dữ liệu hai chiều (bidirectional transfers of data) giữa cơ sở dữ liệu và ứng dụng (application). Điều này nghĩa là các objects ở application sẽ không có thông tin gì về database hay những thuộc tính của các models. Các object được tạo ra sẽ không biết đến sự tồn tại của database và ngược lại. Sự khác biệt lớn nhất giữa hai mô hình thiết kế Active Record và Data Mapper chính là trong khi mô hình Active Record hướng tới mục đích xoá đi khoảng cách giữa application và database thì mô hình Data Mapper có vai trò giúp người sử dụng phân tách rõ ràng hơn hai bộ phận trên.3 TỔNG QUAN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN (NLP) 2.1 Định nghĩa xử lí ngôn ngữ tự nhiên Xử lí ngôn ngữ tự nhiên (natural language processing - NLP) là một nhánh của trí tuệ nhân tạo, giúp máy tính hiểu, diễn giải và vận dụng ngôn ngữ của con người.
NLP được rút ra từ nhiều lĩnh vực, bao gồm khoa học máy tính và ngôn ngữ học tính toán, nhằm mục đích lấp đầy khoảng cách giữa giao tiếp của con người và hiểu biết của máy tính.2 Tầm quan trọng của xử lí ngôn ngữ tự nhiên Xử lí ngôn ngữ tự nhiên giúp máy tính giao tiếp với chúng ta bằng chính ngôn ngữ mà chúng ta sử dụng và nhiều vấn đề khác về ngôn ngữ. Ví dụ, NLP giúp máy tính có thể đọc được văn bản, lắng nghe, diễn giải nó, đo lường tình cảm và xác định những phần nào là quan trọng. Ngày nay, máy móc có thể phân tích nhiều dữ liệu dựa trên ngôn ngữ hơn con người mà không mệt mỏi và theo một cách nhất quán, không thiên vị. Từ lượng lớn dữ liệu phi cấu trúc đáng kinh ngạc được tạo ra hàng ngày, từ hồ sơ y tế đến mạng xã hội, tự động hóa sẽ rất quan trọng để 24 CHƯƠNG 2.
CƠ SỞ LÍ THUYẾT phân tích đầy đủ dữ liệu văn bản và giọng nó. Ngôn ngữ của con người thì phức tạp và đa dạng một cách đáng kinh ngạc. Chúng ta có thể thể hiện bản thân theo những cách vô hạn, cả bằng lời nói và văn bản. Không chỉ có hàng trăm ngôn ngữ và phương ngữ, mà bên trong mỗi ngôn ngữ là tập hợp các quy tắc ngữ pháp và cú pháp, thuật ngữ và tiếng lóng.
Khi chúng ta viết, chúng ta thường viết sai chính tả hoặc viết tắt các từ hoặc bỏ dấu câu. Khi chúng ta nói, chúng ta có giọng địa phương, nói lắp và mượn dùng các thuật ngữ từ các ngôn ngữ khác. Mặc dù học có giám sát và không có giám sát, và đặc biệt là học sâu hiện được sử dụng rộng rãi để mô hình hóa ngôn ngữ của con người, những hiểu biết về cú pháp và ngữ nghĩa cũng như kiến thức chuyên môn về miền không nhất thiết phải có trong các phương pháp học máy này. NLP rất quan trọng vì nó giúp giải quyết sự mơ hồ trong ngôn ngữ và thêm cấu trúc số hữu ích vào dữ liệu cho nhiều ứng dụng chẳng hạn như nhận dạng giọng nói hoặc phân tích văn bản.4 TỔNG QUAN VỀ SENTIMENT ANALYSIS 2.1 Khái niệm về phân tích cảm xúc và quan điểm (sentiment analysis) Sentiment analysis (hay còn gọi là khai phá quan điểm hoặc cảm xúc trí tuệ nhân tạo) là việc sử dụng xử lý ngôn ngữ tự nhiên, phân tích văn bản, ngôn ngữ học tính toán và sinh trắc học để xác định, trích xuất, định lượng và nghiên cứu các trạng thái tình cảm và thông tin chủ quan một cách có hệ thống [3].2 Tầm quan trọng của phân tích cảm xúc và quan điểm (sentiment analysis) Phân tích cảm xúc và quan điểm (sentiment analysis) là vô cùng quan trọng vì nó cho phép doanh nghiệp hiểu được cảm xúc và quan điểm của khách hàng.
Bằng cách tự động sắp xếp tình cảm đằng sau các cuộc trò chuyện, đánh giá trên mạng xã hội và hơn thế nữa, các doanh nghiệp có thể đưa ra quyết định đúng đắn và sáng suốt hơn. Gần 90% dữ liệu trên thế giới là không có cấu trúc, hay nói cách khác là dữ liệu không có tổ chức. Khối lượng lớn dữ liệu kinh doanh phi cấu trúc được tạo ra mỗi ngày: email, phiếu hỗ trợ, cuộc trò chuyện trên mạng xã hội, bản khảo sát, bài báo, tài liệu,. Nhưng thật khó để phân tích tình cảm một cách kịp thời và hiệu quả.
Lợi ích của sentiment analysis bao gồm: • Sắp xếp dữ liệu theo quy mô 25 CHƯƠNG 2. CƠ SỞ LÍ THUYẾT Việc sắp xếp theo cách thủ công các dữ liệu dạng bình luận, cuộc trò chuyện, đánh giá dẫn đến tốn lượng thời gian và chi phí rất lớn. Hàng ngày thì có hàng nghìn bình luận của các người dùng mạng xã hội, các cuộc trò chuyện, có quá nhiều dữ liệu kinh doanh để xử lý theo cách thủ công. Phân tích tình cảm giúp doanh nghiệp xử lý lượng dữ liệu khổng lồ một cách hiệu quả và tiết kiệm chi phí.
• Phân tích theo thời gian thực Phân tích tình cảm có thể xác định các vấn đề quan trọng trong thời gian thực, chẳng hạn như một cuộc khủng hoảng quảng bá trên mạng xã hội đang leo thang, một xu hướng mới nổi gần đây. Các mô hình phân tích cảm xúc có thể giúp chúng ta xác định ngay lập tức các loại tình huống này, vì vậy chúng ta có thể có những chiến lược kinh doanh, đối sách ngay lập tức. • Tiêu chí nhất quán: Việc gắn thẻ văn bản theo cảm tính có tính chủ quan cao, bị ảnh hưởng bởi kinh nghiệm, suy nghĩ và niềm tin cá nhân. Một người có thể cho một bình luận này là tiêu cực nhưng người khác cũng có thể cho nó là tích cực và việc gắn thẻ một cách thủ công có thể dẫn đến nhiều sai sót.
Bằng cách sử dụng hệ thống phân tích cảm xúc tập trung, các công ty có thể áp dụng các tiêu chí giống nhau cho tất cả dữ liệu của họ, giúp họ cải thiện độ chính xác và có được thông tin chi tiết tốt hơn.