Hệ Thống Mô Tả Ảnh Thời Gian Thực Cho Ứng Dụng Dữ Liệu Lớn

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp khoa học dữ liệu xây dựng hệ thống mô tả ảnh theo thời gian thực cho ứng dụng dữ liệu lớn, điều tra thực trạng, phân tích số

Chuyên ngành

Khoa Học Dữ Liệu

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2023

84
2
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

1. CHƯƠNG 1: TỔNG QUAN KHÓA LUẬN

1.1. Tính ứng dụng của khoá luận

2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

2.1. Lĩnh vực mô tả ảnh tự động

2.2. Lĩnh vực xử lý dòng dữ liệu và học liên tục

3. CHƯƠNG 3: CÁC PHƯƠNG PHÁP ĐỀ XUẤT

3.1. Tổng quan phương pháp đề xuất

3.2. Phương pháp Streaming dữ liệu

3.3. Phương pháp thu thập và xử lý dữ liệu

3.3.1. Phương pháp thu thập dữ liệu

3.3.2. Phương pháp xử lý dữ liệu

3.4. Phương pháp tăng cường chất lượng dữ liệu

3.5. Phương pháp xây dựng bộ dữ liệu kiểm thử

3.6. Phương pháp mô tả ảnh tự động

3.7. Phương pháp trích xuất thông tin

3.7.1. Các mô hình mô tả ảnh tự động

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ

4.1. Quy trình thực nghiệm mô tả ảnh

4.2. Cài đặt thực nghiệm cho các mô hình

4.2.1. Mô hình trích xuất đặc trưng VinVL

4.2.2. Mô hình Meshed Memory Transformer

4.2.3. Mô hình Object Relation Transformer

4.2.4. Cài đặt thực nghiệm học liên tục cho các mô hình

4.3. Độ đo đánh giá cho mô hình mô tả ảnh tự động

4.4. Dữ liệu thực nghiệm

4.5. Cài đặt, phân tích và đánh giá thực nghiệm

4.5.1. Phân tích lỗi

5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG TRÊN HỆ THỐNG HỖ TRỢ MÔ TẢ ẢNH TỰ ĐỘNG THEO THỜI GIAN THỰC CHO ỨNG DỤNG DỮ LIỆU LỚN

5.1. Môi trường thực hiện

5.2. Xây dựng ứng dụng mô phỏng tương tác với mô hình

5.3. Back-end

5.4. Cách thức hoạt động và giao diện của ứng dụng

6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Hệ Thống Mô Tả Ảnh Thời Gian Thực

Hệ thống mô tả ảnh thời gian thực cho ứng dụng dữ liệu lớn đang trở thành một trong những xu hướng công nghệ quan trọng. Với sự phát triển của công nghệ thông tindữ liệu lớn, việc mô tả ảnh tự động không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc xử lý thông tin. Hệ thống này cho phép người dùng nhận được mô tả chính xác và nhanh chóng cho các hình ảnh, từ đó hỗ trợ nhiều lĩnh vực như y tế, giáo dục và thương mại điện tử.

1.1. Định nghĩa và Tính Năng Của Hệ Thống Mô Tả Ảnh

Hệ thống mô tả ảnh thời gian thực là một ứng dụng sử dụng machine learning để tự động tạo ra mô tả cho hình ảnh. Tính năng nổi bật của hệ thống này bao gồm khả năng nhận diện đối tượng, phân tích ngữ nghĩa và tạo ra câu mô tả tự nhiên.

1.2. Lợi Ích Của Hệ Thống Mô Tả Ảnh Trong Thực Tiễn

Hệ thống mô tả ảnh mang lại nhiều lợi ích cho người dùng, bao gồm việc cải thiện khả năng truy cập thông tin cho người khiếm thị, hỗ trợ trong việc tìm kiếm hình ảnh và nâng cao trải nghiệm người dùng trong các ứng dụng thương mại điện tử.

II. Vấn Đề và Thách Thức Trong Mô Tả Ảnh Thời Gian Thực

Mặc dù có nhiều tiềm năng, nhưng việc phát triển hệ thống mô tả ảnh tự động vẫn gặp phải nhiều thách thức. Các vấn đề như thiếu dữ liệu chất lượng, sự phức tạp trong việc nhận diện đối tượng và ngữ nghĩa, cũng như khả năng xử lý dữ liệu lớn là những trở ngại chính.

2.1. Thiếu Dữ Liệu Chất Lượng Cho Mô Tả Ảnh

Một trong những thách thức lớn nhất là việc thiếu hụt các bộ dữ liệu chất lượng cao cho việc huấn luyện mô hình. Điều này đặc biệt đúng với ngôn ngữ tiếng Việt, nơi mà các bộ dữ liệu như UIT-ViIC và VieCAP4H còn hạn chế.

2.2. Khó Khăn Trong Việc Nhận Diện Đối Tượng

Việc nhận diện chính xác các đối tượng trong hình ảnh là một thách thức lớn. Các mô hình hiện tại vẫn gặp khó khăn trong việc phân tích các tình huống phức tạp và mối quan hệ giữa các đối tượng.

III. Phương Pháp Xây Dựng Hệ Thống Mô Tả Ảnh Thời Gian Thực

Để xây dựng một hệ thống mô tả ảnh hiệu quả, cần áp dụng các phương pháp tiên tiến trong xử lý dữ liệuhọc sâu. Các phương pháp này bao gồm thu thập dữ liệu, xử lý và tăng cường dữ liệu để tạo ra bộ dữ liệu phong phú cho việc huấn luyện mô hình.

3.1. Phương Pháp Thu Thập Dữ Liệu

Quá trình thu thập dữ liệu cần được thực hiện một cách hệ thống và liên tục. Sử dụng các công nghệ như Apache Kafka để thu thập dữ liệu từ nhiều nguồn khác nhau sẽ giúp tạo ra một bộ dữ liệu đa dạng và phong phú.

3.2. Phương Pháp Xử Lý và Tăng Cường Dữ Liệu

Sau khi thu thập, dữ liệu cần được xử lý và tăng cường để đảm bảo chất lượng. Các kỹ thuật như data augmentation có thể được áp dụng để tạo ra nhiều biến thể của dữ liệu, từ đó cải thiện khả năng học của mô hình.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Mô Tả Ảnh

Hệ thống mô tả ảnh thời gian thực có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Từ việc hỗ trợ người khiếm thị đến việc cải thiện trải nghiệm người dùng trong thương mại điện tử, hệ thống này đang chứng tỏ giá trị của mình.

4.1. Ứng Dụng Trong Y Tế

Trong lĩnh vực y tế, hệ thống mô tả ảnh có thể giúp bác sĩ nhanh chóng nhận diện và phân tích hình ảnh y khoa, từ đó đưa ra quyết định chính xác hơn trong chẩn đoán.

4.2. Ứng Dụng Trong Giáo Dục

Hệ thống cũng có thể được sử dụng trong giáo dục để tạo ra các tài liệu học tập tương tác, giúp học sinh dễ dàng tiếp cận và hiểu biết về các khái niệm phức tạp thông qua hình ảnh.

V. Kết Luận và Tương Lai Của Hệ Thống Mô Tả Ảnh

Hệ thống mô tả ảnh thời gian thực cho ứng dụng dữ liệu lớn không chỉ là một công nghệ mới mà còn là một giải pháp tiềm năng cho nhiều vấn đề trong xã hội. Tương lai của hệ thống này hứa hẹn sẽ mang lại nhiều cải tiến và ứng dụng mới.

5.1. Tương Lai Của Công Nghệ Mô Tả Ảnh

Với sự phát triển không ngừng của công nghệ thông tinmachine learning, hệ thống mô tả ảnh sẽ ngày càng trở nên chính xác và hiệu quả hơn, mở ra nhiều cơ hội mới cho các ứng dụng trong thực tiễn.

5.2. Đề Xuất Hướng Nghiên Cứu Tương Lai

Cần tiếp tục nghiên cứu và phát triển các phương pháp mới để cải thiện khả năng mô tả ảnh, đồng thời mở rộng bộ dữ liệu để đáp ứng nhu cầu ngày càng cao trong xã hội hiện đại.

10/07/2025
Khóa luận tốt nghiệp khoa học dữ liệu xây dựng hệ thống mô tả ảnh theo thời gian thực cho ứng dụng dữ liệu lớn

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan khoá luận Trong chương nay, chúng tôi sẽ nói về tổng quan bài toán mô tả ảnh theo thời gian thực và nêu rõ ý nghĩa cũng như tính ứng dụng của đề tài trong đời sống thực tế. > Chương 2: Các công trình nghiên cứu liên quan Các công trình nghiên cứu có liên quan tới bài toán mô tả ảnh theo thời gian thực sẽ được giới thiệu ở chương này. Đây là cơ sở học thuật tìm hiểu và phát triển bài toán. Cùng với với đó là các công trình về việc kiểm soát dòng dữ liệu (Data Streaming).

> Chương 3: Các phương pháp đề xuất Trong chương này sẽ nói tới những phương pháp được đề xuất dé thực nghiệm, bắt đầu với giới thiệu phương pháp streaming dữ liệu với nhiều bước dé phù hợp với đề tài: Dữ liệu đầu tiên sẽ được thu thập, tiếp đến sẽ trải qua bước xử lý, rồi thực hiền tăng cường để tạo ra bộ dữ liệu phù hợp nhất cho VIỆC huấn luyện. Sau đó là làm rõ phương pháp đề xuất dùng để mô tả ảnh tự động thông qua các mô hình học sâu. > Chương 4: Thực nghiệm và đánh giá kết quả Thực nghiệm những đề xuất ở Chương 3. Đầu tiên chúng tôi trién khai phương pháp streaming dữ liệu dé tạo bộ dữ liệu đáp ứng cho bài toán.

Sau đó chúng tôi trién khai các mô hình trích suất đặc trưng như VinVL, lay những đặc trưng này làm nguyên luyện đầu vào cho những mô hình học sâu phức tạp dùng dé tạo câu mô tả ảnh như Meshed Memory Transformer, Object Relation Transformer. Các mô hình này được liên tục huấn luyện dựa trên dữ liệu mới được cập nhật thường xuyên vào hệ thống. > Chương 5: Xây dựng ứng dụng hỗ trợ mô tả ảnh tự động theo thời gian thực Chúng tôi sẽ trình bày về quy trình triển khai và công nghệ được sử dụng để tạo ra ứng dụng điện thoại cung cấp công cụ hỗ trợ tạo câu mô tả cho hình ảnh. > Chương 6: Kết luận và hướng phát triển Chúng tôi đánh giá lại và đưa ra những thành tựu sau khi thực hiện khoá luận, cũng như chỉ ra những điều còn hạn chế và đề xuất hướng có thể giúp phát triên khoá luận sau này.

Tổng quan khóa luận 1. Giới thiệu khoá luận Đề tài của chúng tôi nghiên cứu năm trong thời đại của kỹ thuật số, nơi mà dữ liệu đóng vai trò nòng cốt trong hầu hết mọi mặt đời sống, từ kinh doanh tới an ninh và cả ngành có tính chất đặc thù giáo dục. Dữ liệu được sinh ra liên tục, theo thống kê của trang Statista [1], mỗi ngày có trung bình 328.77 Terra Byte dữ liệu được tạo ra. Dữ liệu được tạo ra là rất phong phú và dưới đa dạng hình thức khác nhau, bao gồm văn bản, hình ảnh, video, âm thanh và nhiều hơn nữa.

Nhưng nỗi bật lên chính là dit liệu đưới dang hình anh, dạng dữ liệu này chiếm tỷ trọng không hề nhỏ trong tổng lượng dit liệu đã từng được sinh ra. Lý do cho chuyện đó xuất phat từ sự phát triển như vũ bão của công nghệ hình ảnh số, từ smartphone, máy ảnh kỹ thuật số, cho tới drone và các loại cảm biến hình ảnh khác. Dữ liệu hình ảnh là một trong những dạng dữ liệu giàu thông tin và có tiềm năng khai thác đáng kê. Điều này sẽ thật sự đáng tiếc là nếu chúng ta không tận dụng và khai thác dữ liệu này một cách triệt để, nó sẽ trở thành một sự lãng phí không dang có.

Mô tả hình ảnh tự động là bài toán không mới nó đã thu hút được sự quan tâm từ rất lâu tước đây. Tuy nhiên việc tiếp cận bài toán còn nhiều khó khăn, trong đó sự thiếu hụt về nguồn đữ liệu chính là nguyên nhân chính. Đặc biệt là sự thiếu hụt nguồn dir liệu tiếng Việt. Nhưng trong bối cảnh hiện nay cùng với nhiều công nghệ đủ sức làm thay đôi cách thé giới vận hành như công nghệ dữ liệu lớn, trí tuệ nhân tao, Internet vạn vật,.Chính điều này trở thành chìa khoá để vượt qua những khó khăn của bài toán.

Do đó nhóm chúng tôi chọn chọn cách sử dụng công nghệ đữ liệu lớn, cụ thé là Kafka, một công nghệ dòng dit liệu (Data Streaming) phô biến, dé thu thập dữ liệu hình ảnh và văn bản thông qua các kênh khác nhau một cách liên tục theo thời gian thực. Việc này không chỉ mang lại cho mô hình nguồn dé liệu đa lĩnh vực, mà còn khiến mô hình học liên tục và cập nhật kiến thức của mình theo thời gian, từ đó tăng cường chât lượng của câu mô tả. Bài toán chúng tôi đang giải có thể hiểu đơn giản như sau: Khi nhận được hình anh chúng tôi sẽ tiễn hành tạo ra một câu mô tả tương ứng. Cụ thé hơn: ° Đầu vào: Một hình ảnh ngẫu nhiên có thé thu thập từ bat kỳ đâu.

° Đầu ra: Câu mô tả diễn giải hình ảnh tương ứng. Người thổ dân dùng cỏ Hệ thông mô tả ảnh khô tạo lửa Hình 1.1: Một ví dụ cho việc tao sinh câu mô tả Đề tài khoá luận này không chỉ đóng góp cho khoa học, mà còn mở ra con đường cho những ứng dụng thực tế mới của công nghệ này. Đây chính là lý do chúng tôi thực hiện khoá luận với niềm tin rằng khả năng của máy móc trong việc hiểu và mô tả hình ảnh sẽ tiếp tục được cải tiến, trở thành một công cụ đắc lực hỗ trợ giải quyết nhiều những khó khăn còn tồn đọng trong xã hội hiện đại giúp cải thiện cuộc sống. Tính ứng dụng của khoá luận Như đã đề cập ở phần giới thiệu khoá luận, trong thế giới ngày càng hiện đại hóa và số hoá, nhu cầu của xã hội đối với việc xử lý thông tin tự động và nhanh chóng ngày cảng tăng.

Đặc biệt, với sự bùng nô của đữ liệu hình ảnh, việc khai thác thông tin từ hình ảnh trở thành một yêu cầu không thê thiếu trong mọi lĩnh vực. Điều này đặt ra nhu cau cho việc phát triển một hệ thống có thé mô tả ảnh tự động theo thời gian thực ở nhiều lĩnh vực khác nhau là vô cũng cấp thiết. Trong bối cảnh cấp thiết đó, giải 10 pháp của chúng tôi đề xuất có tiềm năng ứng dụng rất lớn trong nhiều lĩnh vực đời sông từ đó làm đòn bây cho sự phát triển kinh tế, xã hội ở Việt Nam. Sau quá trình nghiên cứu các mô hình, kết quả nghiên cứu của chúng tôi đã cho phép mô tả các hình ảnh ở nhiều lĩnh vực khác nhau với sự đầy đủ về ngữ cảnh và ngữ nghĩa.

Từ đó có thể làm cơ sở để ứng dụng vào việc hỗ trợ đời sống của những người có khiếm khuyết về thị giác, khó khăn trong vấn đề diễn tả ngôn ngữ. Không chỉ dừng lại ở hỗ trợ đời sống thường ngày mà nó còn có khả năng ứng dụng ngay cả trong pháp triển kinh tế, y tế, an ninh,. bằng cách mô tả các dữ liệu ảnh đầu vào cần thiết làm cơ sở giúp người quản trị có thé quản trị và đưa ra các quyết định nhanh chóng và hiệu quả. Với những ứng dụng thực tiễn này, chúng ta có thê thấy việc phát triển một hệ thống mô tả ảnh đa lĩnh vực tự động theo thời gian thực không chỉ đáp ứng nhu cầu của xã hội mà còn đóng góp vào việc cải thiện chât lượng cuộc sông một cách mạnh mẽ.

Các công trình nghiên cứu liên quan 2. Lĩnh vực mô tả ảnh tự động Với sự đột phá trong kiến trúc mô hình học sâu, điều này đã nền móng cho áp dụng trí tuệ nhân tạo vào cải thiện chất lượng đời song và dich vụ. Không ngoại lệ, bai toán mô tả ảnh tự động trở thành một thách thức mới lạ và thu hút được phần đông giới khoa học. Từ những bài toán sơ khai, mô tả ảnh tự động đơn giản chỉ sử dụng các mô hình nhận diện vật thé dé đưa ra các chú thích don giản với tên của đối tượng chính trong ảnh như trong nghiên cứu của [2, 3].

Từ lúc đây, với sự ra đời mạnh mẽ của những bộ dữ liệu có kích thước lớn và chất lượng cao dé huấn luyện và đánh giá bài toán này như Flickr-8k của tác giả [4] với 8092 ảnh, và kế đến là Flickr-30k của tác gia [5] đã tạo điều kiện lớn cho mô hình học sâu được phát triển phục vụ bài toán mô tả ảnh tự động. Và đáng chú ý hon, Microsoft đã công bé dữ liệu về lĩnh vực này bao gồm hơn 123,000 ảnh, từ đó thị trường nghiên cứu cho bài toán đa phần sử dụng MS Coco [6] dé làm dữ liệu benchmark dé xây dựng mô hình của họ. Những nghiên cứu tiêu biểu về các mô hình mô ta ảnh tự động ban đầu dùng các mạng CNN để lấy ra đặc trưng, và từ những đặc trưng này, các kiến trúc mạng RNN được áp dụng như một mô hình ngôn ngữ đề tạo ra câu mô tả tương ứng. Càng về sau, những kiến trúc CNN tiên phong như ResNet [7], VGG [7] ra đời, nhà nghiên cứu bắt đầu sử dụng những kiến trúc lớn này dé trích xuất đặc trưng thay vì những lớp mang CNN đơn giản như trước, cách tiếp cận này đã tối ưu hóa được hiệu suất mô hình nhờ vào phương pháp học chuyền đổi (Transfer Learning).

Các nghiên cứu đặc sắc ở thời kỳ này có thé kế đến với [8, 9, 10]. Thêm vào đó, các nghiên cứu áp dụng kỹ thuật attention lên các bài toán học sâu ở thời gian đó đã tao sự chú ý lên rất nhiều lĩnh vực sử dụng các lớp mạng tương tự. Dựa trên kết quả đó, Kelvin và các cộng sự [11] đã cải tiến mô hình Show and Tell bằng việc sử dụng thêm kỹ thuật attention kết hợp với mạng LSTM ở tầng Decoder, tạo ra một mô hình SOTA mới đó là Show attend and tell [12]. Bắt đầu từ năm 2017, những nhà nghiên cứu bắt đầu nhận ra những điểm chưa tối ưu từ những phương pháp trích xuất đặc trưng từ ảnh dùng các kiến 12 trúc CNN, những phát triển sử dụng các mô hình nhận diện vật thé dé trích xuất đặc trưng lại mang lại hiệu quả cao cho bài toán mô tả hình ảnh có thể kế đến như [13, 14, 15].

Bên cạnh những nghiên cứu đột phát về phần Encoder của mô hình, những phát triển của mô hình ngôn ngữ trong bai toán mô tả ảnh tự động cũng được nghiên cứu rộng rãi, những mô hình sử dụng kiến trúc RNN-based như LSTM hay GRU từ những nghiên cứu [16, 17] .

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu với tiêu đề Hệ Thống Mô Tả Ảnh Thời Gian Thực Cho Ứng Dụng Dữ Liệu Lớn trình bày một hệ thống tiên tiến giúp mô tả và phân tích ảnh trong thời gian thực, phục vụ cho các ứng dụng dữ liệu lớn. Hệ thống này không chỉ cải thiện khả năng xử lý và phân tích dữ liệu hình ảnh mà còn tối ưu hóa quy trình ra quyết định trong nhiều lĩnh vực khác nhau. Độc giả sẽ tìm thấy những lợi ích rõ ràng từ việc áp dụng công nghệ này, bao gồm tăng cường độ chính xác trong nhận diện và phân loại hình ảnh, cũng như khả năng xử lý nhanh chóng và hiệu quả hơn.

Để mở rộng kiến thức về các ứng dụng liên quan, bạn có thể tham khảo thêm tài liệu Luận văn thạc sĩ kỹ thuật viễn thông phát triển và tối ưu mô hình học sâu cho tác vụ phân loại thẻ đeo tai của vật nuôi trong công nghiệp, nơi nghiên cứu về mô hình học sâu trong phân loại hình ảnh. Ngoài ra, tài liệu Khóa luận tốt nghiệp an toàn thông tin nghiên cứu trình phát hiện xâm nhập dựa trên few shot learning cũng cung cấp cái nhìn sâu sắc về các kỹ thuật học máy hiện đại. Cuối cùng, bạn có thể tìm hiểu thêm về Luận văn nghiên cứu kỹ thuật hồi quy trong học máy và ứng dụng nội suy trên ảnh mặt người, giúp bạn nắm bắt các phương pháp phân tích hình ảnh phức tạp hơn. Những tài liệu này sẽ giúp bạn mở rộng hiểu biết và khám phá sâu hơn về lĩnh vực này.