Nghiên Cứu Khoa Học: Xây Dựng Ứng Dụng Tự Động Phát Hiện Trùng Lặp Trong Bổ Sung Tài Liệu

Tài liệu nghiên cứu Đề tài nghiên cứu khoa học cấp trường xây dựng ứng dụng tự động phát hiện trùng lặp trong công tác, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

Trường đại học

Đại học Hải Phòng

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

nghiên cứu khoa học cấp trường

2019-2020

41
1
0

Phí lưu trữ

30 Point

Mục lục chi tiết

MỤC LỤC

DANH MỤC CÁC CHỮ VIẾT TẮT

DANH MỤC CÁC HÌNH VẼ

MỞ ĐẦU

0.1. Giới thiệu Trung tâm Thông tin - Thư viện, Trường Đại học Hải Phòng

0.2. Nhiệm vụ bổ sung tài liệu của các loại hình thư viện

0.3. Tổng quan vấn đề nghiên cứu

1. CHƯƠNG 1: CÔNG TÁC BỔ SUNG TÀI LIỆU TẠI TRƯỜNG ĐẠI HỌC HẢI PHÒNG

1.1. Mô tả công việc

1.2. Nhận xét, đánh giá

2. GIẢI PHÁP VÀ TRIỂN KHAI

2.1. Giải pháp đề xuất

2.2. Xây dựng ứng dụng kiểm tra trùng lặp

2.2.1. Yêu cầu chức năng

2.2.2. Cài đặt và cấu hình

2.2.3. Cơ sở dữ liệu

2.2.4. Thiết kế giao diện

2.3. Hướng dẫn sử dụng

2.4. Kết quả triển khai

KẾT LUẬN

CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu và cơ sở lý luận

Phần này giới thiệu về Trung tâm Thông tin - Thư viện, Trường Đại học Hải Phòng, nơi thực hiện nghiên cứu. Trung tâm có nhiệm vụ quản lý và phát triển nguồn tài liệu phục vụ học tập, nghiên cứu khoa học. Công tác bổ sung tài liệu là một trong những nhiệm vụ quan trọng, đòi hỏi sự chính xác và hiệu quả. Hiện nay, việc bổ sung tài liệu chủ yếu được thực hiện thủ công, gây tốn thời gian và dễ xảy ra sai sót. Đề tài nghiên cứu tập trung vào xây dựng ứng dụng tự động phát hiện trùng lặp tài liệu, nhằm nâng cao hiệu quả công việc và tối ưu hóa nguồn kinh phí.

1.1. Nhiệm vụ bổ sung tài liệu

Theo Luật Thư việnLuật Giáo dục đại học, thư viện đại học có trách nhiệm phát triển nguồn tài liệu phù hợp với chương trình đào tạo và nghiên cứu khoa học. Công tác bổ sung tài liệu phải đảm bảo tính liên tục, đáp ứng nhu cầu của bạn đọc và sử dụng hiệu quả ngân sách. Việc bổ sung tài liệu cần tuân thủ các quy trình nghiêm ngặt, bao gồm lập danh mục, kiểm tra trùng lặp và đánh giá nhu cầu.

1.2. Tổng quan vấn đề nghiên cứu

Hiện nay, các phần mềm quản lý thư viện như KIPOS, ILIB, và LIBOL hỗ trợ nhiều chức năng nhưng chưa có công cụ tự động phát hiện trùng lặp tài liệu. Việc kiểm tra trùng lặp thường được thực hiện thủ công, gây tốn thời gian và dễ sai sót. Đề tài nghiên cứu này nhằm khắc phục hạn chế đó bằng cách xây dựng ứng dụng tự động hóa quá trình phát hiện trùng lặp, giúp cán bộ thư viện tiết kiệm thời gian và nâng cao hiệu quả công việc.

II. Công tác bổ sung tài liệu tại Trường Đại học Hải Phòng

Phần này mô tả chi tiết quy trình bổ sung tài liệu hiện tại tại Trung tâm Thông tin - Thư viện, Trường Đại học Hải Phòng. Quy trình bao gồm ba giai đoạn chính: lập danh mục tài liệu, kiểm tra trùng lặp và quyết định bổ sung. Hiện nay, việc kiểm tra trùng lặp được thực hiện thủ công, dẫn đến nhiều hạn chế về thời gian và độ chính xác. Đề tài nghiên cứu đề xuất giải pháp công nghệ để tự động hóa quá trình này.

2.1. Mô tả công việc

Công việc bổ sung tài liệu tại Trung tâm được thực hiện dựa trên các căn cứ như chức năng, nhiệm vụ của thư viện, ngân sách được cấp và nhu cầu của bạn đọc. Quy trình bao gồm lập danh mục tài liệu, kiểm tra trùng lặp và quyết định bổ sung. Việc kiểm tra trùng lặp hiện nay được thực hiện thủ công, gây tốn thời gian và dễ sai sót. Đề tài nghiên cứu đề xuất ứng dụng tự động phát hiện trùng lặp để giải quyết vấn đề này.

2.2. Nhận xét và đánh giá

Quy trình bổ sung tài liệu hiện tại có nhiều hạn chế, đặc biệt là việc kiểm tra trùng lặp thủ công. Điều này không chỉ gây tốn thời gian mà còn ảnh hưởng đến hiệu quả sử dụng ngân sách. Việc tự động hóa quá trình này sẽ giúp cán bộ thư viện tiết kiệm thời gian, nâng cao độ chính xác và hiệu quả công việc. Đề tài nghiên cứu này có ý nghĩa thực tiễn cao, đặc biệt trong bối cảnh các thư viện đang hướng tới số hóa và tự động hóa.

III. Giải pháp và triển khai

Phần này trình bày giải pháp công nghệ được đề xuất để tự động hóa quá trình phát hiện trùng lặp tài liệu. Giải pháp bao gồm việc xây dựng ứng dụng với các chức năng chính như kiểm tra trùng lặp, quản lý cơ sở dữ liệu và thiết kế giao diện thân thiện với người dùng. Ứng dụng được triển khai tại Trung tâm Thông tin - Thư viện, Trường Đại học Hải Phòng, mang lại hiệu quả tích cực trong công tác bổ sung tài liệu.

3.1. Giải pháp đề xuất

Giải pháp đề xuất là xây dựng ứng dụng tự động phát hiện trùng lặp tài liệu dựa trên công nghệ xử lý dữ liệu và khoa học máy tính. Ứng dụng này sẽ giúp cán bộ thư viện kiểm tra trùng lặp nhanh chóng và chính xác, từ đó nâng cao hiệu quả công việc. Các yêu cầu chức năng của ứng dụng bao gồm kiểm tra trùng lặp, quản lý cơ sở dữ liệu và thiết kế giao diện thân thiện.

3.2. Kết quả triển khai

Sau khi triển khai, ứng dụng đã mang lại hiệu quả tích cực trong công tác bổ sung tài liệu tại Trung tâm Thông tin - Thư viện, Trường Đại học Hải Phòng. Ứng dụng giúp cán bộ thư viện tiết kiệm thời gian, nâng cao độ chính xác và hiệu quả công việc. Kết quả này khẳng định giá trị thực tiễn của đề tài nghiên cứu, đồng thời mở ra hướng phát triển mới trong việc ứng dụng công nghệ vào quản lý thư viện.

21/02/2025

Trích đoạn nội dung tài liệu

mở đầu tiên trên thế giới (https://koha- community.org); + Dựa trên nền tảng DSPACE, ra mắt năm 2020, là sản phẩm hợp tác giữa HP và Thư viện Học viện Công nghệ Massachusetts (https://www. Các phần mềm quản lý thư viện ngoài việc hỗ trợ cán bộ thư viện trong công tác chuyên môn thì còn hỗ trợ bạn đọc tra cứu, bạn đọc muốn mượn tài liệu tại thư viện thì việc đầu tiên là phải tra cứu xem thư viện có tài liệu mà mình muốn mượn hay không. Hiện nay, các phần mềm quản lý thư viện từ phần mềm thương mại cho tới các phần mềm nguồn mở đều có chức năng cơ bản chung, là hỗ trợ người dùng tra cứu, tìm kiếm tài liệu với các thông tin từ cơ bản tới nâng cao. Tuy nhiên, chức năng này chỉ ở mức tìm kiếm đơn lẻ, lần lượt từng tài liệu một, nếu bạn đọc muốn tra cứu, tìm kiếm nhiều tài liệu (ví dụ 50 tài liệu) thì sẽ phải thực hiện lặp đi lặp lại cùng một nhóm thao tác cho số tài liệu cần tra cứu (ở đây sẽ là 50 lần).

Cán bộ thư viện khi muốn thống kê, tra cứu nhiều tài liệu một lúc cũng phải thực hiện các thao tác tương tự như bạn đọc. Chức năng tra cứu, tìm kiếm này hoạt động giống nhau trong tất cả các chức năng: chức năng của bạn đọc, chức năng bổ sung tài liệu và chức năng quản trị hệ thống. 9 Theo khảo sát của nhóm tác giả, hiện nay chưa có phần mềm quản lý thư viện nào (từ phần mềm thương mại cho tới phần mềm nguồn mở) cho phép bạn đọc hoặc cán bộ thư viện có thể tra cứu, tìm kiếm một danh sách tài liệu. Vì vậy, mỗi khi thư viện cần bổ sung tài liệu thì cán bộ thư viện sẽ phải kiểm tra xem danh sách tài liệu đó đã có tại thư viện hay chưa trước khi đưa ra quyết định bổ sung, việc làm này mất rất nhiều thời gian nếu số lượng đầu tài liệu lớn.

Như vậy, vấn đề mà nhóm tác giả nghiên cứu là cần thiết, có ý nghĩa thực tiễn trong công việc hàng ngày tại các thư viện nói chung, tại Trường Đại học Hải Phòng nói riêng. CÔNG TÁC BỔ SUNG TÀI LIỆU TẠI TRƯỜNG ĐẠI HỌC HẢI PHÒNG Chương này chúng tôi mô tả công tác bổ sung tài liệu hiện nay diễn ra tại Trung tâm Thông tin – Thư viện, Trường Đại học Hải Phòng. Sau đó, chúng tôi đưa ra một số nhận xét, đánh giá và yêu cầu đặt ra để giải quyết một số tồn tại trong phạm vi nghiên cứu của đề tài. Mô tả công việc Hiện nay, Trung tâm Thông tin - Thư viện, Trường Đại học Hải Phòng đang sử dụng, khai thác phần mềm quản lý thư viện và thư viện số Kipos để quản trị, thực hiện các công việc chuyên môn như xử lý kĩ thuật tài liệu, quản lý lưu thông tài liệu và phục vụ, quản lý bạn đọc.

Công việc bổ sung tài liệu, giáo trình là một trong những công việc thường xuyên và quan trọng của Trung tâm, tài liệu bổ sung phải đảm bảo đúng, sát với yêu cầu từ các chương trình đào tạo Nhà trường, đồng thời cũng phải đảm bảo đáp ứng vừa đủ nhu cầu của bạn đọc. Hiện nay, công việc bổ sung tài liệu được diễn ra như sau: a) Các căn cứ để bổ sung tài liệu – Căn cứ vào chức năng, nhiệm vụ của Trung tâm Thông tin – Thư viện; mục tiêu và hướng ưu tiên tại từng thời điểm trong việc thu thập, bổ sung tài liệu, giáo trình thuộc hoặc liên quan tới các chuyên ngành, các chương trình đào tạo của Nhà trường; – Căn cứ vào ngân sách được cấp và kinh phí cần để bổ sung tài liệu, giáo trình tại từng thời điểm; khả năng cơ sở vật chất hiện tại của thư viện, diện tích kho tàng, khả năng bảo quản, số lượng và trình độ của đội ngũ cán bộ chuyên môn của Thư viện; 11 – Xây dựng danh mục tài liệu cần bổ sung, xác định các loại tài liệu phù hợp với vốn tài liệu hiện có của Trung tâm và đánh giá, dự báo nhu cầu của bạn đọc đối với từng loại đầu tài liệu dự kiến sẽ bổ sung; – Trên cơ sở các mục tiêu và nguyên tắc phát triển các nguồn lực thông tin, Trung tâm xây dựng chính sách bổ sung tài liệu, và xây dựng nguồn tài nguyên thông tin có cơ cấu môn loại phù hợp với các ngành đào tạo của Nhà trường, với số lượng bản hợp lý, đảm bảo chất lượng, phù hợp với nhu cầu học tập, nghiên cứu khoa học của HSSV và CBGV. b) Trình tự thực hiện Với các căn cứ trên, trình tự bổ sung tài liệu, giáo trình tại Trung tâm được thực hiện gồm 3 giai đoạn chính, được mô tả như Hình 2.1: Công việc bổ sung tài liệu tại Trường Đại học Hải Phòng Quá trình thực hiện được mô tả chi tiết như sau: Giai đoạn 1. Lập danh mục tài liệu, giáo trình bổ sung.

Mục tiêu của giai đoạn này là lập một danh mục tài liệu để bổ sung. Để bổ sung, tài liệu cần bốn thông tin cơ bản, bao gồm: nhan đề, tác giả, năm xuất bản và nhà xuất bản. Về cơ bản, danh mục này được xây dựng chủ yếu từ hai nguồn: (1) từ yêu cầu bổ sung của các 12 Khoa/Viện/Phòng/Ban và (2) từ danh mục tài liệu tham khảo của các chương trình đào tạo, cụ thể: + Nguồn 1. Từ yêu cầu của Khoa/Viện/Phòng/Ban Các đơn vị như Khoa/Viện/Phòng/Ban có nhu cầu bổ sung tài liệu nhằm phục vụ chuyên môn của đơn vị, phục vụ nhu cầu học tập, NCKH của CBGV hoặc HSSV, đơn vị sẽ lập danh mục tài liệu theo biểu mẫu có sẵn như Hình 2.2, danh mục tài liệu gồm bốn thông tin cơ bản, được xác nhận bởi lãnh đạo đơn vị và gửi đồng thời cả bản cứng, bản mềm cho Trung tâm để cán bộ thư viện tổng hợp, kiểm tra, rà soát.2: Biểu mẫu Danh mục tài liệu đề nghị bổ sung + Nguồn 2.

Từ chương trình đào tạo Trung tâm thường xuyên thực hiện tổng hợp và lập danh mục tài liệu, giáo trình cần, theo yêu cầu của các chuyên ngành đào tạo. Danh mục tài liệu này được tổng hợp từ mục tài liệu tham khảo trong đề cương chi tiết học phần của chương trình đào tạo. Danh mục tài liệu từ một trong hai nguồn hoặc cả hai nguồn trên được tổng hợp và gửi cho Ban Giám đốc (để nắm tình hình), đồng thời chuyển cho bộ phận bổ sung để thực hiện kiểm tra, rà soát, quá trình này thực hiện như sau. Kiểm tra, rà soát Mục tiêu của giai đoạn này là xác định những tài liệu nào của giai đoạn 1 đủ điều kiện để bổ sung.

Tài liệu đủ điều kiện bổ sung là những tài liệu đảm bảo hai tiêu chuẩn sau: 1. Tài liệu chưa có trong thư viện hoặc có nhưng số lượng không đủ so với nhu cầu của bạn đọc; 13 2. Tài liệu phải phù hợp với yêu cầu của chương trình đào tạo (nếu là giáo trình, tài liệu tham khảo). Để kiểm tra, rà soát, giai đoạn này thực hiện theo hai bước, cụ thể: Bước 1.

Kiểm tra trùng lặp so với những tài liệu hiện có trong thư viện Ở bước này, cán bộ bổ sung sử dụng giao diện tra cứu (giao diện như Hình 2.3) của phần mềm quản lý thư viện Kipos để thực hiện tra cứu, tìm kiếm lần lượt từng cuốn tài liệu, xác định tài liệu đó đã có trong thư viện hay chưa, số lượng như thế nào(nếu có), đồng thời ghi chú lại các thông tin cần thiết.3: Giao diện tra cứu của phần mềm quản lý thư viện Kipos Kết quả của bước này là danh mục tình trạng của tài liệu dự kiến bổ sung như Hình 2.4, so với nguồn tài liệu hiện có tại thư viện.4: Danh mục tình trạng tài liệu dự kiến bổ sung Bước 2. Kiểm tra tính phù hợp Ở bước này, cần xác định những tài liệu đã được kiểm tra ở bước 1 có đáp ứng đúng yêu cầu của chương trình đào tạo không (đối những 14 tài liệu từ nguồn 1). Để thực hiện, cán bộ thư viện phải kiểm tra lần lượt từng tài liệu so với chương trình đào tạo. Tài liệu đáp ứng đúng yêu cầuo nếu có trong mục tài liệu tham khảo của đề cương chi tiết và ngược lại.

Lập danh mục tài liệu đủ điều kiện để bổ sung Sau khi thực hiện xong công việc ở giai đoạn 1 và giai đoạn 2, ở giai đoạn này, cán bộ bổ sung lập danh mục tài liệu đủ điều kiện bổ sung. Ban Giám đốc của Trung tâm căn cứ vào tình trạng, nhu cầu thực tế tại từng thời điểm để tham mưu, đề nghị nhà Trường cho phép mua bổ sung. Nhận xét, đánh giá Hiện nay, tất cả các giai đoạn, các bước trong công việc bổ sung tài liệu trên đều được thực hiện hầu như thủ công, quá trình này có nhiều thao tác được lặp đi lặp lại. Vì vậy, cán bộ thư viện cần nhiều thời gian để có thể hoàn thành được công việc.

Quá trình nghiệp vụ để thực hiện công tác bổ sung tài liệu được mô tả như Hình 2. Trong quá trình này, chỉ giai đoạn 2 là có sử dụng phần mềm quản lý thư viện Kipos để thực hiện tra cứu. Tuy nhiên: + Tại bước 1 (kiểm tra trùng lặp so với những tài liệu hiện có trong thư viện), phần mềm quản lý thư viện Kipos chỉ hỗ trợ cán bộ bổ sung tra cứu lần lượt từng cuốn tài liệu một, không hỗ trợ tra cứu theo một danh sách có sẵn. Vì thế, nếu danh mục tài liệu dự kiến bổ sung có số lượng đầu tài liệu lớn (có thể lên tới hàng trăm đầu tài liệu) thì cán bộ bổ sung sẽ phải thực hiện lặp lại một nhóm các thao tác rất nhiều lần (có thể lên tới hàng trăm lần).

Do đó, để hoàn thành công việc này thì cán bộ thư viện phải mất rất nhiều thời gian. + Tại bước 2 (kiểm tra tính phù hợp), phiên bản phần mềm quản lý thư viện Kipos đang được sử dụng tại Trung tâm không có chức năng hỗ trợ người dùng xác định một cuốn tài liệu có phù hợp với chương trình đào tạo hay không. Vì vậy, để hoàn thành công việc này thì cán bộ thư viện phải thực hiện hoàn toàn thủ công và cần rất nhiều thời gian. 15 Như vậy, để hoàn thành việc bổ sung một danh mục tài liệu với quy trình hiện tại thì cán bộ thư viện phải cần rất nhiều thời gian, chi phí thời gian chủ yếu vào các nhóm thao tác tra cứu lặp đi lặp lại.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Xây Dựng Ứng Dụng Tự Động Phát Hiện Trùng Lặp Tài Liệu - Nghiên Cứu Khoa Học Cấp Trường là một nghiên cứu tập trung vào việc phát triển giải pháp công nghệ để tự động hóa quá trình phát hiện sự trùng lặp trong các tài liệu. Đây là một vấn đề quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên và quản lý dữ liệu, giúp tiết kiệm thời gian và nâng cao độ chính xác khi so sánh các văn bản. Nghiên cứu này không chỉ mang lại lợi ích cho các nhà khoa học mà còn ứng dụng rộng rãi trong giáo dục, xuất bản và các ngành công nghiệp liên quan đến dữ liệu văn bản.

Để hiểu sâu hơn về các phương pháp xử lý dữ liệu và ứng dụng công nghệ trong khoa học máy tính, bạn có thể tham khảo Luận văn thạc sĩ khoa học máy tính phân loại dữ liệu một lớp và ứng dụng trong bài toán phát hiện bất thường. Ngoài ra, nghiên cứu về tìm kiếm tương tự trên dữ liệu chuỗi thời gian dạng luồng cũng cung cấp góc nhìn thú vị về cách xử lý và phân tích dữ liệu phức tạp. Để mở rộng kiến thức về các thuật toán tiên tiến, bạn có thể khám phá nghiên cứu hiệu năng giải thuật Personalized PageRank. Mỗi tài liệu này là cơ hội để bạn đi sâu hơn vào các chủ đề liên quan và nâng cao hiểu biết của mình.