chương 1 Chương | đã trình bày một cách tổng quan về dé tài. Phát biéu 2 bài toán tương ứng với 2 mục tiêu của đề tài bao gồm: bài toán rút trích thuật ngữ và bài toán xây dựng từ điển cộng tác thuật ngữ Anh — Việt lĩnh vực ICT. -19- Chương 2: CƠ SỞ LÝ THUYET 2. Các khái niệm liên quan 2.
Thuật ngữ lĩnh vực công nghệ thông tin và truyền thông Theo Từ điển Oxford, Thuật ngữ là một từ hoặc cụm từ được sử dụng như tên của một đối tượng nào đó trong một ngôn ngữ cụ thể; là từ ngữ chuyên môn của một vấn đề riêng biệt. Công nghệ thông tin và truyền thông (Information and Communications Technology — ICT) là ngành học nghiên cứu về việc sử dụng máy tính, internet, video và các công nghệ khác như là một môn tại các trường học. Theo từ điên Tiếng Việt (Hoàng Phê, 2010), Thuật ngữ là từ ngữ biểu thị một khái niệm xác định thuộc hệ thống những khái niệm của một ngành khoa học nhất định. Theo bộ từ điển mở Wiktionaty thì Thuật ngữ là Từ ngữ biểu thị một khái niệm xác định thuộc hệ thống những khái niệm của một ngành khoa học nhất định.
Theo các định nghĩa về thuật ngữ như trên, ta xác định được các đặc điểm chính của thuật ngữ là: - Thuật ngữ khác với từ ngữ phô thông - Mỗi thuật ngữ thuộc một lĩnh vực khoa học công nghệ chỉ biểu thị một khái niệm và ngược lại mỗi khái niệm trong lĩnh vực đó chỉ được biêu hiện bằng một thuật ngữ duy nhất - Thuật ngữ không có tính biểu cảm Theo bộ bách khoa toàn thư mở Wikipedia thi Công nghệ thông tin và truyền thông, thường được gọi là ICT, là cụm từ thường dùng như từ đồng nghĩa rộng hơn cho công nghệ thông tin (IT), nhưng thường là một thuật ngữ chung để nhấn mạnh vai trò của truyền thông hợp nhất và sự kết hợp của viễn thông (đường dây điện thoại và tín hiệu không dây), hệ thống quản lý tòa nhà thông minh và hệ thống nghe-nhin trong công nghệ thông tin hiện đại. "ICT" được sử dụng như là một thuật ngữ chung cho tat cả các loại công nghệ cho phép người dùng tạo, truy cập và thao tác với thông tin. ICT là một sự kết hợp của công nghệ thông tin và công nghệ truyền thông. -20- Như vậy, thuật ngữ lĩnh vực công nghệ thông tin và truyền thông là những từ, cụm từ biểu thị một khái niệm cụ thể thuộc lĩnh vực công nghệ thông tin và truyền thông, nghiên cứu máy tính, internet, video và các công nghệ liên quan khác.
Đa số thuật ngữ thường chỉ tập trung xuất hiện trong các văn bản khoa học trong cùng lĩnh vue. Từ các định nghĩa và đặc điểm đã nêu của một từ được cho là thuật ngữ, ta có thể xác định được một số dấu hiệu nhận biết giúp xác định một từ có khả năng là thuật ngữ lĩnh vực công nghệ thông tin và truyền thông trong văn bản khoa học thuộc lĩnh vực công nghệ thông tin và truyền thông như sau: - Thường chỉ xuất hiện trong các văn bản khoa học và tài liệu chuyên ngành trong cùng lĩnh vực (Công nghệ thông tin và truyền thông) - Là từ khóa trong văn bản (đa số là bài báo khoa học) - Là danh ngữ, thường là danh từ hay cụm danh từ - Là từ mới, thường có giải thích khái niệm đi kèm - Là từ được viết tắt trong văn bản, thường là những thuật ngữ được sử dụng nhiều lần trong văn bản 2. Từ điển cộng tác Từ điển là danh sách các từ ngữ được sắp xếp thành các từ vị chuẩn (lemma). Một từ điền thông thường cung cấp các giải nghĩa các từ ngữ đó hoặc các từ ngữ tương đương trong một hay nhiều thứ tiếng khác.
Ngoài ra còn có thể có thêm thông tin về cách phát âm, các chú ý ngữ pháp, các dạng biến thé của từ, lịch sử hay từ nguyên, cách sử dụng hay các câu ví dụ, trích dẫn. Từ điển là nơi giải thích thông tin về ngôn ngữ của con người một cách dễ hiểu và khách quan nhất. Thông thường từ điển được trình bày dưới dạng sách. Ngày nay, từ điển còn được số hóa và cung cấp dưới dạng phần mềm máy tính, ứng dụng trên nền web hay ứng dụng trên di động,.
Cộng tác là quá trình trao đổi, trợ giúp, phối hợp giữa một nhóm người nhằm đạt được một mục tiêu xác định. Việc cộng tác đã được con người thực hiện từ rất lâu và đây chính là cơ sở cho sự phát triển và hình thành nên xã hội loài người, giúp con người phát triển từ giai đoạn bầy đàn sang giai đoạn xã hội. Hoạt động cộng tác -21- của con người được thể hiện dưới nhiều hình thức khác nhau: Cộng tác trong công việc, cộng tác trong việc truyền đạt tri thức. Từ điển cộng tác là một loại từ điển cho phép các cá nhân sử dụng có thể sứa chữa, góp ý xây dựng để bộ từ điển ngày càng hoàn thiện và chính xác.
Từ điển công tác thường được xây dựng dưới dạng các bộ từ điển trực tuyến, miễn phí cho tat cả người sử dụng. Một bộ từ điển cộng tác trực tuyến thường đi kèm một cơ chế cộng tác. Một cơ chế cộng tác hiệu quả là một co chế cộng tác có khả năng vừa kích thích sự cộng tác của cá nhân, vừa hạn chế những ý kiến đóng góp không chính xác. Một cơ chế cộng tác hợp lý sẽ giúp xây dựng một ứng dụng cộng tác phát triển và thật sự hữu ích cho người dùng.
Một vài thuật toán thường sử dụng trong bài toán rút trích thuật ngữ 2. Sử dụng độ đo cục bộ TE TF - Term Frequency, độ đo cục bộ (local weight) là độ đo thống kê giá trị thông tỉn của một từ trong một văn bản theo tần số xuất hiện của từ đó trong văn bản. Theo đó, một từ được cho là từ khóa, là từ có chứa độ lợi thông tin càng cao thì số lần xuất hiện của từ trong văn bản càng cao và giá trị TF càng lớn. Giá trị TF, tần số xuất hiện của một từ trong một văn bản được tính bằng thương của số lần xuất hiện của một từ trong văn bản và số lần xuất hiện nhiều nhất của một từ bat ky trong van bản đó, giá trị sẽ thuộc khoảng [0, 1].
Cụ thể như sau: bốn f(t, d Trong đó: - f(t,d): số lần xuất hiện từ t trong văn bản d - max{f(w,d):w€d}: số lần xuất hiện nhiều nhất của một từ bất kỳ trong văn bản d Phương pháp rút trích từ dựa vào độ đo TF thường được áp dung và cho kết quả tốt trong các bài toán rút trích từ khóa trong một văn bản. Độ đo TF thường được sử dụng trong các phương rút trích từ khóa, thuật ngữ, phân loại văn ban,. -22- và thường được sử dụng kết hợp với độ đo toàn cục (global weight) hay các độ đo khác nhằm tăng độ tin cậy cho phương pháp. Kết hợp độ đo cục bộ TF và độ đo toàn cục IDF Hướng tiếp cận này thường sử dụng thông tin thống kê tần số xuất an để chọn lựa các từ khóa quan trọng trong văn bản.
Ưu điểm chính của các hướng tiếp cận dựa trên thông kê này là có thể áp dụng dễ dàng cho nhiều ngôn ngữ. Thong tin thống kê này thường bao gồm hai loại: Độ đo cục bộ và độ đo toàn cục. Độ đo cục bộ là độ đo thống kê của một từ trong nội bộ văn bản cần rút trích từ khóa. Trong khi đó độ đo toàn cục là độ đo.
thống kê của từ đó trong một tập hop nhiều văn bản khác nhau cho trước. Một số độ đo thống kê cục bộ thông dụng có thể được sử dụng đề lựa chọn các từ khóa quan trọng như: tần số xuất hiện (TF), độ phân bó chỉ bình phương (7 ), độ lợi thông tin (IG), thông tin tương hỗ (MD, hoặc độ mạnh của thuật ngữ (TS). Còn về độ đo thống kê toàn cục thì có thé kể đến độ đo IDF (Inverse Document Frequency), dùng để đo nghịch đảo sự phổ biến của một từ trong một tập hợp văn bản cho trước. Cần phải có một tập dữ liệu văn bản lớn cho trước đề có thể sử dụng độ đo toàn cục.
Hiện nay một thuật toán rút trích từ khóa dựa trên sự kết hợp của độ đo cục bộ và toàn cục là TF.IDF cũng cho kết quả khá tốt. Cách tiếp cận của TF.IDF sẽ ước lượng được độ quan trọng của một từ đối với một văn bản trong danh sách tập tài liệu văn bản cho trước. Nguyên lý cơ bản của TF.IDF [6] là: độ quan trọng của một từ sẽ tăng lên cùng với số lần xuất hiện của nó trong văn bản và sẽ giảm xuống nếu từ đó xuất hiện trong nhiều văn bản khác. Do đó độ đo sự quan trọng của một từ t trong tài liệu f sẽ được tính bằng: TF*/DF, với TF là độ phé biến của từt trong tài liệu f và IDF là nghịch đảo độ phổ biến của từt trong các tài liệu còn lại của tập tài liệu.
Công thức tổng quát như sau: Weight,; = TF * IDF Với: TF =Ns()/ Sw IDF = log(Sd/(d:ted)) -23- Trong đó: Ns() : Số lần xuất hiện của từ t trong tài liệu f Yw: Tổng số các từ trong tài liệu f Yd= tổng sé ti liệu d:téd : số liệu có chứa từ t Vi dụ, nếu chúng ta có một văn bản gồm 100 từ, trong đó từ “computer” xuất hiện 5 lần thì ta có độ phổ biến: TF(“computer”) = 5/100 = 0. Bay giờ giả sử chúng ta có 1000 tài liệu, trong đó có 200 tài liệu chứa từ “computer”. Lúc này ta sẽ tính được IDF(“computer”) = In(1000/200) = 1. Như vậy ta tính được độ do TF.IDF = TF * IDF = 0.
Độ đo này của từ càng cao thì kha năng là từ khóa càng lớn. Hướng tiếp cận độ đo TF.IDF này rất thông dụng hiện nay. Kết hợp độ đo cục bộ chỉ bình phương x? với độ đo toàn cục IDF Hướng tiếp cận này dựa vào thông tin thống kê trong nội bộ văn bản (độ phân bố chỉ bình phương - x”) và thông tin thống kê với tập dữ liệu bên ngoài văn bản (IDF) [8].7) “ ThyÐc EC NwPc Với: - freq(w, c) là số lần xuất hiện cùng nhau của từ w và nhóm c - My là tổng số từ có trong các câu mà w xuất hiện - p là tần suất xuất hiện của nhóm c Độ đo cục bộ chỉ bình phương _z? là một loại độ đo thống kê, thống kê độ phân bố của một từ trong văn bản. Độ đo này được xem như độ quan trọng của từ trong văn bản.