phần mở đầu của khoảng 50,000 trang phố biến và chọn ngẫu nhiên mỗi câu dé cho các annototar tạo ra các khang định về một sự thật duy nhất liên quan đến thực thé chính của trang Wikipedia. Các annotator cũng được yêu cầu tạo ra các biến thể của các khẳng định, sử dụng các phép biến đổi như diễn giải lại, phủ định, thay thế thực thể hoặc quan hệ dé làm cho khang định trở nên tổng quát hoặc cụ thé hơn. Nhiệm vụ thứ hai là đánh nhãn các khẳng định, trong đó các annotator phải phân loại mỗi khẳng định là SUPPORTED (Được hỗ trợ), REEUTED (Bị bác bỏ) hoặc NOTENOUGHINFO (Không đủ thông tin). Họ phải tìm kiếm bang chứng từ các trang Wikipedia để chứng minh hoặc bác bỏ từng khăng định và sử dụng giao diện đánh nhãn như hình 2.1 để ghi nhận câu chứng cho sự phân loại.
Quy trình này 11 đảm bảo sự nhất quán giữa các annotator và tính chính xác của dữ liệu bằng việc đánh giá 5 chiều, so sánh với các annotator khác và xác minh bằng tay bởi các tác giả. Quy trình xây dựng này giúp tạo ra tập dữ liệu chất lượng, hỗ trợ cho việc phát triển và đánh giá các công cụ xử lý ngôn ngữ tự nhiên. Claim Labelling Task (WF2) Claim Barbara Bush was a spouse of a United States president during his term. | submit | = Skip (opens menu) Home = Guidelines Wikipedia article for Barbara Bush Add a custom page from Wikipedia if If you need to combine multiple essential information is missing from the sentences from the original page =.
the claim mentions an (Barbara Bush), this will add it to the FeesBan Xem, Noo nh ah W eee me wiebao “Supports entity that does not appear in the dictionary so that it can form part of the - ‘st Presi of the Unit les vet Wk " % H + 'Wikipedi for Barbara Bush ti ide Ệ First Lady of the United States from 1989 to 1993. XRefutes bianca! = pasar Cancel Add Custom Page Add Main Wikipedia Page (Barbara Bush) She is the mother of George W. Bush , the 43rd President, and Jeb Expand Bush , the 43rd Governor of Florida. Quick Links First Lady of the United States She served as the Second Lady of the United States from 1981 to 1989.
Bush List of Presidents of the United States First Lady of the United States Barbara Pierce was born in Flushing, New York. Expand First Lady of the United States (FLOTUS) is the informal but accepted title held by the wife of the President of the United States, concurrent with the president's term of She attended Milton Public School from 1931 to 1937, and Rye Country Expand DI Go Raw Schaal fram 1937-1940 Hình 2.1 Giao điện đánh nhãn các câu khang dinh 12 Chương 3. XÂY DỰNG BO DU LIEU Chương 3 sẽ trình bày quy trình xây dựng bộ dit liệu ViFEVER từ việc thu thập dữ liệu, tiền xử lý dit liệu, tuyển chọn đội ngũ và hướng dẫn tạo dữ liệu cùng với đó là việc đánh giá và kiểm tra lại dữ liệu từ đó đảm bảo dữ liệu đạt chat lượng cao. Mô tả bộ dữ liệu ViIFEVER Bộ dữ liệu ViFEVER được tạo ra nhằm giải quyết bài toán kiểm tra và xác thực thông tin dựa trên suy luận số liệu.
Cấu tạo của bộ dữ liệu gồm bốn phần chính: Đoạn văn tiền đề, câu khẳng định, nhãn suy luận và bang chứng. Bộ dữ liệu được xây dựng dựa trên các bài báo trên trang trực tuyến và được xử lý dé chỉ lay những đoạn có chứa số liệu. Ngoài ra, dé xây dựng được một bộ dữ liệu có chất lượng tốt thì cần phải thực hiện theo một quy trình xây dựng dữ liệu được trình bày ở phần bên dưới. Quy trình xây dựng dữ liệu Chúng em tiến hành xây dựng đữ liệu theo một quy trình chặt chẽ nhăm đảm bảo tính chính xác, độ tin cậy và chất lượng cho bộ dữ liệu.
Quy trình được tham khảo từ quy trình xây dựng bộ dữ liệu ViNLI [17] và FEVER [1] được thé hiện ở hình 3.1 và gồm bốn giai đoạn chính: thu thập đoạn văn tiền đề, tuyển chọn đội ngũ tạo dữ liệu, tạo câu khẳng định và tìm bằng chứng và kiểm tra lại dữ liệu. vN[äx PRESS Thu thập dữ liệu Dữ liệu là đoạn Câu khẳng định —_ Kiểm tra dữliệu =| 800 Bai báo ne ee văn chứa số liệu ~~ va bảng ching. —> trực tuyến Tiền xử lý dữ liệu Bộ dữ liệu ViFever | Độ đồng thuận >0.1 Quy trình xây dựng bộ dit liệu ViFEVER 13 3. Thu thập dữ liệu Chúng em tiến hành thu thập hơn 10.000 bài báo được đăng tải trên trang báo điện tử có độ uy tín cao ở Việt Nam VnExpress.
trải dài trên 12 chủ đề khác nhau gồm: Số hóa, du lịch, giáo dục, giải trí, khoa học, kinh doanh, pháp luật, sức khỏe, thế gidi, thé thao, thời sự và xe. Sau đó chúng em tiến hành xử lý sơ bộ các dữ liệu đã được tải về dé lay ra các đoạn văn chỉ chứa số liệu. Tuyến chọn đội ngũ tạo dữ liệu Quá trình tuyển chọn và huấn luyện được tham khảo từ quy trình của bộ dữ liệu FEVER [1] thực hiện theo các bước ở hình 3. Người tao dữ liệu là người tao dữ liệu là người Việt có nền tảng và khả năng truyền đạt ngôn ngữ tốt và phải tham gia một đợt huấn luyện dé hiểu rõ các quy tắc và tiêu chí đánh giá dit liệu.
Sau khi người tao dữ liệu đọc hiệu bộ quy tắc tao dữ liệu thì sẽ viết ra 20 câu khang định cho bộ huấn luyện dữ liệu. Sau đó sẽ tiến hành che đi các nhãn Hỗ trợ, Bác bỏ, Không đủ thông tin của các cặp đoạn văn tiền đề - câu khăng định. Tiếp đến tiến hành việc gán nhãn cho các câu khăng định trên. Tỷ lệ đồng thuận được đánh giá theo hệ số Kappa của Cohen [5], nếu tỷ lệ đồng thuận khi gán nhãn đạt trên 0.95 thì người tạo dữ liệu sẽ được tham gia vào việc xây dựng dữ liệu chính thức.
Nếu tỷ lệ đồng thuận thấp, người tạo dữ liệu cần xem lại những lỗi đã mắc và thực hiện lại quá trình huấn luyện với bộ dit liệu mới. Trong quá trình huấn luyện nếu có những bất đồng trong việc gán nhãn, chúng em sẽ xem xét và nếu can thiết sẽ tiến hành tinh chỉnh các quy tắc viết câu, dé đảm bảo dit liệu có chất lượng tốt và độ chính xác cao. @® + Dat @ —` Tạo câu khẳng dinh ———> Đánh giá đồng thuận —_, < pg đồng thuận>0.95`> ——> | , Người tạo dữ liệu Không đạt được chấp nhận a € Guideline Hinh 3.2 Quy trinh tuyén chọn người tao bộ dữ liệu ViFEVER 14 3. Tạo câu khẳng định và tim bằng chứng Người tạo dữ liệu được yêu cầu tạo ra các câu khẳng định chứa các số liệu và nội dung đã được đề cập ở đoạn văn gốc nhưng được diễn giải lại bằng su sáng tao và vốn ngôn từ riêng của người đặt, hạn chế dùng lại các từ hoặc cụm từ đã xuất hiện trong đoạn văn tiền đề.
Người đặt câu sẽ tạo ba câu khăng định cho ba nhãn theo hướng dẫn sau: e_ Hỗ trợ (Supported): câu suy luận đúng với thông tin và số liệu đã được dé cập trong đoạn văn gốc. e Bac bỏ (Refuted): câu suy luận sai với thông tin và số liệu được đề cập trong đoạn văn gốc. e Không đủ thông tin (NotenoughInfo): câu chưa thể kết luận được đúng hoặc sai với thông tin va sô liệu được dé cập trong đoạn văn gôc. Bên cạnh đó người đặt câu được yêu cầu phải tìm bằng chứng cho hai nhãn đã viết là Hỗ trợ và Bác bỏ.
Các bằng chứng được thực hiện bằng cách chọn từng câu trong đoạn tiền đề có liên quan đến câu khẳng định ma người tạo dữ liệu vừa viết. Số lượng bang chứng được giới han là tối thiêu một bang chứng và tối đa bốn bang chứng đối với từng câu khang định. Dé tạo ra các câu khang định, người tạo dữ liệu có thé tham khảo những quy tắc viết câu được cung cấp trong hướng dẫn. Người tạo dữ liệu cần phải viết ba câu khăng định và tìm bằng chứng (đối với hai nhãn Hỗ trợ và Bác bỏ) cho từng đoạn tiền đề.1 Quy tắc tạo câu khẳng định của nhãn Hỗ trợ STT Quy tắc 1 Biên đôi câu trúc câu từ chủ động sang bị động và ngược lại 2 _ Thay thé bang từ đồng nghĩa, tương tự 15 3.
Thêm/lược bỏ bổ nghĩa mà vẫn giữ nguyên ý nghĩa ban đầu của câu 4 Déi danh từ đại diện thành mệnh dé quan hệ 5 _ Đổi tân ngữ thành mệnh dé quan hệ 6 __ Đối tính từ thành mệnh dé quan hệ 7 __ Thay thé các cụm từ định lượng khác có ý nghĩa tương tự 8 Tao câu tiền giả định 9 Truong hợp khác Bang 3.2 Quy tắc tạo câu khẳng định của nhãn Bác bỏ STT Quy tắc 1 Dung từ phủ định 2 _ Thay thé băng từ trái nghĩa 3 Cấu trúc suy luận sai về thực thể 4 Cau trúc suy luận sai về sự kiện 5. Tạo câu mang ý nghĩa trái ngược với đoạn tiền giả định 6 Trường hợp khác Cấu trúc biểu diễn của dữ liệu được lưu trữ dưới dang json bao gồm phần đoạn văn (paragraph), các câu khang định (claim), các nhãn (label) của câu và đoạn văn tương ứng, ngoài ra còn có danh sách các chứng cứ (evidence). Dưới đây là cấu trúc của một mẫu dữ liệu sau khi hoàn thành: Trong đó “paragraph”: Nội dung đoạn văn. “evidence start”: VỊ trí kí tự dau tiên của băng chứng.
16 “link”: đường dẫn đến trang bài báo. “annotator_labels”: tên nhãn của câu. “evidence”: Danh sách các bang chứng. “context”: Nội dung bài báo.
“sentenceID”: id cua bài báo. “topic”: tên chủ dé. “claim”: Câu khang định được suy luận từ đoạn van. “id”: id của câu khang định.
"paragraph": "Ba mẹ con được đưa vào Bệnh viện Sản nhỉ Phú Thọ cấp cứu, bác sĩ chẩn đoán nhiễm độc thức ăn, hiện chưa rõ loại độc tố. Sau một ngày điều trị tích cực bằng truyền dịch, sử dụng kháng sinh, bù điện giải, các bệnh nhân đỡ nôn, đỡ mất nước, sức khỏe phục hồi.", “evidence start 4"; "" "evidence start 3"; "", "link": "https: \/\/vnexpress.net\/an-nam-moc-dai-moc-t rong-vuon-ba-me-con-ngo-doc-4647856.htm1 "„ start 2": "", "evidence “annotator_label [ "Supported" ], “label": "Supported", “evidence start 1": "@", “evidence 1": "Ba mẹ con được đưa vào Bệnh viện Sản nhỉ Phú Tho cấp cứu, bác si chẩn đoán nhiễm độc thức an, hiện chưa rõ loại độc tố.", "evidence ` “evidence “evidence 4": "", "context": "Ba mẹ con được đưa vào Bệnh viện Sản nhỉ Phú Tho cấp cứu, bác si chẩn đoán nhiễm độc thức an, hiện chưa rõ loại độc tố.