Luận văn: Chiết lọc thông tin pháp luật trong dữ liệu văn bản
Luận văn thạc sĩ nghiên cứu chiết lọc thông tin pháp luật từ dữ liệu văn bản. Tìm hiểu các phương pháp, kỹ thuật và ứng dụng thực tế trong lĩnh vực pháp lý.
Trường đại học
Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà NộiChuyên ngành
Công Nghệ Thông TinNgười đăng
Ẩn danhThể loại
luận văn thạc sĩPhí lưu trữ
30 PointMục lục chi tiết
Tóm tắt
I. Tổng Quan về Chiết Lọc Thông Tin Pháp Luật Từ Văn Bản
Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, khối lượng văn bản pháp luật tăng lên đáng kể. Việc chiết lọc thông tin pháp lý hiệu quả trở nên vô cùng quan trọng. Các kỹ thuật thống kê truyền thống không đáp ứng được yêu cầu phân tích dữ liệu pháp luật lớn. Khai phá tri thức từ cơ sở dữ liệu pháp luật là một hướng đi mới đầy tiềm năng. Dữ liệu văn bản là loại dữ liệu phổ biến nhất. Khai phá dữ liệu văn bản là quá trình khảo sát và phân tích một lượng lớn văn bản phi cấu trúc để khám phá tri thức mới. Bài toán chiết lọc thông tin là một trong những bài toán cơ bản của khai phá dữ liệu văn bản. Luận văn này tập trung vào nghiên cứu bài toán chiết lọc thông tin pháp luật từ văn bản, cụ thể là trích xuất tên các thực thể pháp luật. Mục tiêu là ứng dụng mô hình Entropy cực đại để giải quyết bài toán này. Các phương pháp tiếp cận bài toán thường được sử dụng như mô hình cây quyết định, mô hình Markov ẩn, và mô hình entropy cực đại. Ưu nhược điểm của từng phương pháp sẽ được nghiên cứu để lựa chọn phương pháp phù hợp nhất.
Luận văn này bao gồm 4 chương chính: Chương 1 trình bày tổng quan về khai phá dữ liệu văn bản, các bước chính trong quá trình trích xuất thông tin pháp lý, và phương pháp đánh giá hệ thống chiết lọc thông tin. Chương 2 trình bày về bài toán chiết lọc thông tin văn bản và một số phương pháp giải quyết, bao gồm mô hình cây quyết định, mô hình xác suất Naive Bayes, mô hình Markov ẩn, và mô hình Entropy cực đại. Chương 3 trình bày về ứng dụng mô hình entropy cực đại vào bài toán chiết lọc thông tin pháp luật. Hai bài toán cần giải quyết là bài toán tách câu và bài toán nhận dạng tên thực thể pháp luật. Chương 4 giới thiệu về hai thư viện phần mềm mã nguồn mở hỗ trợ mô hình entropy cực đại là Maxent và SharpEntropy. Tác giả đã xây dựng các module dùng cho tách câu và nhận dạng tên thực thể pháp luật trong văn bản tiếng Việt, tích hợp chúng vào bộ công cụ OpenNLP mã nguồn mở đã được xây dựng cho tiếng Anh. Phần cuối chương luận văn trình bày khái quát về chương trình thực nghiệm áp dụng các tập huấn luyện và các module được xây dựng ở trên và một số kết quả đánh giá hệ thống. Trong phần kết luận, luận văn tóm lược những công việc đã thực hiện trong thời gian qua và các kết quả đã đạt được, đồng thời cập đến những điểm còn hạn chế của luận văn và đưa ra phương hướng nghiên cứu trong thời gian tới.
1.1. Khám Phá Tri Thức và Ứng Dụng Trong Cơ Sở Dữ Liệu
Trong những năm gần đây, công nghệ thông tin và công nghiệp sản xuất phần cứng đã có những bước phát triển mạnh mẽ, đặc biệt là khả năng lưu trữ và thu thập thông tin. Các ngành công nghiệp, các lĩnh vực sản xuất kinh doanh như marketing, tài chính, ngân hàng, viễn thông, y tế … đều sử dụng các cơ sở dữ liệu rất lớn. Bên cạnh đó, nhu cầu con người ngày càng cần có nhiều thông tin với tốc độ nhanh để giúp việc ra quyết định, giúp việc trả lời những câu hỏi mang tính chất định tính dựa trên một lượng dữ liệu khổng lồ đã có. Những phương pháp quản trị và khai thác cơ sở dữ liệu truyền thống không thể đáp ứng được nhu cầu thực tế dẫn tới khuynh hướng phát triển một kỹ thuật mới tìm ra những tri thức tiềm ẩn, có ích từ tập dữ liệu khổng lồ mà chúng ta đang lưu trữ nhằm phục vụ cho công việc của các nhà quản lý, các chuyên gia, chuyên viên. Những lý do này là tiền phát triển ngành khoa học khám phá tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database).
Khám phá tri thức trong cơ sở dữ liệu là một quy trình nhận biết các mẫu (pattern) hoặc các mô hình trong kho dữ liệu khổng lồ. Các bước trong quá trình khám phá tri thức được mô tả trong hình dưới đây.
1.2. Khai Phá Dữ Liệu Văn Bản Tiếp Cận và Ứng Dụng Thực Tiễn
Trong cuộc sống, văn bản là một trong những dữ liệu phổ biến nhất, có mặt ở khắp mọi nơi và chúng ta thường xuyên bắt gặp hàng ngày. Cơ sở dữ liệu văn bản có thể chia làm 2 loại: Dạng không có cấu trúc (unstructured): đó là những văn bản thông thường thể hiện ngôn ngữ tự nhiên của con người và không có một cấu trúc nào cả. Dạng nửa cấu trúc (semi-structured): là những văn bản được tổ chức dưới dạng cấu trúc lồng chẳng hạn như những văn bản lưu trữ theo định dạng HTML, XML… Các vấn đề khai phá dữ liệu văn bản đã được đặt ra từ rất lâu và hiện nay vẫn là một vấn đề được quan tâm nhiều trong khám phá tri thức.
Khai phá dữ liệu văn bản (text mining) là quá trình tìm kiếm tri thức hay những thông tin có ích trong cơ sở dữ liệu văn bản không có cấu trúc. “Khai phá dữ liệu văn bản là sự khảo sát và phân tích một tập lớn các văn bản không có cấu trúc một cách tự động hoặc bán tự động khám phá ra những tri thức mới” [13]. Khai phá dữ liệu văn bản được ứng dụng trong rất nhiều lĩnh vực như tiếp thị, tìm việc, công nghiệp,… chẳng hạn trong các bộ phận bán hàng lẻ, một cửa hàng theo dõi việc mua hàng của một vài khách và thấy rằng vài khách này mua khá nhiều áo lụa, hệ thống khai thác dữ liệu sẽ tạo mối tương quan giữa khách hàng này và áo lụa, với thông tin có được bộ phận bán hàng sẽ tiếp thị trực tiếp đến khách hàng về các loại áo lụa mới. Trong trường hợp này hệ thống đã khám phá ra kiến thức mới về khách hàng.
1.3. Chiết Lọc Thông Tin Giải Pháp Cho Bài Toán Trích Xuất Dữ Liệu
Vấn đề chiết lọc thông tin (information extraction) xuất hiện đầu tiên vào khoảng cuối những năm 1960. Cho đến nay trên thế giới đã xuất hiện một số hệ thống chiết lọc thông tin và ngày càng có nhiều các nhà khoa học tham gia vào nghiên cứu lĩnh vực này. Một hệ thống chiết lọc thông tin (IE) có đầu vào là tập các văn bản thô và một truy vấn giới hạn được định nghĩa tốt dựa vào văn bản đó. Nhiệm vụ của hệ thống là tìm ra được những câu có các thông tin liên quan, trích chọn ra những thông tin liên quan và bỏ qua thông tin không liên quan. Liên kết các thông tin có liên quan với nhau và đưa ra kết quả theo một dạng đã được định nghĩa trước. Nói cách khác hệ thống IE trích chọn những thông tin đã được định nghĩa trước về các thực thể và mối quan hệ giữa các thực thể từ một văn bản dưới dạng ngôn ngữ tự nhiên và điền những thông tin này vào một bản ghi dữ liệu có cấu trúc hoặc một dạng mẫu được định nghĩa trước nào đó.
Chiết lọc thông tin là một lĩnh vực quan trọng trong khai phá dữ liệu văn bản, thực hiện trích chọn các sự kiện và các thông tin có cấu trúc từ các văn bản không có cấu trúc. Bài toán chiết lọc thông tin là khác với bài toán tìm kiếm văn bản. Hệ thống tìm kiếm văn bản với đầu vào là yêu cầu của người dùng và một tập văn bản rất lớn, kết quả hệ thống đưa ra tập văn bản là tập con của tập văn bản ban đầu, bao gồm các văn bản có liên quan tới yêu cầu của người dùng. Người dùng sẽ đọc các văn bản đó và lọc ra các thông tin mà mình cần dùng. Trong khi đó hệ thống chiết lọc thông tin sẽ chiết lọc và đưa ra chính xác các thông tin mà người dùng yêu cầu.
II. Bài Toán Chiết Lọc Thông Tin Văn Bản và Các Phương Pháp
Trong các cơ sở dữ liệu, dữ liệu dạng văn bản là phổ biến nhất. Các vấn đề nghiên cứu về chiết lọc thông tin trong văn bản đã được đặt ra từ lâu và hiện vẫn thu hút được nhiều nhà khoa học tham gia nghiên cứu.
Bài toán chiết lọc thông tin trong văn bản: Hệ thống cần chiết lọc từ văn bản đầu vào các thông tin cần thiết điền đầy đủ vào dạng mẫu đã cho (dữ liệu trong các bản ghi). Chúng ta cần chiết lọc các thông tin cần thiết điền vào các trường dữ liệu trong dạng mẫu. Nếu coi mỗi trường này là một lớp thì bài toán chiết lọc thông tin được coi như bài toán nhận dạng tên thực thể và phân lớp [13]. Việc nhận dạng tên thực thể và phân lớp được cập đến rất nhiều và là một vấn đề khó. Tên thực thể có thể là tên riêng của người, hay tên của một tổ chức, tên một địa điểm, cũng có thể là một biểu thức chỉ thời gian như ngày tháng, hay đơn vị tiền tệ, phần trăm.
2.1. Nhận Dạng Tên Thực Thể và Phân Lớp Thách Thức và Giải Pháp
Với những tên thực thể là thời gian hay tiền tệ, phần trăm thì việc nhận ra chúng rất đơn giản vì chúng có những dấu hiệu đặc trưng, chẳng hạn, ngày tháng có thể là các số cách nhau bởi dấu “/”, hay giờ thường là các số cách nhau bởi dấu “:”,… Tuy nhiên đối với thực thể là tên riêng của người, tên của tổ chức, cơ quan thì việc nhận dạng và phân biệt chúng cũng là một vấn đề hết sức phức tạp vì tên người nhiều khi trùng với tên cơ quan, tổ chức, tên địa điểm có thể nhầm với tên người… Mặt khác lớp những thực thể này là một lớp mở, có thể liên tục xuất hiện những đối tượng mới thêm vào cũng là một lý do làm cho việc nhận ra chúng trở nên khó khăn hơn.
Gắn liền với việc nhận dạng tên thực thể là vấn đề phân lớp. Các thực thể đã sau khi đã được nhận ra, cần phải được phân vào đúng các lớp. Các lớp ở đây có thể là lớp do dạng mẫu định nghĩa, cũng có thể là lớp do người sử dụng định nghĩa phục vụ cho các mục đích khác nhau. Để thực hiện các công việc này có rất nhiều phương pháp khác nhau được sử dụng, mỗi phương pháp đều có những ưu điểm nhược điểm. Việc lựa chọn sử dụng phương pháp nào đạt hiệu quả còn tuỳ thuộc vào mục đích của người dùng và đặc điểm của dữ liệu. Dưới đây, luận văn giới thiệu khái quát bốn phương pháp chính thông dụng đang được sử dụng, nghiên cứu và phát triển.
2.2. Mô Hình Cây Quyết Định Ưu Điểm và Hạn Chế Trong Phân Lớp
Trong lý thuyết quyết định, một cây quyết định là một đồ thị những quyết định và những kết quả có khả năng của chúng (bao gồm cả giá phải trả và rủi ro) được sử dụng tạo ra một hướng đi tối ưu. Cây quyết định là một dạng đặc biệt của cấu trúc cây được xây dựng để giúp việc ra quyết định. Trong lĩnh vực học máy cây quyết định là một mô hình dự đoán, có nghĩa là từ việc quan sát các item rút ra kết luận về giá trị ích của item đó. Mỗi nút bên trong tương ứng với một biến, mỗi cung đi tới một nút con tương ứng với giá trị có thể của biến đó. Các lá tương ứng với giá trị ích. Kỹ thuật học máy sử dụng việc xây dựng cây quyết định trên tập dữ liệu được gọi là học cây quyết định hay đơn giản chỉ là cây quyết định. Học cây quyết định cũng là một phương pháp rất thông dụng trong khai phá dữ liệu. Trong đó cây quyết định mô tả cấu trúc cây mà ở đó các lá đại diện cho các lớp và các nhánh cây biểu diễn sự kết hợp của các đặc trưng dẫn dắt tới việc phân lớp.
Một cây quyết định có thể được học bằng cách chia tập nguồn thành các tập con dựa trên giá trị các thuộc tính kiểm tra [4, 15]. Quá trình này được lặp lại trên từng tập con thu được. Qúa trình quy sẽ kết thúc khi không thể chia tiếp được nữa hoặc khi từng phần tử cuối tập con được gắn cùng một lớp.
2.3. Mô Hình Markov Ẩn HMM Nguyên Lý Hoạt Động và Ứng Dụng
Mô hình Markov ẩn (Hidden Markov Model --HMM) là một mô hình thống kê trong đó hệ thống được mô hình hoá như là một quy trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được. Trong mô hình Markov điển hình, trạng thái được quan sát trực tiếp bởi người quan sát và vì vậy các xác suất chuyển tiếp trạng thái là các tham số duy nhất. Mô hình Markov ẩn thêm vào các đầu ra: mỗi trạng thái có xác suất phân bố trên các biểu hiện đầu ra có thể. Vì vậy khi nhìn vào dãy các biểu hiện được sinh ra bởi HMM không trực tiếp chỉ ra dãy các trạng thái. Các chuyển tiếp trạng thái trong mô hình Markov ẩn
III. Ứng Dụng Mô Hình Entropy Cực Đại MEM Trong Pháp Luật
Khái niệm Maximum Entropy (ME) đã có lịch sử từ rất lâu, tuy nhiên chỉ thời gian gần đây với việc xuất hiện những máy tính có năng lực tính toán cao thì khái niệm này mới được sử dụng một cách rộng rãi trong các ứng dụng thực tế liên quan tới ước lượng thống kê và nhận dạng mẫu.Jaynes trình bày đầu tiên vào năm 1957 như là sự giải thích cho thuật toán Gibbs trong kỹ thuật thống kê. Ông đã xuất nguyên lý này trong động lực học và trong entropy nhiệt động học, được xem như là một ứng dụng cụ thể của những phương pháp suy luận chung và trong lý thuyết thông tin (information theory).Nguyên lý của mô hình maximum entropy phát biểu rằng khi muốn tìm kiếm một phân bố xác suất p thoả mãn một số ràng buộc nào đó, một lựa chọn đúng đắn là chọn phân bố xác suất làm cực đại hoá không chắc chắn (uncertainty) của những ràng buộc này (hay làm cực đại hoá đo entropy đối với những ràng buộc này).Đặc điểm của mô hình ME là mô hình hoá tất cả những gì đã biết và khi không có thông tin phân biệt giữa xác suất của hai hay nhiều sự kiện thì cách tốt nhất là xem xét chúng với khả năng như nhau. Mục đích của mô hình là tìm phân phối xác suất chuẩn nhất phù hợp. Ưu việt của lý thuyết thông tin (Information Theory)
3.1. Tổng Quan về Hệ Thống Văn Bản Pháp Luật Việt Nam
Pháp luật nước ta được ban hành bởi các cơ quan có thẩm quyền trong bộ máy hành chính nhà nước. Các đơn vị hành chính của nước Cộng hòa xã hội chủ nghĩa Việt Nam được phân định như sau: Nước chia thành tỉnh, thành phố trực thuộc trung ương; Tỉnh chia thành huyện, thành phố thuộc tỉnh và thị xã thành phố trực thuộc trung ương chia thành quận, huyện và thị xã; Huyện chia thành xã, thị trấn; thành phố thuộc tỉnh, thị xã chia thành phường và xã quận chia thành phường.Việc thành lập Hội đồng nhân dân và Ủy ban nhân dân ở các đơn vị hành chính do luật định. Mỗi cơ quan, từ trung ương đến địa phương đều có quyền ban hành các văn bản pháp luật tuỳ theo cấp bậc và nhiệm vụ của từng tổ chức.Các văn bản pháp luật rất quan trọng trong đời sống xã hội bởi vì nó quy định quyền và nghĩa vụ của các tổ chức, cá nhân, ảnh hưởng đến toàn bộ hoạt động trong xã hội. Mỗi ngày có thể có đến hàng chục văn bản pháp luật. Do đó kho dữ liệu về văn bản pháp luật rất lớn và phong phú, đa dạng.
Một số loại văn bản pháp luật và cơ quan ban hành trong hệ thống luật Việt Nam: Hiến pháp nước Cộng hòa xã hội chủ nghĩa Việt Nam là luật cơ bản của Nhà nước, có hiệu lực pháp lý cao nhất. Mọi văn bản pháp luật khác phải phù hợp. Hiến pháp do Quốc hội ban hành. Chỉ có Quốc hội mới có quyền sửa đổi Hiến pháp.
3.2. Đặc Điểm Thông Tin Pháp Luật Việt Nam Ngôn Ngữ và Cấu Trúc
Luận văn tập trung nghiên cứu trên tập các văn bản pháp luật Việt Nam với ngôn ngữ tiếng Việt. Bất kỳ một ngôn ngữ nào cũng có các đặc trưng riêng, hơn nữa tiếng Việt còn là ngôn ngữ rất đa dạng, phong phú về từ ngữ, ngữ pháp. Một số đặc điểm của Tiếng Việt được liệt kê dưới đây:
Tiếng Việt thuộc ngôn ngữ đơn lập, tức là mỗi một tiếng (âm tiết) được phát âm tách rời nhau và được thể hiện bằng một chữ viết. Đặc điểm ngữ âm: Trong tiếng Việt có một loại đơn vị đặc biệt gọi là "tiếng". Về mặt ngữ âm mỗi tiếng là một âm tiết. Đặc điểm từ vựng: mỗi tiếng, nói chung, là một yếu tố có nghĩa. Tiếng là đơn vị cơ sở của hệ thống các đơn vị có nghĩa của tiếng Việt. Từ tiếng người ta tạo ra các đơn vị từ vựng khác như phương pháp ghép và láy từ. Vốn từ vựng tối thiểu của tiếng Việt phần lớn là các từ đơn tiết (một âm tiết, một tiếng).Sự linh hoạt trong sử dụng, việc tạo ra các từ ngữ mới một cách dễ dàng đã tạo điều kiện thuận lợi cho sự phát triển vốn từ, vừa phong phú về số lượng, vừa đa dạng trong hoạt động.Một hoạt động hay một đặc trưng, có thể được biểu thị theo nhiều cách khác nhau.
IV. Xây Dựng Hệ Thống Chiết Lọc Thông Tin Pháp Luật Với MEM
Để xây dựng được bài toán chiết lọc thông tin pháp luật như trên, trước hết chúng ta cần thực hiện tách câu văn bản, với mỗi câu, chúng ta lại thực hiện nhận dạng ra tên các thực thể xuất hiện trong câu. Các bước trong quá trình chiết lọc thông tin được thực hiện như sau:
4.1. Bài Toán Chiết Lọc Thông Tin Pháp Luật Mục Tiêu và Phạm Vi
Bài toán: Cho vào một đoạn văn bản (text), trong văn bản đó có thể có chứa một số các thông tin về pháp luật (có thể được biểu diễn dưới dạng 1 tên riêng NE) Xác định tất cả các tên riêng pháp luật trong văn bản đó Phân loại tất cả các thể loại về pháp luật đó. Ví dụ, đưa vào một văn bản có cụm từ "quyền thừa kế" thì chương trình phải nhận ra được cụm từ này và xếp nó vào loại tên riêng thuộc luật dân sự.
4.2. Mô Hình ME cho Bài Toán Chiết Lọc Thông Tin Pháp Luật
Để xây dựng được bài toán chiết lọc thông tin pháp luật như trên, trước hết chúng ta cần thực hiện tách câu văn bản, với mỗi câu, chúng ta lại thực hiện nhận dạng ra tên các thực thể xuất hiện trong câu. Các bước trong quá trình chiết lọc thông tin được thực hiện như sau:
24/09/2025
