Chương 1: TỔNG QUAN 1.1 Giới hạn Shannon Trong bài báo “Lý thuyết toán học của thông tin”, Claude Shannon [57] đã giới thiệu các khái niệm cơ bản và các định lý, sau này tổng hợp lại được gọi là lý thuyết truyền tin. Các định nghĩa và mô hình cho hai phần tử quan trọng được trình bày trong lý thuyết của ông bao gồm nguồn nhị phân (BS- Binary Source) và kênh nhị phân đối xứng (BSC-Binary Symmetric Channel). Nguồn nhị phân là thiết bị sinh ra một trong hai ký hiệu ‘0’ và ‘1’ một cách ngẫu nhiên với tốc độ nhất định , đo bằng số ký hiệu trên giây. Các ký hiệu này được gọi là bít (con số nhị phân).
Kênh nhị phân đối xứng là phương tiện để truyền một bít trong một đơn vị thời gian. Tuy nhiên, kênh này có thể không tin cậy và được đặc trưng bởi xác suất lỗi p (0 p 1/ 2) là xác suất mà bít ra khác với bít vào tương ứng. Tính đối xứng của kênh thể hiện ở chỗ xác suất lỗi p giống nhau đối với cả hai ký hiệu liên quan. Lý thuyết truyền tin được xây dựng lên như một công cụ toán học để phân tích, đánh giá việc truyền tin giữa máy phát và máy thu qua kênh có lỗi, một mặt phân tích nguồn tin (đặc biệt là lượng tin sinh ra bởi nguồn), và mặt khác chỉ ra các điều kiện thực hiện việc truyền tin tin cậy trên các kênh có lỗi.
Ba nhóm kết quả chính trong lý thuyết này bao gồm: 1. Thứ nhất, đưa ra định nghĩa một đại lượng mới là lượng tin cùng với đơn vị đo hợp lệ, đảm bảo tính bền vững khi hiểu theo ý nghĩa vật lý với đầy đủ các đặc điểm của nó. Thứ hai, giải quyết mối quan hệ giữa lượng tin và nguồn sinh ra thông tin. Khái niệm này dẫn đến một định nghĩa quan trọng là lượng tin 10 trung bình của nguồn tin.
Kỹ thuật nổi tiếng liên quan tới khái niệm này là nén và mã hóa nguồn. Thứ ba, giải quyết mối liên hệ giữa lượng tin và kênh truyền tải lượng tin đó. Khái niệm này dẫn đến một định nghĩa quan trọng là dung lượng kênh. Một kỹ thuật nổi tiếng trong lý thuyết thông tin liên quan tới khái niệm này được gọi là mã hóa kênh.
Như vậy, mã hóa là một trong các kỹ thuật quan trọng nhất được sử dụng trong lý thuyết truyền tin. Nói chung, mã hóa là phép gán hai chiều giữa tập các bản tin được (sinh ra) phát đi và tập các từ mã dùng để (ghi) truyền các bản tin này. Đề tài nghiên cứu của luận án thuộc lĩnh vực truyền tin qua kênh có lỗi, và giới hạn Shannon đặt ra đối với mã hóa kênh được chỉ ra như sau: Nếu tốc độ thông tin của một nguồn nhất định không vượt quá dung lượng kênh thì khi đó tồn tại một kỹ thuật mã hóa có thể tạo ra sự truyền dẫn với một tỷ lệ lỗi thấp tùy ý trên kênh không tin cậy này. Lý thuyết này đã tiên đoán khả năng truyền không lỗi trên kênh không tin cậy hay kênh có nhiễu.
Điều này đạt được bằng cách sử dụng mã hóa. Lý thuyết của Shannon đã chỉ ra giới hạn truyền thông tin trên kênh có nhiễu và biện pháp khắc phục các giới hạn này bằng cách áp dụng kỹ thuật mã hóa phức tạp hơn nhưng không chỉ ra thực hiện kỹ thuật mã hóa này như thế nào. Sơ đồ khối của hệ thống thông tin liên quan đến lý thuyết truyền tin được chỉ ra trên Hình 1-1 cùng với hai kiểu mã hóa. Bộ mã kênh được thiết kế để sửa lỗi nhằm biến đổi kênh không tin cậy thành kênh tin cậy.
Ngoài ra, có bộ mã nguồn được thiết kế để tạo ra tốc độ thông tin nguồn phù hợp với dung lượng kênh.1 Lượng tin Ký hiệu xi là một trong các bản tin tùy ý có thể được nguồn phát đi và P ( xi ) Pi là xác suất mà bản tin này được phát đi. Có thể mô hình hóa đầu ra của nguồn tin này bằng một biến ngẫu nhiên X , coi X xi là sự kiện với xác suất P( X xi ) Pi khi ký hiệu xi xuất hiện trên đầu ra của nguồn. Shannon định nghĩa lượng tin của sự kiện xi là đại lượng đo theo hàm lô-ga-rít: 1 I i logb Pi logb (1.1) Pi Lượng tin của một sự kiện chỉ phụ thuộc vào xác suất xuất hiện của nó chứ không phụ thuộc vào nội dung. Nếu tính theo cơ số 2 thì lượng tin được đo bằng bít.
Nếu tính theo lô-ga-rít tự nhiên thì lượng tin được đo bằng nat. Mã hoá ut Mã hoá ct Điều chế st nguồn kênh Thông tin vào Kênh truyền Giải mã uˆ t Giải mã cˆ t Giải điều rt nguồn kênh chế Thông tin ra Hình 1-1. Sơ đồ khối hệ thống thông tin số đơn giản Có thể sử dụng công thức chuyển đổi cơ số lô-ga-rít như sau: 1 loga (x) logb (x).2) logb (a) Với bất cứ hai bản tin nguồn độc lập xi và x j có xác suất tương ứng là Pi và Pj , xác suất liên kết là P ( xi , x j ) Pi Pj thì lượng tin của hai bản tin này bằng tổng lượng tin của mỗi bản tin: 12 1 1 1 Iij logb logb logb Ii I j (1.3) PP i j Pi Pj 1.2 Entropy Nhìn chung, nguồn tin sinh ra một tập M ký hiệu khác nhau, được biểu diễn bằng biến ngẫu nhiên rời rạc X lấy bất kỳ giá trị nào trong dải A x1 , x2 ,. Mỗi ký hiệu xi được phát đi với xác suất Pi và chứa thông tin Ii.
Các xác suất của các ký hiệu thỏa mãn điều kiện là ít nhất một ký hiệu được phát đi nên: M P 1 (1.4) i i 1 Giả sử phân bố xác suất của các ký hiệu tuân thủ quá trình dừng (stationary) và các ký hiệu là độc lập và phát đi với tốc độ r ký hiệu trên giây. Nguồn có đặc điểm này gọi là nguồn không nhớ rời rạc (DMS-Discrete Memoryless Source). Mỗi ký hiệu chứa lượng tin Ii nên tập I1 , I 2 ,., I M có thể xem như là các giá trị của một biến ngẫu nhiên rời rạc với lượng tin trung bình: M M 1 H b X PI i i Pi logb (1.5) i 1 i 1 Pi Hàm này được định nghĩa là entropy của nguồn. Nếu tính với cơ số 2, entropy được tính bằng số bít trên giây: M M 1 H X PI i i Pi log2 bít / s (1.6) i 1 i 1 Pi Đối với nguồn nhị phân ( M 2 ) và giả sử xác suất của các ký hiệu có giá trị: P0 ; P1 1 Thì entropy bằng: H X Ω log2 1 1 log2 1 (1.7) 1 13 Hàm ( ) được sử dụng để biểu diễn entropy của nguồn nhị phân với lô-ga-rít cơ số 2.3 Kênh thông tin Định nghĩa: Kênh thông tin được đặc trưng bởi tập các ký hiệu tại đầu vào x1 , x 2 ,., xU và tập các ký hiệu tại đầu ra y1 , y 2 ,., yV và tập các xác suất có điều kiện P( yi / xi ) xác định mối quan hệ giữa đầu vào xi và đầu ra yi.
Xác suất này tương ứng với việc thu được ký hiệu yi nếu ký hiệu xi được phát đi trước đó. Mỗi ký hiệu nhị phân có một xác suất được phát đi. Xác suất của 0 và 1 được phát đi là và 1 tương ứng. Ký hiệu: x1 0, x2 1 và y1 0 và y2 1 1 p p Ma trận xác suất của kênh BSC là: Pch (1.
Kênh nhị phân đối xứng 14 Kênh xóa nhị phân (BEC): Trong phần lớn các trường hợp cơ bản, truyền dẫn thông tin nhị phân liên quan tới việc gửi đi hai dạng sóng khác nhau để đại diện các ký hiệu ‘0’ và ‘1’. Tại máy thu, quyết định tối ưu thường được sử dụng để quyết định dạng sóng thu được ứng với ‘0’ hay ‘1’ có bị ảnh hưởng của lọc và nhiễu trên kênh. Hoạt động này gọi là quyết định lọc phối hợp, đôi khi đưa ra kết quả không quyết định được. Nếu độ tin cậy của ký hiệu thu không cao, có thể lựa chọn cách chỉ ra kết quả nghi ngờ bằng ký hiệu xóa.
Việc sửa các ký hiệu xóa này sau đó thường sử dụng các công cụ khác thuộc phần khác của hệ thống. Kênh xóa nhị phân Việc sử dụng ký hiệu xóa này là cải tiến mô hình của kênh BSC và đưa ra mô hình kênh BEC (Binary Erasure Channel) được chỉ ra trên Hình 1-3. Đối với kênh BEC, p là xác suất xóa, 0 p 1 / 2 , và mô hình kênh có hai đầu vào và ba đầu ra. Khi giá trị thu được không tin cậy hay khối nhận được phát hiện có chứa lỗi thì thông báo xóa được chỉ ra bằng ký hiệu ‘?’.
Ma trận xác suất của kênh này như sau: 1 p p 0 Pch (1.4 Lượng tin tương hỗ Lượng tin tương hỗ khi phát đi xi và nhận được yi được định nghĩa là: P ( x i / yi ) I x i , y i log 2 bÝt (1.10) P ( xi ) Giá trị trung bình khi tính toán lượng tin tương hỗ giữa tất cả các cặp đầu vào - đầu ra của kênh được gọi là lượng tin tương hỗ trung bình: P( x / y ) I X , Y P xi , y j I xi , y j P xi , y j log2 i j bÝt/ký hiÖu (1.5 Dung lượng kênh rời rạc Khái niệm lượng tin tương hỗ trung bình dẫn đến khái niệm dung lượng kênh. Tham số này là đặc trưng của kênh và được định nghĩa là giá trị lớn nhất có thể của lượng tin tương hỗ trung bình của kênh: C s max I ( X , Y ) sè bÝt trªn ký hiÖu (1.12) P(x i) Nếu tốc độ tối đa (số ký hiệu trong một giây) là s thì dung lượng của kênh trên một đơn vị thời gian bằng: C sCs bps (1.13) Được xem là tốc độ truyền tin tối đa trên kênh.
