Luận án tiến sĩ a laminar cortical model of three dimensional surface perception and figure ground separation stereogram depth lightness and amodal completion

Luận án tiến sĩ nghiên cứu a laminar cortical model of three dimensional surface perception and figure ground separation, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng

• Đề tài: Mô Hình Vỏ Não Laminar Trong Nhận Thức Bề Mặt 3D và Phân Tách Hình Nền

Tóm tắt

I. Tổng Quan Mô Hình Vỏ Não Laminar và Nhận Thức 3D

Khi quan sát một cảnh 3D, hai mắt thu nhận hình ảnh 2D, nhưng chúng ta dễ dàng nhận thức thế giới có chiều sâu. Sự khác biệt vị trí của các hình chiếu đối tượng lên mắt người quan sát, hay còn gọi là binocular disparity, là một dấu hiệu mạnh mẽ để nhận biết chiều sâu. Binocular disparity hiệu quả nhất khi các đối tượng ở gần. Đối với các đối tượng ở xa, các dấu hiệu đơn mắt như T-junctions có thể được sử dụng để xác định chiều sâu khi một đối tượng ở gần hơn và che khuất đối tượng khác. Công trình này phát triển một mô hình thần kinh về cách LGN dưới vỏ não và các vùng thị giác V1, V2, và V4 phối hợp để tạo ra nhận thức chính xác về ranh giới và bề mặt 3D từ các kích thích hai mắt chứa thông tin về disparity và occlusion. Các đặc điểm của đối tượng được nhìn thấy trên các bề mặt 3D được truyền tải với độ sáng và màu sắc ở độ sâu chính xác. Hầu hết các mô hình trước đây về stereopsis chỉ tập trung vào cách các đường viền có thể được khớp, mà không giải thích cách quá trình khớp này tự phát tạo ra nhận thức liên tục về độ sâu của các đặc điểm bề mặt, bao gồm cả độ sáng.

1.1. Cơ Chế Nhận Thức Chiều Sâu và Thị Giác Máy Tính

Nhận thức chiều sâu là một yếu tố quan trọng trong thị giác máy tính và trí tuệ nhân tạo. Các mô hình trước đây thường tập trung vào việc khớp các đường viền, bỏ qua cách quá trình này tạo ra nhận thức liên tục về độ sâu và độ sáng. Mô hình vỏ não laminar được đề xuất nhằm giải quyết vấn đề này bằng cách mô phỏng cách các lớp vỏ não khác nhau tương tác để tạo ra nhận thức 3D. Mô hình này có thể ứng dụng trong các lĩnh vực như robot, xe tự hành và thực tế ảo, nơi nhận thức chiều sâu chính xác là rất quan trọng. Các nghiên cứu về mạng nơ-ron và học sâu cũng đang được áp dụng để cải thiện khả năng nhận thức chiều sâu của máy móc.

1.2. Tầm Quan Trọng của Binocular Disparity trong Nhận Thức 3D

Binocular disparity là sự khác biệt về vị trí của một đối tượng khi nhìn từ hai mắt. Sự khác biệt này là một dấu hiệu quan trọng để não bộ suy ra chiều sâu. Các nghiên cứu đã chỉ ra rằng binocular disparity đặc biệt quan trọng đối với các đối tượng ở gần. Khi các đối tượng ở xa, các dấu hiệu đơn mắt như occlusion (sự che khuất) trở nên quan trọng hơn. Mô hình vỏ não laminar cần phải tích hợp cả hai loại dấu hiệu này để tạo ra nhận thức 3D chính xác. Các thuật toán xử lý hình ảnh và phân tích cảnh cũng cần phải xem xét binocular disparity để cải thiện khả năng nhận thức chiều sâu.

II. Thách Thức trong Phân Tách Hình Nền và Nhận Thức Bề Mặt 3D

Việc phân tách hình nền và nhận thức bề mặt 3D đặt ra nhiều thách thức cho các mô hình thị giác máy tính. Các stereogram dày đặc chứa nhiều điểm ảnh, tạo ra nhiều kết hợp hai mắt tiềm năng, khiến bài toán tương ứng trở nên khó giải quyết. Các stereogram thưa thớt lại đặt ra thách thức trong việc gán độ sâu bề mặt cho các vùng ảnh không có đặc điểm, nơi độ sâu cục bộ không rõ ràng. Khi các stereogram có cấu trúc xác định các bề mặt che khuất và bị che khuất, mô hình cần phải tách biệt chính xác độ sâu của các bề mặt này và hoàn thành một cách amodal các bề mặt bị che khuất phía sau bề mặt che khuất. Điều này đòi hỏi một cơ chế phức tạp để xử lý thông tin về occlusion và tái tạo 3D.

2.1. Vấn Đề Tương Ứng trong Stereogram Dày Đặc

Trong stereogram dày đặc, có rất nhiều điểm ảnh tương ứng tiềm năng giữa hai hình ảnh mắt trái và mắt phải. Điều này tạo ra một vấn đề tương ứng phức tạp, trong đó mô hình phải xác định các điểm ảnh tương ứng chính xác để suy ra độ sâu. Các thuật toán truyền thống thường gặp khó khăn trong việc giải quyết vấn đề này do sự mơ hồ và nhiễu. Mô hình vỏ não laminar cần phải có một cơ chế để giải quyết vấn đề tương ứng một cách hiệu quả, có thể thông qua việc sử dụng các ràng buộc về độ mượt và tính liên tục của bề mặt.

2.2. Gán Độ Sâu cho Vùng Thiếu Đặc Điểm trong Stereogram Thưa Thớt

Trong stereogram thưa thớt, có ít điểm ảnh tương ứng hơn, khiến việc gán độ sâu cho các vùng thiếu đặc điểm trở nên khó khăn. Các thuật toán chỉ dựa vào binocular disparity cục bộ không thể suy ra độ sâu trong các vùng này. Mô hình vỏ não laminar cần phải có một cơ chế để nội suy độ sâu từ các điểm ảnh tương ứng lân cận, có thể thông qua việc sử dụng các quá trình nhóm nhận thức và hoàn thành bề mặt. Thông tin thị giác từ các vùng lân cận cần được tích hợp để tạo ra một nhận thức 3D hoàn chỉnh.

2.3. Xử Lý Occlusion và Hoàn Thành Amodal trong Nhận Thức 3D

Occlusion xảy ra khi một đối tượng che khuất một phần của đối tượng khác. Mô hình cần phải có khả năng nhận biết và xử lý occlusion để tạo ra một nhận thức 3D chính xác. Hoàn thành amodal là quá trình mà não bộ điền vào các phần bị che khuất của một đối tượng. Mô hình vỏ não laminar cần phải có một cơ chế để thực hiện hoàn thành amodal, có thể thông qua việc sử dụng các quá trình suy luận dựa trên kiến thức trước về hình dạng và cấu trúc của đối tượng.

III. Mô Hình Vỏ Não Laminar 3D 3D LAMINART Cải Tiến

Mô hình 3D LAMINART (Grossberg và Howe, 2003; Cao và Grossberg, 2005) đề xuất các cơ chế laminar cho nhận thức bề mặt 3D sử dụng các tương tác giữa các biểu diễn ranh giới và bề mặt. Công trình này mở rộng mô hình 3D LAMINART để dự đoán cách các hình ảnh có cấu trúc với nhiều kết hợp hai mắt tiềm năng, stereogram dày đặc, tạo ra các biểu diễn bề mặt 3D chính xác cho hình và nền. Mô hình này cho thấy cách các stereogram thưa thớt có thể tạo ra sự hình thành các bề mặt liên tục ở độ sâu chính xác trên các vùng không có độ tương phản. Hơn nữa, khi các stereogram có cấu trúc xác định các bề mặt che khuất và bị che khuất, mô hình cho thấy cách các bề mặt này được tách biệt chính xác về độ sâu và các bề mặt có cấu trúc bị che khuất có thể được hoàn thành một cách amodal phía sau bề mặt có cấu trúc che khuất.

3.1. Tương Tác Giữa V1 và V2 trong Xử Lý Stereopsis

Mô hình cho thấy cách các tương tác giữa V1 và V2 đóng góp vào stereopsis, và đề xuất cách một disparity và các quy luật nhóm nhận thức 3D trong V2 với các hoạt động bề mặt 3D trong V1, V2, và V4 tạo ra nhận thức hình-nền phù hợp. Những tương tác này giúp chuyển đổi sự hình thành ranh giới và bề mặt bổ sung (Grossberg, 1994) thành một nhận thức thống nhất, nhất quán. Vỏ não thị giác đóng vai trò quan trọng trong việc xử lý thông tin về độ sâu và hình dạng.

3.2. Cơ Chế Phản Hồi Bề Mặt Ranh Giới và Loại Bỏ Ranh Giới Giả

Để loại bỏ các ranh giới giả, mô hình đã được mở rộng để bao gồm phản hồi giữa các biểu diễn ranh giới và bề mặt, được dự đoán xảy ra giữa các interblob và blob của V1, tương ứng. Cụ thể, các bề mặt đơn mắt thành công trong các blob được dự đoán sẽ gửi phản hồi bề mặt-tới-đường viền nhạy cảm với đường viền đến các interblob của V1. Tín hiệu thần kinh được truyền tải giữa các lớp vỏ não để đảm bảo tính nhất quán trong nhận thức.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu Mô Hình 3D LAMINART

Mô hình này cung cấp một lời giải thích thống nhất về stereopsis, phân tách hình nền 3D, và hoàn thành các bề mặt đối tượng bị che khuất. Mô hình này giải thích cách các tương tác giữa V1 và V2 đóng góp vào stereopsis, và đề xuất cách một disparity và các quy luật nhóm nhận thức 3D trong V2 với các hoạt động bề mặt 3D trong V1, V2, và V4 tạo ra nhận thức hình-nền phù hợp. Những tương tác này giúp chuyển đổi sự hình thành ranh giới và bề mặt bổ sung (Grossberg, 1994) thành một nhận thức thống nhất, nhất quán.

4.1. Mô Phỏng Stereogram Ngẫu Nhiên Điểm Ảnh RDS Dày Đặc

Stereogram ngẫu nhiên điểm ảnh (RDS) dày đặc chứa các điểm ảnh dày đặc. Chúng thách thức não bộ tạo ra nhiều kết hợp hai mắt, và khiến bài toán tương ứng cổ điển trở nên khó giải quyết (Howard & Rogers, 2002; 1971). Mô hình 3D LAMINART cải tiến tách biệt các đối tượng và các đặc điểm bề mặt về độ sâu như thế nào để đáp ứng với stereogram dày đặc. Xử lý hình ảnh trong mô hình này cho phép phân biệt rõ ràng giữa các đối tượng và nền.

4.2. Mô Phỏng Stereogram Ngẫu Nhiên Điểm Ảnh RDS Thưa Thớt

Stereogram ngẫu nhiên điểm ảnh (RDS) thưa thớt chứa các đặc điểm cách xa nhau. Chúng thách thức não bộ gán độ sâu bề mặt cho các vùng ảnh không có đặc điểm, nơi độ sâu cục bộ không rõ ràng. Các đặc điểm tương phản cục bộ chỉ có thể tính toán binocular disparity của các cạnh được khớp trong các đặc điểm hình ảnh thưa thớt. Điều này không thể giải thích nhận thức về độ sâu bề mặt 3D trong các vùng này. Mô hình đề xuất cách hoàn thành ranh giới tầm xa và quá trình nhóm nhận thức 3D đáp ứng các đặc điểm thưa thớt để tạo thành các ranh giới được kết nối ở nhiều độ sâu. Các ranh giới này tạo ra và chứa độ sáng và độ sâu bề mặt chọn lọc, các bề mặt ở độ sâu chính xác, một quá trình gọi là chụp bề mặt 3D.

4.3. Mô Phỏng Occlusion Ngầm Định trong Stereogram Ngẫu Nhiên Điểm Ảnh RDS

Khi hình chiếu của một đối tượng mờ đục ở gần hơn chồng lên nhau, occlusion xảy ra và làm cho đối tượng chỉ được nhìn thấy một phần. Occlusion như vậy, một nhận thức độ sâu chính, có thể gợi lên nhận thức 3D sống động ngay cả từ hình ảnh 2D (Howard & Rogers, 2002). Stereogram ngẫu nhiên điểm ảnh (RDS) dày đặc ngầm định xác định đối tượng bị che khuất, thách thức não bộ yêu cầu nhiều đặc điểm quy mô nhỏ về độ sâu của đối tượng bị che khuất bị triệt tiêu ở các vị trí được nhận thức của vật che khuất, trong khi các nhóm quy mô lớn hình thành phía sau vật che khuất và được nhận thức là bị che khuất. Các ranh giới đã hoàn thành này được nhận biết một cách amodal, chúng được nhìn thấy với bề mặt. Mô hình giải thích cách điều này được thực hiện bằng cách xử lý ranh giới đa quy mô.

V. Kết Luận và Hướng Phát Triển Mô Hình Vỏ Não Laminar

Công trình này đã trình bày một mô hình thần kinh về cách LGN dưới vỏ não và các vùng thị giác V1, V2, và V4 phối hợp để tạo ra nhận thức chính xác về ranh giới và bề mặt 3D từ các kích thích hai mắt chứa thông tin về disparity và occlusion. Mô hình này cung cấp một lời giải thích thống nhất về stereopsis, phân tách hình nền 3D, và hoàn thành các bề mặt đối tượng bị che khuất. Các nghiên cứu trong tương lai có thể tập trung vào việc mở rộng mô hình để bao gồm các dấu hiệu độ sâu khác, chẳng hạn như chuyển động và bóng đổ, và để mô phỏng các nhiệm vụ nhận thức phức tạp hơn, chẳng hạn như nhận dạng đối tượng và điều hướng.

5.1. Tích Hợp Các Dấu Hiệu Độ Sâu Bổ Sung

Ngoài binocular disparity và occlusion, còn có nhiều dấu hiệu độ sâu khác mà não bộ sử dụng để suy ra chiều sâu, chẳng hạn như chuyển động, bóng đổ, và phối cảnh. Việc tích hợp các dấu hiệu này vào mô hình vỏ não laminar có thể cải thiện độ chính xác và độ mạnh mẽ của nhận thức 3D. Các thuật toán học máy và học sâu có thể được sử dụng để học cách kết hợp các dấu hiệu độ sâu khác nhau một cách tối ưu.

5.2. Mô Phỏng Các Nhiệm Vụ Nhận Thức Phức Tạp

Mô hình vỏ não laminar có thể được sử dụng để mô phỏng các nhiệm vụ nhận thức phức tạp hơn, chẳng hạn như nhận dạng đối tượng, điều hướng, và tương tác với môi trường. Điều này có thể giúp chúng ta hiểu rõ hơn về cách não bộ xử lý thông tin thị giác và cách các quá trình nhận thức khác nhau tương tác với nhau. Các ứng dụng tiềm năng bao gồm robot, xe tự hành, và thực tế ảo.

Trích đoạn nội dung tài liệu

BOSTON UNIVERSITY GRADUATE SCHOOL OF ARTS AND SCIENCES Dissertation A LAMINAR CORTICAL MODEL OF 3D SURFACE PERCEPTION AND FIGURE-GROUND SEPARATION: STEREOGRAM DEPTH, LIGHTNESS, AND AMODAL COMPLETION by LIANG FANG B., University of Science and Technology of China, 1998 M., Automation Institute, Chinese Academy of Sciences, 2001 Submitted in partial fulfillment of the requirements for the degree of Doctor of Philosophy 2007 UMI Number: 3246603 Copyright 2006 by Fang, Liang All rights reserved. INFORMATION TO USERS The quality of this reproduction is dependent upon the quality of the copy submitted. Broken or indistinct print, colored or poor quality illustrations and photographs, print bleed-through, substandard margins, and improper alignment can adversely affect reproduction. In the unlikely event that the author did not send a complete manuscript and there are missing pages, these will be noted.

Also, if unauthorized copyright material had to be removed, a note will indicate the deletion. ® UMI UMI Microform 3246603 Copyright 2007 by ProQuest Information and Learning Company. All rights reserved. This microform edition is protected against unauthorized copying under Title 17, United States Code.

ProQuest Information and Learning Company 300 North Zeeb Road P. Box 1346 Ann Arbor, MI 48106-1346 © Copyright by LIANG FANG 2006 Approved by First Reader reraleso Stephen Grossberg, PA. Ồ Wang Professor of Cognitive and Neural Systems Professor of Mathematics, Psychology, and Biomedical Engineering Second Reader Emmi Thing Ennio Mingolla, Ph. Professor of Cognitive and Neural Systems and Psychology Third Reader Gaal Carpenter,đã D.

Professor of Cognitive and Neural Systems and Mathematics Acknowledgements I would first like to thank my advisor, Professor Stephen Grossberg, for his talented scientific insights and generous guidance throughout my work. I would also thank Professor Ennio Mingolla for introducing me into this fantastic vision field and much other generous assistance. I appreciate and cherish the assistance and friendship that I received from everyone in the CNS community. Special thanks to Dr.

Yongqiang Cao and Dr. Arash Yazdanbakhsh for the intuitive discussions and wonderful coffee times that we spent together. I wish to present my sincere thanks to my parents who, as always, have been constant sources of encouragement and supports. My final thanks are reserved to my wife who has accompanied me all the way through these years and made them part of lovely memories.

iv A LAMINAR CORTICAL MODEL OF 3D SURFACE PERCEPTION AND FIGURE-GROUND SEPARATION: STEREOGRAM DEPTH, LIGHTNESS, AND AMODAL COMPLETION (Order No. ) LIANG FANG Boston University Graduate School of Arts and Sciences, 2007 Major Professor: Stephen Grossberg, Wang Professor of Cognitive and Neural Systems. Professor of Mathematics, Psychology, and Biomedical Engineering ABSTRACT In viewing a 3D scene, object features are seen on 3D surfaces infused with lightness and color at correct depths. By only focusing on how left and right features are correctly matched, most 3D vision models have not explained how this happens.

A 3D LAMINART model (Grossberg and Howe, 2003; Cao and Grossberg, 2005) proposed that laminar cortical mechanisms interact to create 3D surface percepts using interactions between boundary and surface representations. Previous work using this model explained perception of relatively simple objects, like bars and blocks, in relatively simple spatial configurations that did not contain any mutual occlusions. This thesis extends the 3D LAMINART model to predict how textured images with multiple potential false binocular matches, e. dense stereograms, generate correct 3D surface representations of figures and their backgrounds.

The model also clarifies how sparse stereograms can induce the formation of continuous surfaces at correct depths across contrast-free regions. Furthermore, when textured stereograms define emergent occluding and occluded v surfaces, the model shows how these surfaces are correctly separated in depth and the partially occluded textured surfaces can be amodally completed behind the occluding textured surface. Thus, the model provides a unified explanation of stereopsis, 3D figure- ground separation, and completion of partially occluded object surfaces. The model clarifies how interactions between layers 4, 3B, and 2/3A in V1 and V2 contribute to stereopsis, and proposes how a disparity filter and 3D perceptual grouping laws in V2 interact with 3D surface filling-in operations in V1, V2, and V4 to produce appropriate figure-ground perception.

These interactions help to convert the complementary rules for boundary and surface formation (Grossberg, 1994) into a consistent, unitary visual percept. vi TABLE OF CONTENTS ACKNOWLEDGEMENTS. co on HH nọ ni in Bi n0 001860916 iv ABSTRACTT.-- co co HH HH HH BI 0.0 09609 090009019619 61999 Vv LIST OF TABLES .ccccscecccsvsvsccccccscscsccesessccescnsesessesesssssesseceesenenes ix LIST OE EIGURES.- Go HH nh 1G GB 999006 x LIST OF ABREVIATIONS. on n1 BI 00 xii 1 Introducfion.-- onnọ Họ Đ BI 0 1000600009196 1 2 Sfereopsis processing and model cons(raÌnfS.1 Reconciles contrast-specific binocular fusion with contrast-invariant boundary percepfiOn.c c ng ng nh kh ke 29 2.2 Implements the contrast magnitude constraint on binocular fusion.3 Encourages the unique-matching rule and solves the correspondence 2.4 Combines monocular and binocular information to form depth percepts.5 Forms perceptual groupings including amodal boundary completions.6 Forms 3D amodal and modal surface representations.7 Determines the correct depth for horizontal boundaries, ensures perceptual consistency, and initiates figure-ground separation with surface-to- boundary feedback.

con HH nh kh, 43 2.8 Uses small-scale texture borders to induce large-scale perceptual ĐTOUPITES. eee 48 Vil Model description: Enhanced 3D LAMINART. con Sen se 52 3.- chen nen heo 53 3.2 VI binocular boundaries. ch nen se 53 3.3 VI monocular SUTÍAC€S.

ch nh kh ha 55 3. cọ cọ SH nh nh bà nến 56 3.5 V2 monoculÌar SUTÍAC€S. cọ HH nh kh sen 58 3.6 V4 binocular SUTÍAC€S. HH nh hen 39 Model equations.o co co Co no nh n0 6/0099066 6 60 4.1 Index legend and general processes.

HH nh kh nh ve 66 Model simulations.1 Border ownership and figure-ground percepfs. chnh n nà nà kệ 94 5.4 Figure-ground percept of RDS textured surfaces with emergent OCCÏUSIOT. SH Km nh Kinh KH tà tế 95 DÌSCUSSỈON. co co O0 no B0.1 Anatomical and physiological dafa.2 Model complexity and explanatOry pOW€F.

Hypotheses and predictions of the model. -- Go HH nh K0 BI 0008 105 CURRICULUM VITAE.-G con on ni BI 060908 124 LIST OF TABLES Table 1: Matrix of inhibition coefficients in the disparity filter. Table 2: The allelotropic shift.-‹-- -c CS SH ng kh, Table 3: Anatomical and physiological data that support the model. ix LIST OF FIGURES Figure 1: Horizontal binocular dISparity.

HH nh nh nhe 1 Figure 2: Strong 3-D percept elicited by plain 2-D image. 2 Figure 3: Perceptual ørOUpIng.--c-c ccn n n nn n KH kh nà nhe 3 Figure 4: Complementary processing of visual information. 8 Figure 5: Simulation of dense random-dot-stereogram. cà ceằ 11 Figure 6: Simulation of sparse random-dot-stereogram.

13 Figure 7: Simulation of random-dot-stereogram that implicitly define occlusion. 15 Figure 8: Comparison of boundary representations of a dense RDS simulated by two mOđ€ÌS. cọ SĐT nen Kế nà hà à KH hà tà tà ni nên 17 Figure 9: Examples of amodal completion. con nhà 19 Figure 10: Role of figure-ground separation in recognition of occluded letters.

22 Figure l1: 3D figure-ground separation and amodal completion. 24 Figure 12: 3D LAMINART macrOCIrCUII.cQ n nh nh nh nhe 27 Figure 13: 3D LAMINART model circuit diagram.- cà cv se 28 Figure 14: Contrast-specific binocular fusion and contrast-invariant boundary perception ¬ EEE E EERE LEER EE EEE EE EE EE EE EE OEE EE OE EEE EEO EO EE EEE EGER SH EEEEES 30 Figure 15: The V2 disparity filter. cccccccceccccceeeeceecuvuvecueeetesceveeeeenseses 32 Figure 16: da Vinci S†€f€OðTaim. HH renee nh kh nh nh kh khu 34 Figure 17: Boundary completion is formed inwardly, instead of outwardly.

36 Figure 18: Demonstration of 3D surface capture. co nen 41 Figure 19: Disparity ambiguity of horizontal boundaries.- 45 Figure 20: Demonstration of depth-determination of horizontal and monocular boundariۤ. - con SH KH K KT KT kh nh ke nh by 46 Figure 21: Simulation of border ownership and figure-ground percept (part 1). 85 Figure 22: Simulation of border ownership and figure-ground percepts (part 2).

88 Figure 23: Simulation of border ownership and figure-ground percepts (part 3). 91 Figure 24: Role of V1 surface-to-boundary feedback in multiple-scale boundary DTOC€SSITE. ee cece e rete eee Een ene nO Re EEE EEO E EEE EE EA EA EG OHO HEED SEH eH EE ER FEES 97 xi LIST OF ABREVIATIONS 2D Two Dimensional 3D Three Dimensional FACADE Form And Color And DEpth IT Inferior Temporal area LAMINART | Laminar Adaptive Resonance Theory LGN Lateral Geniculate Nucleus RDS Random-Dot-Stereogram VI Visual area 1 V2 Visual area 2 V3 Visual area 3 V4 Visual area 4 xii Chapter 1 Introduction When we view a 3D scene, the retinas of our two eyes receive two-dimensional arrays of light, but we effortlessly perceive the world in depth. The positional differences of an object’s projections on an observer’s left and right retinas, or their binocular disparity, is a strong cue for perceiving depth at sufficiently near depths (Howard & Rogers, 2002; Julesz, 1971; see Figure 1).

Horizontal binocular disparity: when two eyes are focused on object A, the projections of object B at a different distance lie on different positions, B, and B,, on the left and right retinas. Such positional difference is used in the brain in reconstructing depth from 2-D retinal inputs. Binocular disparity is most effective for sufficiently near objects (Tyler, 2004). For distant objects, monocular cues, such as T-junctions, may be used to determine relative depth when one object is nearer than another object, and occludes parts of the farther object (Howard & Rogers, 2002).

Occlusion can also elicit strong 3D percepts when we view 2D images, see Figure 2. a T-junction indicates occlusion and relative depth Figure 2. Strong 3-D percept elicited by 2-D image: where occlusion acts as a cue of relative depth, especially for distant objects, such as mountains. (Courtesy to anonymous artist) In addition to being perceived at a farther depth, the visible parts of an occluded object are often perceptually linked together behind the occluder, see Figure 3.

Perceptual grouping: in addition to be perceived at a farther depth, the visible fragments of a tiger face are perceptually linked together instead of being seen as unrelated. (Courtesy to anonymous artist) The work that is presented in this thesis further develops a neural model of how the subcortical area LGN and the visual cortical areas V1, V2, and V4 work together to give rise to correct 3D boundary and surface percepts of binocular stimuli that contain disparity and occlusion information. Object features are seen on 3D surfaces infused with lightness and color at the correct depths. Most previous models of stereopsis (Dev, 1975; Fleet, Wagner, & Heeger, 1996; Grimson, 1981; Julesz, 1971; Lehky & Sejnowski, 1990; Lippert & Wagner, 2002; Marr & Poggio, 1976, 1979; Matthews et al., 2003; Ohzawa, DeAngelis, & Freeman, 1990, 1996; Prince & Eagle, 2000; Read, 2002; Sperling, 1970; Qian, 1997) restricted their attention to how left and right eye contours could be matched, but did not explain how this matching process spontaneously gives rise to continuous percepts in depth of surface features, including lightness.

FACADE theory (Grossberg, 1987, 1994, 1997; Kelly & Grossberg, 2000; McLoughlin & Grossberg, 1998) has proposed how 3D surface features, including lightness, can be represented as a result of interactions between boundary and surface processing streams. Recently, a 3D LAMINART model has developed FACADE theory to predict how laminar circuits within the visual cortex generate 3D boundary and surface percepts and separate figures from their backgrounds (Cao & Grossberg, 2005; Grossberg & Howe, 2003; Grossberg & Swaminathan, 2004; Grossberg & Yazdanbakhsh, 2005). This thesis further develops the 3D LAMINART model to explain how 3D boundary and surface percepts occur, and partially occluded objects can be completed and correctly recognized as a whole, in response to both dense and sparse Random-Dot-Stereograms (RDS) A vigorous recent discussion on CVNet, which was initiated by Jeremy Wilmer, summarized key aspects of the rich literature on the advantages of having binocular stereopsis.