Phân Tích Chính Sách và Đánh Giá Thực Hiện trong Khu Vực Công

Tài liệu nghiên cứu Ebook public administration understanding management politics and law in the public sector part 2, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Đề tài: Phân Tích Chính Sách và Đánh Giá Thực Hiện trong Khu Vực Công

Tóm tắt

I. Hướng Dẫn Toàn Diện Phân Tích và Đánh Giá Chính Sách Công

Phân tích chính sách và đánh giá thực hiện là hai trụ cột cốt lõi trong quản lý công hiện đại. Chúng giúp xác định mức độ hiệu quả của các can thiệp từ chính phủ vào kinh tế và xã hội. Bài viết này sẽ cung cấp một cái nhìn tổng quan về các phương pháp và thách thức trong việc đánh giá chính sách, từ khâu hoạch định đến khi triển khai, nhằm nâng cao hiệu quả chính sách trong khu vực công.

1.1. Phân biệt Kết quả đầu ra Outputs và Tác động Outcomes

Để thực hiện phân tích chính sách một cách chính xác, điều cần thiết là phải phân biệt rõ ràng giữa hai khái niệm: kết quả đầu ra (policy outputs) và tác động của chính sách (policy outcomes/impacts). Kết quả đầu ra là những tuyên bố chính thức về ý định, quyền hạn và phương pháp của chính phủ, chẳng hạn như các đạo luật, nghị quyết, hoặc việc phân bổ ngân sách và nhân sự. Chúng thể hiện mục tiêu của chính thể nhưng không cho biết nhiều về hiệu suất thực tế. Ngược lại, tác động của chính sách tập trung vào hiệu suất và kết quả thực tế: Chính sách đang có ảnh hưởng gì đến đối tượng mục tiêu? Mục tiêu có đạt được không? Nếu có, thì với chi phí bao nhiêu và tác dụng phụ là gì? Ví dụ, việc ban hành luật bình đẳng việc làm là một kết quả đầu ra, nhưng sự thay đổi thực tế trong mô hình tuyển dụng mới là tác động của chính sách. Việc nhầm lẫn giữa hai khái niệm này là một sai lầm phổ biến, dẫn đến việc giả định rằng mục đích của chính phủ đã đạt được chỉ vì một đạo luật được ban hành hay một cơ quan được thành lập.

1.2. Tầm quan trọng ngày càng tăng của việc đánh giá chính sách

Mối quan tâm đến phân tích chính sách một cách có hệ thống chỉ thực sự trở thành một chức năng tiêu chuẩn của hành chính công vào những năm 1960 và 1970. Sự thay đổi này một phần là do sự can thiệp của chính phủ ngày càng sâu rộng vào đời sống kinh tế - xã hội. Chương trình “Great Society” của Tổng thống Lyndon Johnson là một ví dụ điển hình, dựa trên tiền đề rằng hành chính công có thể can thiệp thành công để thúc đẩy bình đẳng cơ hội. Khi nhà nước hành chính tiêu thụ nhiều nguồn lực hơn và can thiệp nhiều hơn vào cuộc sống của người dân, nhu cầu đánh giá chính sách để đảm bảo các chiến lược thành công và hiệu quả ngày càng trở nên cấp thiết. Sự phát triển của các kỹ thuật phân tích mới trong khoa học xã hội, cùng các yêu cầu pháp lý như Đạo luật Tự do Thông tin (1966), đã tạo động lực mạnh mẽ cho sự phát triển của lĩnh vực này, giúp việc giám sát và đánh giá (M&E) trở nên khả thi và minh bạch hơn.

II. Top Các Thách Thức Khi Đánh Giá Thực Hiện Chính Sách Công

Quá trình đánh giá thực hiện chính sách không hề đơn giản. Các nhà phân tích thường đối mặt với nhiều rào cản từ việc xác định quan hệ nhân quả, các hạn chế về đạo đức, pháp lý trong thiết kế nghiên cứu cho đến việc diễn giải kết quả một cách khách quan. Hiểu rõ những thách thức này là bước đầu tiên để xây dựng một khung phân tích chính sách vững chắc.

2.1. Khó khăn trong việc xác định quan hệ nhân quả của chính sách

Thách thức cốt lõi của phân tích tác động chính sách là xác định mối quan hệ nhân quả: Liệu sự thay đổi quan sát được có thực sự do chính sách gây ra hay không? Nhiều chính sách có mục tiêu quá mơ hồ hoặc khó đo lường, ví dụ như các chính sách thúc đẩy “lợi ích công cộng” hoặc “công lý”. Ngay cả khi mục tiêu rõ ràng, việc tách bạch tác động của chính sách khỏi các yếu tố gây nhiễu khác là cực kỳ phức tạp. Chẳng hạn, rất khó để xác định mức độ mà Chương trình Cứu trợ Tài sản Gặp khó khăn (TARP) đã ngăn chặn một cuộc Đại suy thoái thứ hai so với tác động từ việc tăng trưởng xuất khẩu. Các hiện tượng chính trị, kinh tế, xã hội phức tạp thường ảnh hưởng đồng thời đến kết quả, khiến việc quy kết sự thay đổi hoàn toàn cho một chính sách duy nhất trở nên không chắc chắn. Nếu không có nhóm đối chứng, các nhà phân tích không thể biết chắc điều gì sẽ xảy ra nếu không có chương trình can thiệp.

2.2. Hạn chế về đạo đức và pháp lý trong thiết kế nghiên cứu

Thiết kế thực nghiệm thuần túy được coi là “tiêu chuẩn vàng” trong nghiên cứu, nhưng cơ hội áp dụng trong khu vực công thường bị hạn chế bởi các mối quan ngại về chính trị, đạo đức và pháp lý. Một ví dụ kinh điển là “Nghiên cứu Tuskegee” của Dịch vụ Y tế Công cộng Hoa Kỳ (1932-1972), trong đó việc điều trị bệnh giang mai đã bị từ chối đối với một nhóm người Mỹ gốc Phi để nghiên cứu diễn biến tự nhiên của bệnh. Theo James H. Jones trong tác phẩm “Bad Blood”, nghiên cứu này vốn dĩ đã vô đạo đức và mang tính phân biệt chủng tộc ngay từ đầu. Tương tự, việc xây dựng các thí nghiệm cung cấp phúc lợi, phiếu thực phẩm, hoặc giáo dục cho một nhóm người trong khi từ chối nhóm khác để đánh giá tác động là điều không khả thi. Những hạn chế này buộc các nhà phân tích phải dựa vào các thiết kế bán thực nghiệm hoặc phi thực nghiệm, vốn có thể dẫn đến những kết luận sai lệch nếu không được kiểm soát cẩn thận các yếu tố gây nhiễu, làm suy yếu bằng chứng chính sách.

III. Phương Pháp Phân Tích Tác Động Chính Sách Công Phổ Biến

Để vượt qua các thách thức trong đánh giá chính sách, các nhà phân tích sử dụng nhiều mô hình nghiên cứu khác nhau. Mỗi mô hình có ưu và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào bối cảnh, nguồn lực và tính khả thi của chính sách. Ba phương pháp chính bao gồm thiết kế thực nghiệm, bán thực nghiệm và phi thực nghiệm.

3.1. Thiết kế thực nghiệm thuần túy Tiêu chuẩn vàng

Thiết kế thực nghiệm thuần túy (Pure experimental design) là công cụ phân tích chính sách mạnh mẽ nhất để xác định quan hệ nhân quả. Trong mô hình này, những người tham gia được lựa chọn ngẫu nhiên từ một quần thể và được phân vào hai nhóm: nhóm thực nghiệm (nhận được sự can thiệp của chính sách) và nhóm đối chứng (không nhận được sự can thiệp). Bằng cách so sánh kết quả giữa hai nhóm, các nhà phân tích có thể xác định liệu sự can thiệp có tương quan với tác động mong muốn hay không. Sự phân bổ ngẫu nhiên giúp đảm bảo rằng hai nhóm là tương đồng về mọi mặt, ngoại trừ sự can thiệp của chính sách, do đó loại bỏ được hầu hết các yếu tố gây nhiễu. Tuy nhiên, như đã đề cập, việc áp dụng mô hình này trong quản trị công rất hạn chế do các rào cản về đạo đức, pháp lý và chính trị. Việc từ chối một lợi ích hoặc dịch vụ công cho một nhóm người chỉ vì mục đích nghiên cứu thường không được chấp nhận.

3.2. Thiết kế bán thực nghiệm Giải pháp thay thế khả thi

Khi thực nghiệm thuần túy không thể thực hiện, thiết kế bán thực nghiệm (Quasi-experimental design) là một giải pháp thay thế hiệu quả. Thiết kế này cố gắng xác định tác động của chính sách bằng cách so sánh hiệu suất giữa các nhóm tiếp xúc với chính sách và các nhóm không tiếp xúc, đồng thời kiểm soát các điều kiện gây nhiễu một cách thống kê. Ví dụ, để đánh giá hiệu lực chính sách của luật bắt buộc thắt dây an toàn, nhà phân tích có thể so sánh tỷ lệ tử vong do tai nạn giao thông ở một tiểu bang thực thi nghiêm ngặt luật này với các tiểu bang lân cận không thực thi. Tuy nhiên, để kết luận có giá trị, nghiên cứu phải kiểm soát cẩn thận các yếu tố khác biệt giữa các tiểu bang như địa hình, mật độ giao thông, giới hạn tốc độ, và đặc điểm nhân khẩu học của tài xế. Dù phức tạp và tốn kém, phương pháp này cung cấp một bằng chứng chính sách đáng tin cậy hơn so với các thiết kế phi thực nghiệm.

3.3. Thiết kế phi thực nghiệm Cẩn trọng khi diễn giải

Thiết kế phi thực nghiệm (Non-experimental design) thường được sử dụng khi không thể có nhóm đối chứng. Một phương pháp phổ biến là phân tích trước và sau chương trình (preprogram-postprogram analysis), so sánh tình trạng của nhóm mục tiêu trước và sau khi thực hiện chính sách. Ví dụ, để đánh giá tác động của hành động khẳng định (affirmative action) đối với việc làm của người Mỹ gốc Phi trong chính phủ liên bang, người ta có thể so sánh mô hình việc làm trước và sau khi chính sách được áp dụng. Tuy nhiên, đây là một sai lầm nghiêm trọng nếu không có thêm thông tin, vì những thay đổi (hoặc không thay đổi) có thể do nhiều yếu tố khác gây ra, như điều kiện thị trường lao động hoặc thay đổi thái độ xã hội. Mặc dù dễ thực hiện, các thiết kế phi thực nghiệm rất dễ đưa ra kết luận sai lầm về quan hệ nhân quả, đòi hỏi sự cẩn trọng tối đa khi diễn giải kết quả trong chu trình chính sách.

IV. Bí Quyết Đánh Giá Quá Trình Thực Hiện để Nâng Cao Hiệu Quả

Việc dự đoán và xác định tác động của một chính sách công thường rất khó khăn. Do đó, phân tích chính sách không nên chỉ giới hạn ở việc xem xét tác động mà còn phải đánh giá quá trình mà chính sách được thực hiện. Phân tích quy trình giúp làm rõ liệu một chính sách có được triển khai đúng như dự định hay không, một yếu tố quyết định đến sự thành công của nó.

4.1. Vai trò của phân tích quy trình trong giám sát và đánh giá

Phân tích quy trình (Process analysis) quan tâm đến cách thức một chính sách hoặc chương trình cụ thể được triển khai. Tầm quan trọng của nó rất rõ ràng: “Nội dung của một chính sách công và tác động của nó có thể bị sửa đổi, xây dựng thêm hoặc thậm chí bị vô hiệu hóa trong quá trình thực hiện”. Thật vô ích khi lo lắng về tác động của một chính sách nếu nó chưa được triển khai đúng cách. Phân tích quy trình thường sử dụng các kỹ thuật định tính như nghiên cứu tình huống, phân tích lịch sử, và phỏng vấn sâu. Nó đòi hỏi nhà phân tích phải hiểu rõ quy trình hành chính, ví dụ như cách cảnh sát thực thi luật bắt buộc thắt dây an toàn. Nếu việc thực thi không nhất quán, thì chính cả chính sách và việc thực thi sẽ cùng nhau tạo ra tác động. Đây là một phần không thể thiếu trong hệ thống giám sát và đánh giá (M&E) toàn diện.

4.2. Các yếu tố cản trở việc thực thi chính sách thành công

Các nghiên cứu về thực thi chính sách đã chỉ ra một số yếu tố cản trở chính. Thứ nhất, số lượng điểm quyết định càng nhiều, tức là càng có nhiều quản trị viên phải đưa ra quyết định, thì khả năng chính sách được thực hiện như dự định ban đầu càng thấp. Thứ hai, việc thiếu hụt kinh phí nghiêm trọng là một rào cản lớn. Thứ ba, mục tiêu chính sách không rõ ràng có thể dẫn đến việc các cơ quan khác nhau diễn giải và thực hiện theo những cách khác nhau. Peter Drucker đã xác định các “tội lỗi chết người” trong quản lý công cản trở việc thực hiện hiệu quả, bao gồm: thiếu mục tiêu rõ ràng và có thể đo lường, có nhiều mục tiêu cùng lúc mà không có ưu tiên, và không có khả năng từ bỏ các chương trình khi chúng thất bại. Đặc biệt, các công chức cấp cơ sở (street-level administrators) như cảnh sát, giáo viên có nhiều quyền tự quyết, có thể ảnh hưởng lớn đến kết quả cuối cùng của chính sách.

V. Ứng Dụng Các Góc Nhìn Đa Chiều trong Đánh Giá Chính Sách

Việc đánh giá thực hiện chính sách không chỉ dựa trên các con số và dữ liệu. Nó phụ thuộc rất nhiều vào góc nhìn được áp dụng. Ba quan điểm chính—quản lý, chính trị và pháp lý—đưa ra những tiêu chí đánh giá khác nhau, đôi khi mâu thuẫn, về việc một chính sách có được thực thi “tốt” hay không. Hiểu rõ các góc nhìn này giúp có một cái nhìn toàn diện hơn về hiệu quả chính sách.

5.1. Góc nhìn quản lý Tập trung vào hiệu quả và hiệu suất

Quan điểm quản lý truyền thống và Quản lý công mới (NPM) đều nhấn mạnh đến các giá trị như hiệu quả, hiệu suất và kinh tế. Quan điểm truyền thống đánh giá cao một quy trình thực thi có tổ chức hợp lý, có thể dự đoán, và có hệ thống phản hồi tốt. Nó ủng hộ các kỹ thuật như phân tích chi phí - lợi ích (CBA) và đo lường hiệu quả chi phí (cost-effectiveness). Trong khi đó, NPM lại ưa chuộng việc “lái thuyền” hơn là “chèo thuyền”, trao quyền tự quyết cho nhân viên và đo lường thành công bằng sự hài lòng của khách hàng và các chỉ số đánh giá hiệu quả (KPIs). Cả hai đều tìm cách tối ưu hóa việc sử dụng nguồn lực, nhưng NPM linh hoạt hơn và chấp nhận sự đa dạng trong kết quả, tin rằng việc trao quyền sẽ tạo ra các giải pháp tốt hơn về tổng thể.

5.2. Góc nhìn chính trị Nhấn mạnh sự đại diện và trách nhiệm giải trình

Từ góc độ chính trị, một chính sách được thực hiện tốt khi nó đảm bảo sự đại diện cho những người bị ảnh hưởng nhiều nhất, đáp ứng được mong muốn của cộng đồng, và duy trì minh bạch và trách nhiệm giải trình. Quan điểm này coi trọng sự tham gia của các bên liên quan trong quá trình ra quyết định, như trong các chương trình chống đói nghèo của thập niên 1960. Sự phản hồi nhanh chóng trước áp lực của công chúng, ví dụ như các chiến dịch chống lái xe say xỉn, cũng là một tiêu chí quan trọng. Hơn nữa, một chính sách phải chịu sự giám sát của các cơ quan dân cử. Các cơ chế như luật “ánh dương” (sunshine laws) và điều khoản “hoàng hôn” (sunset provisions) được thiết kế để đảm bảo rằng các cơ quan hành chính phải chịu trách nhiệm trước công chúng và cơ quan lập pháp, một yếu tố quan trọng trong cải cách hành chính.

5.3. Góc nhìn pháp lý Đề cao tính hợp hiến và công bằng

Quan điểm pháp lý tập trung vào việc liệu việc thực thi chính sách có tôn trọng sự toàn vẹn của hiến pháp, bảo vệ công bằng (thủ tục tố tụng hợp lệ), và các quyền cá nhân hay không. Một chính sách có thể đạt được mục tiêu nhưng vẫn bị coi là không phù hợp nếu nó vi phạm các nguyên tắc phân chia quyền lực hoặc đối xử bất bình đẳng với các nhóm xã hội. Ví dụ, trong vụ Immigration and Naturalization Service v. Chadha (1983), Tòa án Tối cao đã phán quyết rằng việc phủ quyết lập pháp của một viện là vi hiến. Góc nhìn này cũng đặt nặng vấn đề bảo vệ bình đẳng, chống lại các hành vi như phân loại chủng tộc hoặc giới tính một cách tùy tiện. Do đó, hiệu lực chính sách không chỉ được đo bằng kết quả mà còn bằng sự tuân thủ các nguyên tắc pháp lý nền tảng của một xã hội dân chủ.

VI. Kết Luận Tương Lai của Phân Tích Chính Sách và Đánh Giá

Phân tích chính sách và đánh giá thực hiện là những công cụ không thể thiếu để cải thiện quản trị công. Mặc dù đối mặt với nhiều rào cản, lĩnh vực này đang ngày càng phát triển, chuyển từ việc cung cấp một câu trả lời duy nhất sang việc tạo ra một cuộc đối thoại đa chiều, giúp các nhà hoạch định chính sách đưa ra quyết định dựa trên bằng chứng chính sách xác đáng và toàn diện hơn.

6.1. Rào cản trong việc sử dụng kết quả đánh giá thực tiễn

Việc áp dụng kết quả phân tích và đánh giá vào thực tế gặp nhiều trở ngại. Như Aaron Wildavsky đã nhận xét, “Đánh giá và tổ chức có thể là những thuật ngữ mâu thuẫn”. Các tổ chức hành chính thường có xu hướng ổn định và cam kết, trong khi đánh giá lại mang tính hoài nghi và gợi ý sự thay đổi. Hơn nữa, nhiều nghiên cứu đánh giá thường không đưa ra kết luận rõ ràng, khiến các bên liên quan có thể diễn giải kết quả theo hướng có lợi cho mình. Arnold Meltzner đã chỉ ra “Bảy tội lỗi chết người của phân tích chính sách”, bao gồm việc đưa ra lời khuyên hời hợt, không kịp thời, hoặc phi chính trị, làm giảm giá trị sử dụng của các nghiên cứu. Những rào cản này cho thấy việc chuyển đổi từ bằng chứng chính sách sang hành động thực tế là một thách thức lớn.

6.2. Xu hướng mới Hướng tới một cuộc đối thoại đa chiều

Bất chấp những thách thức, tương lai của phân tích chính sách vẫn rất hứa hẹn. Theo Beryl Radin, lĩnh vực này đã trưởng thành và trở thành một “nghề nghiệp với nhiều tiếng nói phản ánh sự đa dạng của xã hội”. Thay vì chỉ nói một “sự thật” cho một “quyền lực” duy nhất, các nhà phân tích hiện đại đang “nói nhiều sự thật cho nhiều quyền lực”. Cuộc đối thoại đã trở nên rộng mở hơn, thu hút sự tham gia của các nhà quản lý, nhà lập pháp và công chúng. Sự nhấn mạnh vào quản lý công định hướng kết quả và hoạch định chính sách dựa trên bằng chứng đang tạo ra một môi trường thuận lợi hơn cho việc lắng nghe và sử dụng các kết quả đánh giá. Sự thay đổi này hứa hẹn sẽ làm cho các chính sách trong tương lai trở nên hiệu quả, công bằng và có trách nhiệm hơn.

Trích đoạn nội dung tài liệu

PART III THE CONVERGENCE OF MANAGEMENT, POLITICS, AND LAW IN THE PUBLIC SECTOR Chapter 8 Policy Analysis and Implementation Evaluation Chapter 9 Regulatory Administration: An Illustration of Management, Politics, and Law in the Public Sector 361 CHAPTER 8 POLICY ANALYSIS AND IMPLEMENTATION EVALUATION Key Learning Objectives 1. Know the difference between policy outputs and policy outcomes or impacts. Understand the three different research designs for analyzing policy outcomes or impacts. Understand the managerial, political, and legal perspectives on evaluating policy implementation.

362 Chapter 8 Policy Analysis and Implementation Evaluation 363 Public administration’s myriad impacts on the economy and society have fostered concern about how well public policies work and how their imple- mentation could be improved. This chapter focuses on two ways of judging policies: policy analysis and implementation evaluation. Policy analysis can be prospective or retrospective. It seeks to determine how social, economic, and other problems will be affected by different governmental policy choices.

It also considers the extent to which a policy achieves its objectives and why it is successful or falls short. Implementation evaluation focuses on whether implementation maximizes appropriate values. The traditional managerial, political, and legal perspectives tend to agree that implementation can be prob- lematic if it gives too much discretionary authority to individual administra- tors. However, the new public management favors broad discretion.

Each of these perspectives may be more suitable for evaluating policy in a particu- lar area of public administration, such as overhead administrative functions, sociotherapy, or regulation. Public administration is an activist part of government. It is a means by which government seeks to intervene in aspects of the economy, society, and polity. When called on to be the arm of governmental intervention in these spheres of life, public administrators are required to implement policy.

The question of how successfully public policy is being implemented inevitably arises. And, if the answer is, “Not successfully enough!” is the problem with the implementation, the policy, or both? In essence, seeking answers to such questions is policy analysis and implementation evaluation. However, in an age of hollowed out government, these questions are increasingly difficult to answer as nonprofit and for-profit organizations are increasingly being con- tracted by government to deliver public services. Public administrators not only need to be substantive policy experts, they must also be good at contract management.

➻ THE GROWING CONCERN WITH POLICY ANALYSIS Although these questions seem normal enough, systematic policy analysis became a standard public administrative function only in the 1960s and 1970s. In part this was due to a shift in the nature of administrative inter- vention in the 1960s that made public administration more salient in the workplace, in neighborhoods, in families, and in society. President Lyndon Johnson’s “Great Society” program, for instance, rested on the premise that public administration could intervene successfully in a wide range of aspects of life to promote greater equality of opportunity among the citizenry. How- ever, assessments of implementation tend to depend on one’s perspectives.

What one person considers a service provided by public administration, another may consider a constraint. Whereas an employee may view pub- lic administrative intervention to protect him or her from toxic substances in the workplace as a valuable governmental service, the employer may view it as administrative interference in legitimate business considerations. 364 Part III The Convergence of Management, Politics, and Law in the Public Sector As public administration provides more services to people, it also engages in more extensive regulatory activities. By the 1970s it was evident that many individuals and groups thought that the administrative state had gone too far in regulating their activities.

Some policies for broad social change, conceived in hope in the 1960s, appeared to fail. Perhaps even worse, they seemed to linger on well after their inadequacies were widely understood. In truth, many of the policies being implemented by public administrators were established by legislatures, but nonetheless opposi- tion often focused on “the bureaucrats.” Public administrative intervention in the economy, society, and polity makes policy analysis more salient. The more resources the administrative state consumes, and the more it intervenes in our lives, the more we want it to adopt successful strategies and to know about the effects it is having.

The growing desire to evaluate policy design and implementation coincided with the rapid development of analytic techniques, especially in the social sciences, that could be used to assess the impacts of administrative interventions and ascertain the costs and benefits associated with public administrative implementation of policies. In one sense, the basic question is at least as old as Woodrow Wilson’s call in the 1880s for a new study of administration that could “discover, first, what government can properly and successfully do.”1 The development of new analytical approaches, statistical techniques, and social scientific methodolo- gies gave impetus to the development of public policy analysis as an area of study and applied research. Some broad aspects of these methodologies are outlined later in this chapter. By way of introduction, it should also be mentioned that in a practical sense retrospective policy analysis was strengthened by a number of related administrative developments.

Among these developments were a congres- sional requirement that in many policy areas a percentage of a program’s budget be set aside for program evaluation; the enactment of the Freedom of Information Act of 1966, which facilitated greater public access to infor- mation that makes policy analysis feasible; the development of program budgeting; and the growing tendency to place “sunset” clauses in enabling legislation. Policy analysis can help by showing whether a program is having the intended impact in a cost-effective manner and with a favorable benefit- cost ratio. By the 1980s, policy analysis had become central to much federal rule making as well. ➻ APPROACHES TO ANALYZING PUBLIC POLICY It is sometimes useful to distinguish between two aspects of public policy.

One is called policy output, the other policy impact or policy outcome. They are linked, but they can be separated for analytical reasons to avoid con- fusion.1 for a description of the different components of this linkage.) Chapter 8 Policy Analysis and Implementation Evaluation 365 8.1 PROGRAM LOGIC MODEL logic model is a diagram of the relationship between the factors of a performance measurement A system. It shows a linear relationship between inputs, activities, outputs, and outcomes. The elements of these boxes are defined as follows: Inputs Activities Outputs Outcomes Inputs: These are the raw materials of a program or service.

Examples include employee time, space to run a substance abuse program, or the equipment and material needed to maintain a public bicycle/jogging trail. Activities: This element of the logic model captures the workload of the program. For example, this can include the number of clients who enter a substance abuse program or the number of bicycle/ jogging trail miles that are in need of repair. Outputs: These are the things that the program has done.

Output measures capture the amount of goods or services actually supplied. For example, such measures could include the number of clients that completed the substance abuse program or the number of bicycle/jogging trail miles actually repaired. Outcomes: As Harry Hatry defines outcomes, they are “the events, occurrences, or changes in conditions, behaviors, or attitudes that indicate progress toward achievement of the mission and objectives of the program.” Outcomes are not what the program did, but the impacts of the program. These measures get at how well the organization is achieving its mission.

Continuing with our examples, an outcome for the substance abuse program could be the number of patients that continue to be clean and sober three months after leaving the program. For the bicycle/jogging trail example, it could be the increase in usage after the trails have been repaired, or taking a longer time frame, the extent to which, if any, the health of users improves or is better than that of nonusers. Obviously, outcomes depend on a variety of factors over which public administrators may have little control. For example, with respect to the trail, usage may depend partly on weather.

Source: Adapted from Harry P. Hatry, Performance Measurement: Getting Results (Washington, DC: Urban Institute Press, 1999), 12–15. The formulation of public policy involves establishing the objectives to be attained and at least sketchily outlining the general means to be used in seeking to achieve these objectives. For instance, to return to a familiar exam- ple, if a legislature decides that equal employment opportunity is a desirable objective, it may enact a statute intended to regulate the behavior of employers to facilitate the achievement of this aim.

The statute may also vest responsibil- ity for implementing or enforcing its provisions in an administrative agency, such as an equal employment opportunity commission. Presumably, if the leg- islature is serious in its intentions, it will allocate sufficient financial and per- sonnel resources to the administering agency and also grant it the legal powers to accomplish its mission. The formulation of public policy is often highly politicized and may involve hotly contested elections, votes in the legislature, and extensive 366 Part III The Convergence of Management, Politics, and Law in the Public Sector lobbying activities. The outgrowth of policy formulation is the policy output—that is, an official statement of governmental intent, delineation of powers and methods, and allocation of resources.

Policy outputs can involve tangible and/or symbolic activity. Statutes, congressional resolu- tions, presidential proclamations, and the allocation of staff and funds are policy outputs. It is widely accepted that public administrators also make policy outputs, such as rules and strategic plans. The creation of policy outputs by administra- tive agencies violates a major tenet of the traditional managerial approach—that administration be separate from politics.

The new public management (NPM) also focuses on “how government should work, not what it should do.”2 Policy outputs are central to politics and administration. They are statements of the goals of the polity and are prerequisites to the attainment of these goals through administrative action. However, from the perspective of policy analysis, it is crucial not to confuse policy outputs with policy out- comes. The outputs do not tell us much about performance or the achieve- ment of stated objectives.

The outputs are essentially activities. It is hoped that they are positively related to the effective achievement of a policy objec- tive. But today, only a naive political observer would assume that a govern- mental purpose is achieved because a statute is enacted, an administrative agency is empowered, or funds are spent. Too much has been learned about the limits of governmental action to assume that the output necessarily has the intended outcome.

Policy outcomes, by contrast, are concerned with performance: What effect is the policy output having on the intended target? Is the objective being achieved? If not, why not? If so, is achievement related to administration? At what cost? With what side effects? These are the types of questions that are most pertinent when we engage in policy analysis with regard to the activi- ties of public administrative agencies. Unfortunately, the answers we seek are sometimes elusive. This is due partly to several factors: the limitations of analytical techniques, problems of measurement, lack of information, and the complexity of so many governmental programs. Outcome Analysis Before the outcome of a policy can be ascertained, it is necessary to identify the content of that policy in operational terms.

In other words, the policy must have some specific content that lends itself to observation. Many poli- cies do that. For instance, a policy of reducing taxes to stimulate economic growth is something that can be analyzed. But many policies are too vague in their objectives or too resistant to measurement to be systematically observed.

Policies to promote some aspects of the public interest or justice, where there are competing visions of what the public interest is or justice requires, are examples.