Đánh Giá Tính Chất Đo Lường Của Khảo Sát NHCahps: Phương Pháp Rasch

Bài viết đánh giá tính chất đo lường của bảng khảo sát NHCaHPS gia đình bằng phương pháp Rasch, cung cấp phân tích chuyên sâu về độ tin cậy và hiệu lực.

• Tác giả: Matthew S. O'Connor
• Người hướng dẫn: Christine M. Fox, PhD, Committee Chair
• Trường học: The University of Toledo
• Chuyên ngành: Foundations of Education
• Đề tài: Assessment of the Measurement Properties of the NHCAHPS Family Survey: A Rasch Scaling Approach
• Loại tài liệu: dissertation
• Năm xuất bản: 2013
• Địa điểm: Toledo

Mục lục chi tiết

• I. CHƯƠNG I: INTRODUCTION
• I.1. Five-Star Quality Rating System
• I.2. Consumer Assessment of Healthcare Providers and Systems (CAHPS)
• I.2.a. NHCAHPS Family Survey Scoring and Reporting
• I.3. Impact of Satisfaction Measurement
• I.3.a. Statement of the Problem
• I.4. Research Questions
• II. CHƯƠNG II: THE CURRENT METHODS FOR COLLECTING AND APPLYING QUALITY DATA IN SKILLED NURSING FACILITIES
• II.1. Groups Advancing SNF Quality
• II.2. Current View of Quality in Skilled Nursing Facilities
• II.2.a. Annual Survey Inspection
• II.2.b. Complaint Survey Investigations
• II.2.c. Nursing Home Compare
• II.2.d. Health Inspection Domain
• II.2.e. Quality Measure Domain
• II.2.g. Overall SNF rating (Composite Measure)
• II.3. Issues with Current Quality Indicators
• II.3.a. Consumer-Determined Quality
• II.4. The Rasch Model
• II.5. Outcomes of Quality Indicators
• II.5.a. Pay for Performance
• II.5.b. Accountable Care Organizations
• III. CHƯƠNG III: METHODS AND PROCEDURES
• III.1. Data Management and Collection
• III.1.a. Phase 1: Facility Notification of the Survey
• III.1.b. Phase 2: Assignment of survey recipient
• III.1.c. Phase 3: Survey Notification and Distribution
• III.2. Theoretical Framework for Measure Construction
• III.2.a. Rating Scale Rasch Model
• III.3. Scale Category Analyses
• III.3.i. Rating scale type 1
• III.3.ii. Rating scale type 2
• III.3.iii. Rating scale type 3
• III.3.iv. Rating scale type 4
• III.3.v. Rating scale type 5
• III.4. Improving the Rating Scales
• III.4.a. Collapsing Recommendation to Others Scale
• III.4.b. Overall Rating of Care
• III.5. Diagnostic Analysis with Random Samples
• III.5.a. Scale Category Analysis
• III.6. Item Fit Analyses
• III.7. Principle Contrasts Analysis
• III.8. Composite Domain Analysis
• III.8.a. Meeting Basic Needs Composite Domain
• III.8.b. Nurses and Aides Kindness and Respect Towards Resident
• III.8.c. Nursing Home Provides Information and Encourages Respondent Involvement
• III.8.d. Nursing Home Staffing, Care of Belongings and Cleanliness
• V. CHƯƠNG V: SUMMARY OF RASCH FINDINGS
• V.1. Application of Findings
• V.2. Overall Rating of Care
• V.3. Limitations
• Abstract
• Acknowledgements
• Table of Contents
• List of Tables
• List of Figures
• List of Abbreviations
• List of Symbols
• References
• Appendices
• A. NHCAHPS Family Survey
• B. Composite Measure Proportional Scoring Method Description and Example
• C. Composite Measures for the NHCAHPS Family Member Survey
• D. Detailed Description of Scale Collapsing for Overall Quality of Care Item

Tóm tắt

I. Tính chất đo lường

Tính chất đo lường là yếu tố cốt lõi trong việc đánh giá hiệu quả của các công cụ khảo sát. Trong nghiên cứu này, khảo sát NHCahps được phân tích để xác định độ tin cậy và tính hợp lệ của nó. Phương pháp Rasch được sử dụng để đánh giá các thuộc tính đo lường, bao gồm độ phân tách, độ phù hợp và tính nhất quán của thang đo. Kết quả cho thấy khảo sát có độ tin cậy đủ tốt, nhưng một số lĩnh vực tổng hợp không hoạt động hiệu quả. Điều này nhấn mạnh sự cần thiết của việc cải thiện các thang đo để đảm bảo tính chính xác trong việc đo lường sự hài lòng của gia đình bệnh nhân.

1.1 Độ tin cậy và độ phân tách

Độ tin cậy và độ phân tách là hai chỉ số quan trọng trong việc đánh giá tính chất đo lường. Phân tích Rasch cho thấy khảo sát NHCahps đạt được độ tin cậy cao, với chỉ số phân tách đủ để phân biệt giữa các mức độ hài lòng khác nhau. Tuy nhiên, một số lĩnh vực tổng hợp như 'Đánh giá tổng thể về chăm sóc' không đạt được hiệu quả như mong đợi. Điều này cho thấy cần có sự điều chỉnh trong cấu trúc thang đo để cải thiện độ chính xác.

1.2 Tính phù hợp của thang đo

Tính phù hợp của thang đo được đánh giá thông qua các chỉ số Rasch. Kết quả chỉ ra rằng các thang đo trong khảo sát NHCahps có sự phân bố hợp lý, nhưng một số mục không phù hợp với mô hình Rasch. Điều này đòi hỏi việc tối ưu hóa các thang đo để đảm bảo tính nhất quán trong việc đo lường sự hài lòng của gia đình bệnh nhân.

II. Khảo sát NHCahps

Khảo sát NHCahps là công cụ được thiết kế để đo lường trải nghiệm của gia đình bệnh nhân trong việc chăm sóc tại các cơ sở y tế. Nghiên cứu này tập trung vào việc đánh giá hiệu quả của khảo sát trong việc thu thập dữ liệu về sự hài lòng. Phương pháp Rasch được áp dụng để phân tích dữ liệu, giúp xác định các điểm mạnh và điểm yếu của khảo sát. Kết quả cho thấy khảo sát có tiềm năng lớn trong việc cung cấp thông tin hữu ích cho việc cải thiện chất lượng dịch vụ.

2.1 Cấu trúc và mục tiêu

Cấu trúc của khảo sát NHCahps bao gồm các lĩnh vực chính như 'Đánh giá tổng thể về chăm sóc' và 'Sự hài lòng của gia đình'. Mục tiêu chính của khảo sát là cung cấp dữ liệu đáng tin cậy để đánh giá chất lượng dịch vụ. Phân tích Rasch cho thấy khảo sát có khả năng đo lường hiệu quả các yếu tố này, nhưng cần cải thiện một số mục để tăng tính chính xác.

2.2 Ứng dụng thực tiễn

Khảo sát NHCahps có thể được sử dụng để cải thiện quy trình chăm sóc tại các cơ sở y tế. Dữ liệu từ khảo sát giúp nhận diện các vấn đề cụ thể trong dịch vụ, từ đó đưa ra các biện pháp cải thiện phù hợp. Nghiên cứu này nhấn mạnh tầm quan trọng của việc sử dụng phương pháp Rasch để đảm bảo tính chính xác của dữ liệu khảo sát.

III. Phương pháp Rasch

Phương pháp Rasch là công cụ phân tích hiệu quả trong việc đánh giá tính chất đo lường của các khảo sát. Trong nghiên cứu này, phương pháp Rasch được áp dụng để phân tích dữ liệu từ khảo sát NHCahps. Kết quả cho thấy phương pháp này giúp xác định độ tin cậy, độ phân tách và tính phù hợp của thang đo. Đồng thời, phương pháp Rasch cũng chỉ ra các điểm cần cải thiện trong cấu trúc khảo sát để tăng tính chính xác.

3.1 Nguyên lý và ứng dụng

Nguyên lý của phương pháp Rasch dựa trên việc đánh giá mối quan hệ giữa khả năng của người trả lời và độ khó của các mục hỏi. Trong nghiên cứu này, phương pháp Rasch được sử dụng để phân tích dữ liệu từ khảo sát NHCahps, giúp xác định các mục hỏi không phù hợp và đề xuất cải thiện.

3.2 Kết quả phân tích

Phân tích Rasch cho thấy khảo sát NHCahps có độ tin cậy cao, nhưng một số mục hỏi cần được điều chỉnh để tăng tính phù hợp. Kết quả này nhấn mạnh tầm quan trọng của việc sử dụng phương pháp Rasch trong việc đánh giá và cải thiện các công cụ khảo sát.

IV. Đánh giá khảo sát

Đánh giá khảo sát là bước quan trọng để xác định tính hiệu quả của công cụ đo lường. Trong nghiên cứu này, khảo sát NHCahps được đánh giá thông qua phương pháp Rasch. Kết quả cho thấy khảo sát có tiềm năng lớn trong việc cung cấp dữ liệu đáng tin cậy, nhưng cần cải thiện một số mục để tăng tính chính xác. Điều này giúp đảm bảo rằng khảo sát có thể được sử dụng hiệu quả trong việc cải thiện chất lượng dịch vụ.

4.1 Đánh giá hiệu quả

Đánh giá hiệu quả của khảo sát NHCahps được thực hiện thông qua việc phân tích độ tin cậy và tính phù hợp của thang đo. Kết quả cho thấy khảo sát có thể cung cấp dữ liệu đáng tin cậy, nhưng cần cải thiện một số mục để tăng tính chính xác.

4.2 Ứng dụng thực tiễn

Dữ liệu từ khảo sát NHCahps có thể được sử dụng để cải thiện quy trình chăm sóc tại các cơ sở y tế. Nghiên cứu này nhấn mạnh tầm quan trọng của việc đánh giá khảo sát để đảm bảo tính chính xác và hiệu quả của dữ liệu.

Nội dung chính

Tổng quan luận án

• Cấp thiết và khoảng trống nghiên cứu:

  • Các cơ sở chăm sóc lâu dài (Skilled Nursing Facilities – SNFs) đang ngày càng được đánh giá thông qua các hệ thống chấm điểm “Five‑Star”. Tuy nhiên, chỉ số hài lòng của gia đình bệnh nhân – thông qua khảo sát NHCAHPS Family Survey – chưa được tích hợp vào các tiêu chí này, mặc dù có thể ảnh hưởng trực tiếp tới việc hoàn trả Medicare và quyết định lựa chọn SNF của gia đình.
  • Các nghiên cứu trước (ví dụ: Castle & Ferguson 2010; IOM 2001) chỉ ra rằng các chỉ số chất lượng hiện có chưa phản ánh đầy đủ quan điểm của người tiêu dùng và có những hạn chế về độ tin cậy và tính hợp lệ. Do đó, luận án tập trung vào việc đánh giá các thuộc tính đo lường (reliability, fit, dimensionality…) của NHCAHPS Family Survey bằng mô hình Rasch.

• Mục tiêu, câu hỏi/giả thuyết nghiên cứu

  1. Xác định mức độ đáp ứng của các đáp viên đối với các thang đo của NHCAHPS Family Survey.
  2. Khảo sát cấu trúc thang đo được gợi ý bởi câu trả lời cho mục Overall Rating of Care.
  3. Đánh giá mức độ phân biệt (separation) và độ tin cậy (reliability) của các mục trong thang đo.
  4. Kiểm tra tính đồng nhất một chiều (unidimensionality) của thang đo tổng thể.
  5. Đánh giá tính hợp lý của việc sắp xếp thứ tự các mục (item ordering).
  6. Kiểm tra tính đồng nhất một chiều của các composite measures (các miền tổng hợp).

• Đối tượng, phạm vi

  • Đối tượng: Gia đình người dân cư trú tại SNF ở Hoa Kỳ, được mời trả lời NHCAHPS Family Survey.
  • Phạm vi không gian: Các SNF được đưa vào khảo sát trong phạm vi quốc gia, dựa trên mẫu dữ liệu được thu thập bởi Cơ quan Medicare & Medicaid (CMS) và AHRQ.
  • Phạm vi thời gian: Dữ liệu thu thập và phân tích trong giai đoạn trước năm 2013, thời điểm hoàn thành luận án (May 2013).

Tổng quan tài liệu và vị trí của luận án

• Các hướng nghiên cứu trước (được tác giả trích dẫn trong văn bản):

  Năm	Tác giả	Công trình	Ghi chú
  1996	Institute of Medicine (IOM)	“Crossing the Quality Chasm”	Định nghĩa rộng về chất lượng y tế.
  1996	Castle et al.	Nghiên cứu các chỉ số chất lượng SNF	Nhận xét về tính chủ quan của các chỉ số hiện có.
  2001	IOM	“Quality Chasm”	Nhấn mạnh tính trung tâm của bệnh nhân.
  2005	Doshi, Shaffer & Briesacher	Thống kê về dân số sử dụng SNF	3 triệu người dùng SNF hàng năm.
  2007	Sangle et al.	Tăng trưởng của bệnh nhân ngắn hạn trong SNF	Tăng hơn 400 % trong 10 năm.
  2010	Castle & Ferguson	Phân tích đa dạng SNF	Không có “SNF tiêu chuẩn”.
  2010	CMS	Hệ thống “Five‑Star Quality Rating”	Ba miền: Health Inspection, Staffing, Quality Measures.
  (Các công trình trên được nêu trong chương I và II của luận án)

• Khoảng trống mà luận án lựa chọn giải quyết:

  • Dù NHCAHPS Family Survey đã được phê duyệt (NQF 2011), chưa có nghiên cứu đánh giá đầy đủ tính hợp lệ và độ tin cậy của thang đo này bằng các mô hình đo lường hiện đại (Rasch).
  • Các phân tích hiện có (ví dụ: AIR 2008) chỉ mô tả tính ổn định nội bộ của các miền tổng hợp mà không kiểm tra tính đo lường một chiều hoặc cấu trúc thang đo.
  • Vì các kết quả khảo sát này sẽ được công bố trên website Nursing Home Compare, việc xác nhận tính đo lường chính xác là cần thiết để tránh quyết định sai lầm tài chính (hoàn trả Medicare) và quản lý quy trình.

Cơ sở lý thuyết và phương pháp nghiên cứu

• Lý thuyết, khái niệm, khung phân tích:

  • Mô hình Rasch (Rasch Rating Scale Model) – được áp dụng để đánh giá độ tin cậy, độ phân tách (separation), độ phù hợp (fit), và cấu trúc thang đo.
  • Khung phân tích đa chiều: Các miền tổng hợp (Composite Domains) – Meeting Basic Needs, Nurses/Aides’ Kindness/Respect, Information/Respondent Involvement, Care of Belongings and Cleanliness.
  • Khái niệm “Overall Rating of Care” – mục duy nhất trên thang đo 0‑10, được xem là chỉ số tổng quan quan trọng.

• Phương pháp thực tế

  Phương pháp	Miêu tả
  Phân tích Rasch	Áp dụng Rating Scale Rasch Model để tính các chỉ số: reliability, person‑item separation, item fit (infit, outfit), kiểm tra độ hợp lý của các thang đo (Rating Scale Type 1‑5).
  Phân tích mẫu ngẫu nhiên	Đánh giá các chỉ số Rasch trên ba mẫu ngẫu nhiên (Random Samples) để kiểm tra độ ổn định.
  Phân tích các miền tổng hợp	Tính các chỉ số Rasch cho từng Composite Domain, bao gồm Meeting Basic Needs và các miền khác.
  Phân tích “Principle Contrasts” (PCA)	Đánh giá tính một chiều của thang đo thông qua PCA của ma trận residuals Rasch.
  Phân tích “Diagnostic”	Kiểm tra các thang đo loại 1‑5 (Table 12‑18) để xác định mức độ hoạt động của các loại thang đo.
  Thu thập dữ liệu	Dữ liệu phản hồi của gia đình được thu thập qua NHCAHPS Family Survey (các mục chi tiết trong phụ lục A).
  Quản lý dữ liệu	Quá trình quản lý dữ liệu chi tiết trong Chương III – Methods and Procedures, bao gồm các giai đoạn: thông báo khảo sát, phân phối, thu thập.

• Nguồn tư liệu / dữ liệu:

  • NHCAHPS Family Survey (phụ lục A).
  • Các tài liệu hỗ trợ: Hướng dẫn đánh giá của CMS, tài liệu AHRQ, báo cáo “AIR Final Report” (2008).
  • Dữ liệu từ bộ phận Skilled Nursing Facilities (số liệu về health inspection, staffing, quality measures) được tích hợp để so sánh.

Nội dung chính theo từng chương

Chương I – Introduction

• Trình bày bối cảnh quan trọng của việc đo lường hài lòng gia đình trong SNF, giới thiệu NHCAHPS Family Survey và lý do cần thẩm định bằng Rasch.
• Đưa ra Statement of the Problem và các câu hỏi nghiên cứu (được liệt kê ở trên).

Chương II – The Current Methods for Collecting and Applying Quality Data in Skilled Nursing Facilities

• Miêu tả các chỉ số hiện hành (Health Inspection, Staffing, Quality Measures) và hệ thống Five‑Star Quality Rating.
• Giới thiệu quá trình phát triển của NHCAHPS Family Survey, bao gồm việc hỗ trợ từ CMS và AHRQ, và quy trình tính điểm (proportional scoring).

Chương III – Methods and Procedures

• Data Management and Collection: Ba giai đoạn thông báo, phân công người nhận, và phân phối khảo sát.
• Theoretical Framework for Measure Construction: Áp dụng Rating Scale Rasch Model.
• Scale Category Analyses: Kiểm tra năm loại thang đo (Rating Scale Types 1‑5) và đề xuất gộp (collapsing) các loại thang đo không phù hợp (Tables 12‑18).
• Diagnostic Analyses: Phân tích person‑item map, item fit, và PCA để đánh giá tính một chiều.

Chương IV – Summary of Rasch Findings

• Trình bày các kết quả chính:
  • Reliability và separation đủ để khẳng định thang đo có thể phân biệt được các mức độ hài lòng.
  • Các Composite Domains không hoạt động tốt (được nêu trong phần “Rasch analyses demonstrate that the NHCAHPS Family Survey has adequate reliability, separation, fit, rating scale functioning, and dimensionality” – nhưng các miền tổng hợp cho thấy vấn đề).
  • Overall Rating of Care có cấu trúc thang đo đáng chú ý, cần xem xét lại cách tính.

Chương V – Application of Findings

• Áp dụng kết quả Rasch để đề xuất cải tiến quy trình: chỉnh sửa thang đo, gộp các loại thang đo không ổn định, và tái thiết kế các Composite Domains.
• Thảo luận cách đưa các chỉ số đã tinh chỉnh vào Five‑Star Quality Rating System và SNF management decision‑making.

Chương VI – Limitations

• Giới hạn về mẫu (các mẫu ngẫu nhiên), phạm vi dữ liệu (chỉ có dữ liệu SNF được công khai), và các hạn chế của mô hình Rasch khi áp dụng cho dữ liệu ordinal.

Chương VII – Conclusions (không được trích nguyên, nhưng nội dung tổng kết)

Kết quả và những đóng góp mới

• Đóng góp lý luận:

  • Cung cấp bằng chứng định lượng (Rasch reliability, separation) cho NHCAHPS Family Survey, khẳng định khả năng đo lường một chiều của các mục, đồng thời chỉ ra các vấn đề trong các Composite Domains.
  • Mở rộng ứng dụng mô hình Rasch trong lĩnh vực đo lường chất lượng chăm sóc lâu dài, một khu vực nghiên cứu truyền thống ít áp dụng phương pháp đo lường hiện đại.

• Đóng góp thực tiễn:

  • Đưa ra khuyến nghị cụ thể về việc gộp (collapsing) các thang đo không hoạt động tốt (ví dụ: “Recommendation to Others” thang đo 3‑point).
  • Đề xuất cập nhật NHCAHPS Family Survey trong hệ thống công bố công cộng (CMS Nursing Home Compare) để phản ánh đúng mức độ hài lòng gia đình.
  • Hỗ trợ các SNF management teams trong việc sử dụng báo cáo phản hồi để xây dựng kế hoạch cải tiến dựa trên các key drivers (được mô tả trong phần “Feedback reports”).

• Kiến nghị, giải pháp đề xuất:

  • Thực hiện đánh giá lại các Composite Domains bằng phân tích Rasch trên dữ liệu mới.
  • Cập nhật guidelines của CMS về việc tích hợp NHCAHPS Family Survey vào hệ thống Five‑Star Rating.
  • Khuyến khích các nhà nghiên cứu tiếp tục phát triển các mô hình đo lường hỗn hợp (qualitative + quantitative) cho các công cụ CAHPS trong môi trường SNF.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế:

  • Phạm vi mẫu chỉ bao gồm các SNF đã cung cấp dữ liệu công khai; không đại diện cho toàn bộ hệ thống SNF.
  • Phân tích Rasch chỉ áp dụng cho các mục có phản hồi đủ (có thể thiếu dữ liệu cho một số mục).
  • Không có so sánh trực tiếp với các mẫu quốc tế hoặc các mô hình đo lường khác.

• Hướng nghiên cứu tiếp:

  • Mở rộng mẫu nghiên cứu sang các SNF ở các vùng địa lý khác và các nhóm dân cư đa dạng.
  • Kết hợp phân tích định tính (phỏng vấn, nhóm tập trung) để làm rõ ý nghĩa của các mục khảo sát.
  • Thử nghiệm các mô hình đo lường thay thế (ví dụ: Item Response Theory đa chiều) để kiểm tra tính ổn định của các Composite Domains.

Giá trị tham khảo

• Đối tượng:

  • Nghiên cứu sinh trong lĩnh vực giáo dục đo lường, y tế công cộng, và quản trị chăm sóc sức khỏe.
  • Giảng viên và nhà phát triển chương trình trong các khoa giáo dục y tế, đo lường tâm lý.
  • Nhà hoạch định chính sách và quản lý SNF quan tâm đến việc cải thiện chất lượng dịch vụ dựa trên dữ liệu hài lòng gia đình.

• Phần đáng tham khảo:

  • Phần Methodology (Chương III) cho các nhà nghiên cứu muốn áp dụng mô hình Rasch trong các khảo sát sức khỏe.
  • Phần Findings (Chương IV‑V) cho các nhà quản lý SNF muốn hiểu cách các chỉ số hài lòng gia đình có thể ảnh hưởng đến quyết định tài chính và cải tiến quy trình.

Câu hỏi thường gặp

1. Những chỉ số Rasch nào được báo cáo cho “Overall Rating of Care”?

   • Các chỉ số bao gồm reliability, person‑item separation, và fit statistics (infit, outfit), được trình bày trong các bảng “Rating Scale Type 1‑5 Diagnostics” (Tables 12‑18).

2. Các Composite Domains có đạt tiêu chuẩn Rasch không?

   • Kết quả cho thấy Composite Domains (ví dụ: Meeting Basic Needs, Nurses/Aides’ Kindness) không hoạt động tốt; các chỉ số phân tách và độ tin cậy thấp hơn so với các mục riêng lẻ.

3. Liệu “Recommendation to Others” có cần được gộp lại?

   • Phân tích đề xuất collapsing thang đo 3‑point của “Recommendation to Others” để cải thiện tính ổn định (được trình bày trong phần “Improving the Rating Scales”, trang 65).

4. Những hậu quả tài chính nào liên quan đến việc sử dụng NHCAHPS Family Survey?

   • Kết quả khảo sát ảnh hưởng tới Medicare reimbursement và có thể được tích hợp vào Five‑Star Quality Rating System, việc đo lường không chuẩn may dẫn đến hoàn trả không chính xác và quyết định sai lầm trong lựa chọn SNF.

5. Làm thế nào để SNF sử dụng báo cáo phản hồi (feedback reports) từ NHCAHPS?

   • Báo cáo cung cấp item‑score tables và key drivers tables; các mục nằm ở đầu danh sách “key drivers” được khuyến nghị cải thiện để tăng điểm “Overall Rating of Care”.

Kết luận

Luận án đánh giá tính chất đo lường của NHCAHPS Family Survey bằng mô hình Rasch, chỉ ra rằng thang đo chung có độ tin cậy và phân tách đủ, nhưng các miền tổng hợp chưa đáp ứng yêu cầu một chiều. Kết quả đề xuất cải tiến thang đo (gộp các loại thang đo không ổn định) và cập nhật công cụ này trong hệ thống Five‑Star Rating của CMS, góp phần nâng cao độ chính xác của các quyết định tài chính và quản lý trong môi trường SNF.

Trích đoạn nội dung tài liệu

The University of Toledo The University of Toledo Digital Repository Theses and Dissertations 2013 Assessment of the measurement properties of the NHCAHPS family survey : a Rasch scaling approach Matthew S. O'Connor The University of Toledo Follow this and additional works at: http://utdr.edu/theses-dissertations Recommended Citation O'Connor, Matthew S., "Assessment of the measurement properties of the NHCAHPS family survey : a Rasch scaling approach" (2013). Theses and Dissertations. This Dissertation is brought to you for free and open access by The University of Toledo Digital Repository.

It has been accepted for inclusion in Theses and Dissertations by an authorized administrator of The University of Toledo Digital Repository. For more information, please see the repository's About page. A Dissertation entitled Assessment of the Measurement Properties of the NHCAHPS Family Survey: A Rasch Scaling Approach by Matthew S. O’Connor Submitted to the Graduate Faculty as partial fulfillment of the requirements for the Doctor of Philosophy Degree in Foundations of Education _________________________________________ Christine M.

Fox, PhD, Committee Chair _________________________________________ Gregory E. Stone, PhD, Committee Member _________________________________________ Noela Haughton, PhD, Committee Member _________________________________________ John Gallick, PhD, Committee Member _________________________________________ Patricia R. Komuniecki, PhD, Dean College of Graduate Studies The University of Toledo May 2013 Copyright 2013, Matthew Stephen O’Connor This document is copyrighted material. Under copyright law, no parts of this document may be reproduced without the expressed permission of the author.

An Abstract of Assessment of the Measurement Properties of the NHCAHPS Family Survey: A Rasch Scaling Approach by Matthew S. O’Connor Submitted to the Graduate Faculty as partial fulfillment of the requirements for the Doctor of Philosophy Degree in Foundations of Education The University of Toledo May 2013 The introduction of the Consumer Assessment of Healthcare Providers and Systems (CAHPS), a family of survey instruments designed to capture and report people’s experiences obtaining health care could soon add satisfaction as a consistent dimension of quality that skilled nursing facilities (SNFs) are required to assess and report. The SNF setting has not yet been mandated to implement CAHPS for Nursing Homes (NHCAHPS). Given the critical implications (e., comparisons of SNFs on NHCAHPS scores) and decisions resulting from performance on the NHCAHPS survey (i., Medicare reimbursement) it was imperative to construct a measure of family satisfaction.

The data were analyzed with the Rasch rating scale model. Rasch analyses demonstrate that the NHCAHPS Family Survey has adequate reliability, separation, fit, rating scale functioning, and dimensionality. Particular attention was given to the Overall Rating of Care item. According to the Rasch diagnostic indices, the NHCAHPS Family Survey composite domains did not function well.

Results are discussed in terms of their application to usefulness by SNF management teams for process improvement and to include in the Five-Star Quality Rating System. iii This dissertation is dedicated to my wife, Karen, and my children: Jason and Drew. Your tremendous patience and sacrifice as I pursued a lifelong dream will always be something I remember. I hope that one day Jason and Drew pick up this document and understand that when they have a dream they will need to work hard to accomplish it.

Working hard will mean giving up immediate gratification to achieve something more fulfilling. When I started on this doctoral journey, Jason was 5 and Karen was pregnant with Drew. This meant I had to leave Karen many evenings with 2 young boys as I attended class. She was able to make it through some tough times and will be happy this chapter of my life is now over.

I know it was not easy and I will always be thankful. There are many other people who were very helpful and supportive during this journey. My parents, Bill and Mary Pat, were always supportive of my dream. They helped me tremendously when this dream was derailed at one point in my life but knew it would be something I accomplished later.

My in-laws, Ron and Helen Payeff, took the boys many evenings when I was gone and helped to Karen out more than I will ever know during this time. Thank you for your support.