應(yīng)答負擔(dān)和問卷長度：問卷設(shè)計得越短越好嗎？

2021-07-09 18:29

來源：澎湃新聞·澎湃號·湃客

聽全文

原創(chuàng) 楊家煒、董海軍定量群學(xué)

文獻名稱

Response Burden and Questionnaire Length: Is Shorter Better? A Review and Meta-analysis

作者

Sindre Rolstad, John Adler, PhLic,Anna Rydén

來源期刊

Value in health 14, (2011)

導(dǎo)讀背景

應(yīng)答負擔(dān)，可以理解為受訪者回答問卷時需要付出的努力，它會影響問卷的應(yīng)答率、完成率和問卷的質(zhì)量。有人提出，問卷的長度是應(yīng)答負擔(dān)的影響因素之一。為了降低應(yīng)答負擔(dān)應(yīng)該縮減問卷的長度，但這方面的實證證據(jù)一直不足。因此，本文對問卷應(yīng)答率與問卷長度相關(guān)的研究進行了系統(tǒng)的文獻回顧和元分析，旨在梳理、分析和討論關(guān)于應(yīng)答負擔(dān)和問卷長度之間相關(guān)聯(lián)的證據(jù)。本研究初步確定了32份關(guān)于應(yīng)答負擔(dān)和問卷長度之間的關(guān)聯(lián)的文獻，其中20份符合元分析的條件。其中有三項研究在評估應(yīng)答負擔(dān)時通過受訪者輸入相關(guān)信息作為分析來源。元分析結(jié)果發(fā)現(xiàn)，應(yīng)答率和問卷長度之間存在一般聯(lián)系，較長問卷的應(yīng)答率較低，但由于同質(zhì)性檢驗的P值等于0.03，所以應(yīng)該謹慎看待這種關(guān)聯(lián)，因為我們無法將問卷內(nèi)容的影響與問卷的長度分開。

問題的提出

關(guān)于應(yīng)答負擔(dān)，現(xiàn)在還沒有一個明確的定義。只知道，問卷長度、抽樣密度、完成調(diào)查所需的認知負擔(dān)以及問卷的格式、排版和界面等因素都會影響受訪者的應(yīng)答負擔(dān)。與之類似的概念還有應(yīng)答者負擔(dān)、應(yīng)答疲勞和主體負擔(dān)等。增加應(yīng)答負擔(dān)會導(dǎo)致問卷的應(yīng)答率降低、完成率降低和數(shù)據(jù)質(zhì)量降低等情況發(fā)生。應(yīng)答負擔(dān)對于某些特殊群體可能尤其成問題，例如重病患者、老年人和兒童。調(diào)查問卷的長度是應(yīng)答負擔(dān)的一個強影響因素，因此，降低潛在的應(yīng)答負擔(dān)成為了減少調(diào)查問卷問題數(shù)目的理由，這也直接推動了研究者開發(fā)問題最少的調(diào)查問卷。有研究甚至指出，單個問題的問卷更有利于減輕應(yīng)答負擔(dān)。但是，目前仍沒有強有力的實證證據(jù)來支持“相對更短的問卷更可取”這一觀點。隨著受訪者報告結(jié)果（PROs）（例如，回憶的準確性、內(nèi)容效度和使用電子報告格式的偏好）的監(jiān)管需求增加，抽樣密度（測量頻率）也可能增加。因此，需要進一步了解問卷長度和應(yīng)答負擔(dān)之間是否存在關(guān)聯(lián)。

數(shù)據(jù)方法

在文獻搜索方面，本研究使用PubMed和EMBASE數(shù)據(jù)庫，篩選和確定了評估問卷長度和應(yīng)答率之間關(guān)聯(lián)的原始文獻。經(jīng)搜索，共產(chǎn)生了4861個相關(guān)研究的記錄（如表1所示）。在篩選和進一步檢查后，總共發(fā)現(xiàn)21份報告、2份元分析和19篇種子性論文符合資格標準。查閱相關(guān)參考文獻后，又增加了11篇種子性論文。文獻篩選的標準如下：（1）以英語發(fā)表在同行評審的期刊上；（3）內(nèi)附調(diào)查問卷；（3）主題為健康、疾病或醫(yī)學(xué)；（4）不限制發(fā)表日期，在2011年1月10日前，即最后一次文獻搜索日前發(fā)表的均可；（5）文獻中還需有測量應(yīng)答負擔(dān)的措施，無論是直接測量（通常通過受訪者輸入信息），還是間接測量（如通過評估應(yīng)答率）都包括在內(nèi)。但是，如果應(yīng)答負擔(dān)被定義為完成問卷的時間，則該文獻被排除在外，因為這不是負擔(dān)的明確表示，而是反映了較長的問卷需要更多的時間來完成這一事實。

在統(tǒng)計分析方面，本研究主要運用了元分析、CMH分層卡方檢驗和Breslow-Day檢驗。元分析中包括的所有文獻都附有由文獻的原作者定義為較短和較長的問卷。本文作者將些關(guān)于相對長度的定義被用來將文獻分成較短問卷組和較長問卷組，并用CMH卡方檢驗分析了較短問卷和較長問卷的應(yīng)答率差異，以分析應(yīng)答率和問卷長度之間的關(guān)聯(lián)。所有問卷組別的CMH檢驗優(yōu)勢比（odds ratio, OR）和95%置信區(qū)間，以及OR值的Breslow-Day檢驗都將給出。所有統(tǒng)計分析均使用SAS分析軟件和R語言進行。

研究結(jié)果

首先，作者分析了先前的兩篇元分析報告。對于第一篇元分析報告，根據(jù)原作者的定義，問卷被分為較短組和較長組。但其中許多調(diào)查方法已經(jīng)過時，并且涉及與醫(yī)療保健無關(guān)的話題，例如市場營銷調(diào)查。因此，這些文獻幾乎沒有適用性。當(dāng)僅將主題與健康相關(guān)的文獻進行元分析時，這11項研究中有4項研究發(fā)現(xiàn)：問卷較長會導(dǎo)致應(yīng)答率下降；而在其余7項研究中，沒有證據(jù)表明應(yīng)答負擔(dān)增加。但值得注意的是，這些研究并非所有都比較了同一份問卷的不同版本，有些研究比較的是完全不同的問卷。這份元分析報告中有10項研究符合納入本次元分析的條件。在另一篇元分析報告中，調(diào)查了應(yīng)答率和問卷問題數(shù)量之間的關(guān)聯(lián)。在納入的125項研究中，問題數(shù)量范圍從1到361（均值28.1；SD 51）。根據(jù)原作者的分析結(jié)果，問卷問題數(shù)量和總應(yīng)答率之間的相關(guān)性很弱（r=0.29）。原作者的結(jié)論是，即使問卷較長（如15~20頁），也可以獲得較高的應(yīng)答率。這份元分析報告提供了前所未有的應(yīng)答率和問卷長度之間存在潛在關(guān)聯(lián)的證據(jù)。

接下來，作者結(jié)合自己搜索的文獻和先前元分析報告中符合本次元分析標準的文獻進行了元分析。本次元分析結(jié)果顯示，應(yīng)答率和問卷長度之間存在一般聯(lián)系（P<0.0001）；對于較長的問卷，回復(fù)率略低。CMH檢驗的OR估值為1.14，95%置信區(qū)間為1.08–1.21。Breslow-Day檢驗的P值為0.03，表明OR值的異質(zhì)性，其有效性可能會受到質(zhì)疑，并且應(yīng)謹慎解釋該值。因此，沒有明確的跡象表明總體應(yīng)答率的差異是由于問卷之間的長度差異造成的。較短和較長問卷的頁數(shù)數(shù)據(jù)未包含在分析中，但如圖1所示。

圖1

討論

以應(yīng)答率衡量的應(yīng)答者負擔(dān)經(jīng)常被用作開發(fā)簡短問卷和縮短現(xiàn)有問卷的理由。本文獻綜述的目的是系統(tǒng)地匯編和評估問卷長度和應(yīng)答者負擔(dān)之間潛在關(guān)系的證據(jù)?？偣灿?5項研究通過應(yīng)答率間接檢驗了這種關(guān)系；其中，只有六個報告說，當(dāng)進行更長時間的問卷調(diào)查時，應(yīng)答率顯著降低。在我們的元分析中，當(dāng)患者接受相對較短的問卷調(diào)查時，有更大的應(yīng)答機會。然而，同質(zhì)性檢驗的結(jié)果表明，除了問卷長度之外的因素可能也同樣重要。

1.測量方式

有些研究使用完成一份問卷的時間來作為負擔(dān)的衡量標準。但僅僅依靠時間假設(shè)完成一份問卷本身就是一種負擔(dān)，并且隨著時間的推移會產(chǎn)生更多的負擔(dān)，而不會對任何衡量標準進行假設(shè)檢驗。時間本身并不能說明花在調(diào)查問卷上的時間是否繁重。完成問卷的時間相對較短，甚至可以反映出參與所提問題的努力減少。因此，完成問卷的時間越長，意味著受訪者的積極性越高，負擔(dān)越輕。大多數(shù)調(diào)查受訪者負擔(dān)的研究都假設(shè)較高的回應(yīng)率意味著負擔(dān)減輕。雖然這個假設(shè)是合理的，但它充其量只是一個假設(shè)，因為回復(fù)率沒有提供任何關(guān)于為什么問卷沒有被退回的信息。涉及受訪者自己輸入負擔(dān)信息的研究將有助于澄清不返回調(diào)查問卷的原因。我們的系統(tǒng)搜索發(fā)現(xiàn)，只有三項研究通過直接詢問患者他們更喜歡哪份問卷以及為什么，觸及了應(yīng)答者負擔(dān)的概念。

2.測量環(huán)境

第一，問卷涉及領(lǐng)域的問題。本研究發(fā)現(xiàn)，受訪者完成市場營銷調(diào)查的動機將不同于評估其健康狀況時情況。通常來說，與大多數(shù)營銷研究相比，流行病學(xué)調(diào)查的主題可能與受訪者更相關(guān)。問卷研究不僅基于與應(yīng)答者潛在的至關(guān)重要的相關(guān)主題，而且受訪者也可能認為返回問卷可能會影響他們的治療結(jié)果。第二，調(diào)查人群的問題。經(jīng)常被提起的一點是，嚴重疾病患者、老年人、兒童和一些特殊群體的應(yīng)答負擔(dān)可能更大。因此，我們需要在感興趣的人群中進行驗證，因為一些研究未能發(fā)現(xiàn)依從性和人群特征之間的任何一致關(guān)系。例如，68名預(yù)期壽命不到2個月的絕癥患者中，有51人報告說沒有與完成大量問卷調(diào)查相關(guān)的負擔(dān)。

3.數(shù)據(jù)質(zhì)量

問卷縮短的一個普遍問題是有效性和可靠性降低。一般來說，只有單個問題的問卷，其心理測量屬性很差。例如，問卷問題數(shù)量的減少可能導(dǎo)致測量維度有限，這可能導(dǎo)致問卷對數(shù)據(jù)變化不敏感。

4.長度和內(nèi)容的比較

比較問卷長度的一個固有問題是研究對象的相關(guān)性。在所討論的研究中，問卷頁數(shù)是最常見的衡量標準。“短”的含義從1個問題到16頁不等，而“長”可以是2到36頁。不僅不同研究之間存在差異，而且研究內(nèi)部也存在差異。雖然用百分比表示的比較一頁和兩頁的研究的增量等于比較16頁和36頁的研究的增量，但在后一種情況下，完成問卷所花費的額外時間明顯更多。因此，頁數(shù)可能不是衡量完成問卷所需努力的最理想標準。此外，構(gòu)成一份問卷的問題在復(fù)雜性上可能有很大差異，例如在問題選項的數(shù)量方面。當(dāng)受訪者完成一份較短的問卷，其中包含復(fù)雜的選項，而不是一份較長的問卷，其中包含更直接的選項時，應(yīng)答負擔(dān)可能會更明顯。另一個復(fù)雜因素是，在大多數(shù)情況下，在比較同一份問卷的兩個版本時，無法將增加的長度與增加或刪除的內(nèi)容分開。同質(zhì)性檢驗的重要結(jié)果證實了這一觀點。還應(yīng)該指出的是，并非所有研究都比較了同一份問卷的不同版本，還有些包括不同問卷的比較。

對應(yīng)答者負擔(dān)的關(guān)注大多集中在減少問卷的問題數(shù)量上，但當(dāng)患者被要求完成多個問卷時，應(yīng)答者負擔(dān)可能更為嚴重。例如，當(dāng)研究中包括的問卷反映類似的概念時（例如回答多個涵蓋類似或相同概念的問卷時），應(yīng)答負擔(dān)可能更大。與其回答相類似的較短的問卷，減少問卷之間內(nèi)容的重疊可能更有利于減輕應(yīng)答負擔(dān)。此外，鑒于對使用的問卷的監(jiān)管要求增加，這可能導(dǎo)致抽樣密度增加，導(dǎo)致重復(fù)評估，這可能加大使得受訪者緊張的風(fēng)險。然而，關(guān)于應(yīng)答負擔(dān)與重復(fù)評估之間的關(guān)聯(lián)的研究還有限，未來的研究應(yīng)該調(diào)查抽樣密度和應(yīng)答負擔(dān)程度之間的潛在關(guān)系。

結(jié)論

鑒于問卷長度和應(yīng)答負擔(dān)之間存在關(guān)聯(lián)的支持很弱，問卷的選擇最好是基于從受訪者的角度來看的問卷內(nèi)容質(zhì)量，而不是問卷長度本身。