• Huvud
  • Nyheter
  • Hur du frågar om dina sömn-, rök- eller yogavaner kan hjälpa undersökare att verifiera deras resultat

Hur du frågar om dina sömn-, rök- eller yogavaner kan hjälpa undersökare att verifiera deras resultat

Har du rökt minst 100 cigaretter i ditt liv? Har du tränat yoga det senaste året? Hur många timmars sömn får du i genomsnitt per dag?

På detta sätt är dessa frågor inte direkt relaterade till de ämnen Pew Research Center är mest engagerade i att studera. Ändå har våra forskare regelbundet ställt frågor som dessa i flera år. Varför? Dessa är exempel på benchmarkingfrågor, som centrum använder som en kontroll för att säkerställa att våra undersökningar är korrekta.

Varför och hur vi använder benchmarkingfrågor

För att bestämma noggrannheten i en undersökning krävs någon form av objektiv standard mot vilken undersökningen kan jämföras. I valundersökningar och andra mått på röstintag är standarden resultatet av valet. Men för undersökningar som inte frågar om val eller röstintag, måste forskare hitta ett annat sätt att jämföra sina resultat. Detta görs ofta med hjälp av andra undersökningar - vanligtvis stora, dyra, statliga undersökningar med stor uppmärksamhet åt datakvaliteten.

Undersökningar från Pew Research Center inkluderar ibland frågor om ekonomiska, demografiska och livsstilsegenskaper för vilka statlig statistik finns som ett riktmärke. Detta hjälper oss inte bara att kontrollera riktigheten av våra resultat, det hjälper oss också att studera hur undersökningar själva kan genomföras bättre.

Ta till exempel en studie från Pew Research Center från förra året som undersökte vad låga svarsfrekvenser - många potentiella respondenter som kontaktas men mycket färre av dem som deltar - betyder för noggrannheten i telefonundersökningar. För att hjälpa till med att svara på denna fråga jämförde studien resultaten av en telefonundersökning från centrumet med resultaten av referensundersökningar med hög respons från den federala regeringen för att se vilka, om några, skillnader som fanns.



På viktiga demografiska och livsstilsriktmärken stämmer Pew Research Center-undersökningar nära med federala undersökningar

Rapporten fann att Pew Research Center-undersökningar var nära anpassade till federala undersökningar om viktiga demografiska och livsstilsriktmärken. Under 14 frågor om personliga egenskaper var den genomsnittliga skillnaden mellan regeringens uppskattning och centrumets uppskattning av telefonundersökningen 3 procentenheter. Skillnaderna i enskilda frågor varierade från 0 till 8 poäng. Den största var på en åtgärd som frågade respondenterna om deras hälsotillstånd: Regeringen fann att 59% av befolkningen bedömde sin hälsa som mycket bra eller utmärkt, medan centrumets telefonundersökning visade att 51% gjorde det.

De andra 13 punkterna låg ganska nära riktmärkena, de flesta med skillnader på 3 procentenheter eller mindre, vilket i allmänhet låg inom felmarginalen. Dessa frågor omfattade mått på familjens inkomst, anställningsstatus, hushållsstorlek, medborgarskap, sjukförsäkring, vistelsetid vid nuvarande adress, äktenskap och föräldraskap, rökfrekvens, födelseort (bland latinamerikaner) och att ha körkort. Med andra ord, om dessa åtgärder gav telefonundersökningen med lågt svar resultat som är ganska jämförbara med resultaten från den statliga undersökningen med hög respons som användes som riktmärke.

Rapporter om samhällsengagemang högre än i jämförelseundersökningar

Sammantaget visade rapporten att partiskhet som infördes i undersökningar på grund av låga svarsfrekvenser fortfarande är begränsad. Och kritiskt, uppskattningar av telefonundersökningar för partitillhörighet, politisk ideologi och religiös tillhörighet fortsätter att spåra bra med uppskattningar från referensundersökningar med hög respons.

Men som centret och andra undersökningsforskare har diskuterat i stor utsträckning fortsätter telefonundersökningar att ge stora fördomar för mått på medborgerligt och i mindre utsträckning politiskt engagemang. Denna avvikelse beror troligen på icke-svarsförskjutning - där de typer av personer som går med på att delta i undersökningar skiljer sig systematiskt från dem som inte kan kontaktas eller vägrar att delta. Som vi hittade i tidigare arbete är det troligt att de som svarar på enkäter är samma personer som är involverade i samhällslivet - de är medverkare och deltagande i undersökningar är ett slags pro-socialt beteende relaterat till andra typer av beteenden som volontärarbete. Lyckligtvis för opinionsundersökare är medborgarengagemang inte starkt korrelerat med politiska attityder eller de flesta andra åtgärder som forskare studerar i undersökningar.

Varningar om riktmärken

Politiskt aktiva vuxna överrepresenterade i Pew Research Center-undersökningar

Även om stora statliga undersökningar i allmänhet anses ha hög datakvalitet är de inte immuna mot några av samma problem som alla undersökningsforskare står inför. Till exempel, medan regeringsundersökningar tenderar att ha mycket höga svarsfrekvenser (i storleksordningen 60% eller mer) jämfört med opinionsundersökningar utförda av andra organisationer, finns det fortfarande en risk för avvikelse.

Även om noggrant utvecklade och testade statliga undersökningar är fortfarande föremål för mätfel, vilket kan uppstå på grund av hur frågor ställs (till exempel vilka frågor som kommer omedelbart före en viss fråga, om undersökningen gjordes via telefon eller online , etc.). Frågeformulär från Pew Research Center som inkluderar benchmarkingfrågor replikerar inte det exakta sammanhanget i vilket de ursprungliga frågorna ställdes, särskilt för att centret tenderar att fokusera på ämnen som skiljer sig från dem i referensundersökningar. Jämförelser är i allmänhet inte tillgängliga för frågor om attityder och beteenden som regeringen inte studerar.

Alla undersökningar kan också möta problem med svarsbias, inklusive social önskvärdhet, där respondenter kan ändra svar på vissa frågor för att presentera sig mer gynnsamt. Detta är särskilt en risk när en intervjuare ställer känsliga frågor: Respondenter kan till exempel överdriva sin röstfrekvens.

Alla dessa faktorer kan påverka jämförbarheten av till synes identiska frågor som ställs i olika undersökningar, inklusive statliga undersökningar. Med detta sagt är benchmarkingfrågor fortfarande ett värdefullt verktyg för undersökningsforskare som kontrollerar och bedömer noggrannhet. De är särskilt viktiga för centrumets studier om undersökningsmetodik.

Facebook   twitter