Attention checks v online dotaznících: co ještě funguje

Andrzej Szymkowiak · Naposledy zkontrolováno v červenci 2026

TL;DR: Používejte dvě vrstvy attention checks, ne jednu položku „vyberte pět“. Zkušení respondenti panelů klasickou kontrolu poznají a v jedné studii bylo asi 61 % selhání u ní záměrné odmítnutí, ne nepozornost (Silber, Roßmann, & Gummer, 2022). Přidejte bogus item skrytou uvnitř škály a sladěnou s jejími položkami („Na Měsíci bylo postaveno metro“, správná odpověď rozhodně nesouhlasím). Vylučovací pravidla určete před sběrem dat. Na Prolific studie o délce pěti minut a více vyžaduje více než jednu neprošlou kontrolu, než smíte platbu odmítnout.

Otevřete datový soubor a 30 z vašich 400 respondentů dokončilo 12minutový dotazník za méně než 4 minuty — všichni přitom prošli vaší jedinou položkou „vyberte prosím ‚souhlasím'". Fungovala vaše kontrola pozornosti? Tento průvodce vysvětluje, co je nedbalé odpovídání (careless responding), které kontroly ho ještě v roce 2026 dokážou odhalit, proč standardní kontroly ztrácejí sílu, a design, který teď používám ve vlastních studiích: zamaskovaný bogus item, který nelze projít bez čtení. Na konci najdete pravidla platforem — co smíte a nesmíte odmítnout na Prolific — a propracované nastavení, které si můžete upravit.

Co je nedbalé odpovídání (careless responding) doopravdy

Nedbalé (nebo „insufficient effort", s nedostatečným úsilím) odpovídání znamená odpovídat bez čtení — prolétávání textu, klikání ve vzorcích, nebo nechání práce na botovi. Má dvě odlišné podoby: náhodné odpovídání, které přidává šum, a nenáhodné odpovídání jako straight-lining (stejná odpověď na celou škálu), které může zkreslit korelace a poškodit vaši faktorovou strukturu (Meade & Craig, 2012). I skromný podíl nedbalých respondentů může změnit věcné závěry, a proto je dnes screening standardní praxí; aktuální referencí pro celý obor je přehledová práce Ward a Meade (2023) v Annual Review.

Nástroje pro detekci spadají do dvou rodin:

Žádná z rodin sama o sobě nestačí. Nedávná experimentální práce zjistila, že nepřímé indexy — zejména konzistence v rámci jednotlivce — se přímým položkám často vyrovnají nebo je předčí (Goldammer et al., 2024), takže dobrý screeningový plán kombinuje obojí.

Problém: respondenti se naučili klasické kontroly

Respondenti online panelů nejsou naivní. Častí účastníci viděli běžná paradigmata a měřítka mnohokrát (Chandler, Mueller, & Paolacci, 2014) a vzorky z platforem běžně překonávají vysokoškolské subject pooly v attention checks — dokonce i v nových kontrolách, které nemohli předtím vidět, což odráží skutečně vyšší průměrnou pozornost v těchto vzorcích (Hauser & Schwarz, 2016). Znalost opakovaně používaných kontrol je samostatný, reálný problém.

Dvě nedávná zjištění tento bod zostřují. Za prvé, když výzkumníci zkoumali selhání u klasické instructed-response položky, přibližně 61 % z nich se jevilo jako záměrné nedodržení pokynu — respondenti, kteří kontrolu poznali a rozhodli se instrukci nedodržet — spíše než skutečná nepozornost (Silber, Roßmann, & Gummer, 2022). Triviální kontrola, kterou zkušení respondenti poznají už podle jejího tvaru, měří ochotu se přizpůsobit (compliance), ne pozornost. Za druhé, rozsáhlé srovnání typů kontrol zjistilo, že jejich užitečnost se enormně liší, a doporučilo upřednostnit paměťové kontroly a kontroly s jednoznačnou odpovědí před formáty jako klasický instructional manipulation check (Perfecto & O'Donnell, 2026).

Závěr nezní „zrušte attention checks". Zní: nedovolte, aby všechny vaše kontroly vypadaly jako kontroly.

Kontrola, kterou nelze projít bez čtení

Design, který používám ve vlastních studiích, přidává druhou vrstvu vedle standardní instructed položky: bogus item zamaskovaný uvnitř škály. Tvrzení je zjevně nepravdivé pro každého — bez potřeby předchozích znalostí, bez dvojznačnosti:

Na Měsíci bylo postaveno metro.

Jedinou obhajitelnou odpovědí je rozhodně nesouhlasím (nebo rozhodně ne). To, co dělá tuto položku funkční, není samotné tvrzení — je to kamufláž:

• Sladit formát. Bogus item sedí uvnitř Likertovy mřížky, používá stejnou odpověďovou škálu a odpovídá okolním položkám délkou i gramatickou konstrukcí. Jednořádková absurdita mezi dvouřádkovými postojovými položkami je snadno odhalitelná; sladěná není.
• Sladit pozici. Umístěte ji doprostřed dotazníku, uvnitř bloku skutečných položek — ne jako první, ne jako poslední, ne osamoceně na stránce. Jedna výhrada: pokyny Prolific preferují kontroly blízko začátku studie, pokud slouží jako důvod k odmítnutí platby, takže zamaskovanou kontrolu uprostřed dotazníku je lepší považovat za kritérium vyloučení z analýzy (respondent je zaplacen, ale vyřazen z analýzy) než za důvod k odmítnutí platby.
• Udělat ho univerzálně nepravdivým. Tvrzení musí vyžadovat nulové znalosti a nulový úsudek. „Nikdy jsem nepoužil(a) internet" funguje v online dotazníku; „Hlavním městem Austrálie je Sydney" nefunguje (jde o znalostní otázku a platformy ji jako attention check neuznají).
• Dát pozor na střední hodnotu. Pokud vaše škála nabízí neutrální střední možnost, nedbalý, ale opatrný respondent ji může zvolit, aby se vyhnul odhalení. Pravidla Prolific explicitně vyžadují, aby nesmyslné položky použité pro odmítnutí neměly žádnou obhajitelnou neutrální odpověď — proto buď použijte odpověďovou škálu, kde je správná odpověď jednoznačná, nebo posuzujte odpovědi na středu jako příznak k přezkoumání, ne jako automatické odmítnutí.

Vyhodnoťte bogus item samostatně Vyhodnoťte bogus item samostatně a vyřaďte ho ze škály. Je to screeningová položka, ne indikátor vašeho konstruktu — nikdy ho nenechte vstoupit do kompozitu ani sytit faktor v CFA nebo jiném měřicím modelu. (Tím se také zabrání tomu, aby byl omylem považován za reverzně kódovanou položku.)

Poctivý stav důkazů: zatím neexistuje vyhrazený přímý experiment srovnávající zamaskované a otevřeně triviální kontroly. Toto doporučení je odvozené — skryté kontroly jsou doporučovány před otevřenými (Muszyński, 2023), záměrné nedodržení pokynu ukazuje, že rozpoznatelné kontroly přestávají měřit pozornost (Silber et al., 2022), a formát položky prokazatelně ovlivňuje detekci (Goldammer et al., 2024). Ve vlastních studiích to používám jako jednu z několika vrstev: attention-check položky plus kritéria času a variance, přičemž vyloučení reportuji v článku (Szymkowiak & Antoniak, 2024; Szaban, Szymkowiak, & Zdziennicka, 2025).

Stanovte pravidla dřív, než přijdou data

Vylučovací pravidla stanovená až po zhlédnutí dat jsou „zahrada rozvětvujících se cest" (garden of forking paths) — děláte mnoho malých, na první pohled obhajitelných rozhodnutí, dokud se výsledek nestane signifikantním: každá malá volba vypadá nevinně, ale s dostatečnou volností si můžete „vyčistit" cestu k signifikanci. Tři pravidla udrží screening poctivý:

1. Zapište si kritéria před sběrem dat — které kontroly, kolik selhání, jaký časový práh, co se stane s označenými hraničními případy. Časové prahy by měly vycházet z pilotní studie (například 40 % mediánu z pilotu), ne z odhadu.
2. Reportujte screening v článku — kolik respondentů bylo vyloučeno, podle kterého kritéria, v jakém pořadí. Vlastní studie reportuji s počty vyloučení podle kritéria (např. Szaban, Szymkowiak, & Chwialkowska, 2025) a recenzenti stále více očekávají tuto úroveň detailu.
3. Vězte, že vyloučení je analýza, ne úklid. Vylučování účastníků může zkreslit odhad efektu ošetření (treatment effect), když pozornost souvisí s podmínkou nebo výsledkem (Mathur, 2025). Zároveň úplné ignorování pozornosti může skrýt skutečné efekty (Roth & Yakobi, 2024). Obhajitelný střed: předem specifikovaná pravidla, analýzy citlivosti s vyloučeními i bez nich, a žádné vymýšlení pravidel až po zhlédnutí výsledků.

Jednu starší obavu lze částečně odložit: dvě studie nenašly žádný důkaz, že přítomnost attention checks zkresluje průměry škál nebo strukturu měření (Kung, Kwok, & Brown, 2018), ačkoli výslovná upozornění na pozornost (attention prompts) mohou v některých skupinách postrčit k sociálně žádoucímu odpovídání (Clifford & Jerit, 2015). Kontroly tiše vložené do škál žádné takové upozornění nepřinášejí, čímž se tomuto riziku vyhýbají — další argument pro kamufláž namísto konfrontace. Stejná logika designu napřed platí i pro method bias: nejdůležitější nápravná opatření se dějí před sběrem dat, ne po něm — viz common method bias: prevence poráží detekci →.

Co smíte odmítnout na Prolific (a co ne)

Pravidla platformy jsou součástí metody. Aktuální politika Prolific (centrum nápovědy pro výzkumníky, stav k červenci 2026) umožňuje odmítnout platbu jen u dvou typů attention checks: instructed-response položek a nesmyslných (bogus) položek s objektivně správnou odpovědí. Comprehension checks (kontroly porozumění), paměťové otázky a subjektivní položky nejsou platným důvodem k odmítnutí — a z hlediska fairness byste neměli odmítat na základě kritérií, o kterých se účastníci nikdy nedozvěděli. U studií trvajících pět minut nebo déle musí účastník selhat ve více než jedné kontrole, než ho smíte odmítnout; pod pět minut stačí jedno selhání. Pokud nabíráte přes Prolific, zabudujte tato pravidla do studie ještě před spuštěním — odmítnutí, které porušuje politiku, vás stejně stojí poplatek, plus odvolání, plus vaše reputační skóre. Naplánujte rozpočet i pro vyloučení: pokud očekáváte, že odstraníte 5–10 %, naberte nad velikost vzorku, kterou vaše analýza potřebuje.

Propracované nastavení

12minutový spotřebitelský dotazník se dvěma bloky Likertovy škály, cílové N = 400:

1. Jedna instructed-response položka brzy v dotazníku („Z důvodu kontroly kvality prosím u tohoto tvrzení vyberte ‚spíše nesouhlasím'.") — standardní vrstva.
2. Jeden zamaskovaný bogus item uprostřed dotazníku, uvnitř druhého bloku škály, sladěný délkou i formátem („Na Měsíci bylo postaveno metro.").
3. Časové kritérium nastavené z pilotu: označit dokončení rychlejší než, například, 40 % mediánu z pilotu.
4. Kritérium variance: označit bloky škály s nulovou variancí (straight-lined).
5. Rozhodovací pravidlo, stanovené předem: výchozí cesta — zaplaťte všem a z analýzy vylučte každého, kdo selže v obou vestavěných kontrolách, nebo selže v jedné kontrole a zároveň spustí příznak časování/variance. Toto je čistší varianta a obchází výše uvedenou výhradu ohledně umístění: protože bogus item sedí uprostřed dotazníku, a ne blízko začátku, je bezpečnější považovat ho za kritérium vyloučení z analýzy než za důvod k odmítnutí platby. Přísnější varianta, kterou používají některé týmy, v souladu s politikou Prolific: odmítnout platbu respondentům, kteří selžou v obou vestavěných kontrolách (dvě selhání, což je pro studii této délky v souladu s politikou). Tuto variantu používejte opatrně a jasně ji zdokumentujte, protože závisí na splnění požadavků platformy na umístění a vícenásobné selhání. Počty se v obou případech reportují v článku.

Věta do sekce metod k úpravě:

Kvalita dat byla prověřena dvěma vestavěnými attention checks (jednou instructed-response položkou a jedním bogus item), kritériem doby dokončení stanoveným na 40 % mediánu z pilotu a kritériem nulové variance pro bloky škály; všechna pravidla byla definována před sběrem dat. Z 431 účastníků selhalo 12 v obou vestavěných kontrolách a dalších 19 splnilo alespoň jedno vylučovací kritérium; všech 31 bylo zaplaceno a odstraněno z analýzy, čímž zbylo N = 400.

Časté chyby, kterých se vyvarujte

• Spoléhání na jedinou položku „vyberte X" — zkušení respondenti ji poznají a někteří ji záměrně nesplní.
• Použití trikových, paměťových nebo znalostních otázek jako kontrol — měří špatnou věc a porušují politiky odmítnutí platformy.
• Psaní vylučovacích pravidel až po zhlédnutí dat — to je researcher degree of freedom (volnost výzkumníka), ne kontrola kvality.
• Odmítání platby za selhání, která vaše platforma neuznává jako důvod (comprehension checks, jedno selhání v dlouhé studii).
• Poskytnutí obhajitelné střední odpovědi u bogus item a následné odmítnutí respondentů, kteří ji zvolili.
• Nahromadění tolika kontrol, že se pozorní respondenti cítí sledovaní místo důvěryhodní — kontroly také sdělují nedůvěru.

Často kladené otázky

References

Chandler, J., Mueller, P., & Paolacci, G. (2014). Nonnaïveté among Amazon Mechanical Turk workers: Consequences and solutions for behavioral researchers. Behavior Research Methods, 46(1), 112–130. https://doi.org/10.3758/s13428-013-0365-7

Clifford, S., & Jerit, J. (2015). Do attempts to improve respondent attention increase social desirability bias? Public Opinion Quarterly, 79(3), 790–802. https://doi.org/10.1093/poq/nfv027

Goldammer, P., Stöckli, P. L., Escher, Y. A., Annen, H., Jonas, K., & Antonakis, J. (2024). Careless responding detection revisited: Accuracy of direct and indirect measures. Behavior Research Methods, 56(8), 8422–8449. https://doi.org/10.3758/s13428-024-02484-3

Hauser, D. J., & Schwarz, N. (2016). Attentive Turkers: MTurk participants perform better on online attention checks than do subject pool participants. Behavior Research Methods, 48(1), 400–407. https://doi.org/10.3758/s13428-015-0578-z

Kung, F. Y. H., Kwok, N., & Brown, D. J. (2018). Are attention check questions a threat to scale validity? Applied Psychology, 67(2), 264–283. https://doi.org/10.1111/apps.12108

Mathur, M. B. (2025). On the statistical analysis of studies with attention checks. Advances in Methods and Practices in Psychological Science, 8(2). https://doi.org/10.1177/25152459251338041

Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. https://doi.org/10.1037/a0028085

Muszyński, M. (2023). Attention checks and how to use them: Review and practical recommendations. Ask: Research and Methods, 32(1), 3–38. https://doi.org/10.18061/ask.v32i1.0001

Perfecto, H., & O'Donnell, M. (2026). The use and usefulness of attention checks in behavioral research. Journal of Consumer Research, 53(1), 182–200. https://doi.org/10.1093/jcr/ucaf058

Roth, Y., & Yakobi, O. (2024). Attention! Do we really need attention checks? Journal of Behavioral Decision Making, 37(2), e2377. https://doi.org/10.1002/bdm.2377

Silber, H., Roßmann, J., & Gummer, T. (2022). The issue of noncompliance in attention check questions: False positives in instructed response items. Field Methods, 34(4), 346–360. https://doi.org/10.1177/1525822X221115830

Szaban, M., Szymkowiak, A., & Chwialkowska, A. (2025). Breaking barriers: Navigating the stages of the green consumer journey. Environment, Development and Sustainability, 28(5), 13087–13124. https://doi.org/10.1007/s10668-025-06795-z

Szaban, M., Szymkowiak, A., & Zdziennicka, A. (2025). Unpacking consumer price perceptions: The role of sustainability and ethical labels in the cosmetics market. Journal of Cleaner Production, 490, 144730. https://doi.org/10.1016/j.jclepro.2025.144730

Szymkowiak, A., & Antoniak, M. A. (2024). Eco-endorsement dynamics: Unraveling the influence of celebrity attitudes on eco-product perceptions and purchase decisions. International Journal of Wine Business Research, 36(3), 453–472. https://doi.org/10.1108/IJWBR-11-2023-0068

Ward, M. K., & Meade, A. W. (2023). Dealing with careless responding in survey data: Prevention, identification, and recommended best practices. Annual Review of Psychology, 74, 577–596. https://doi.org/10.1146/annurev-psych-040422-045007

Jak to za vás Explonia dělá

V Explonii jsou attention checks obyčejné položky: instructed-response nebo bogus item umístíte do libovolného bloku škály a automaticky přebere odpověďovou škálu a rozvržení daného bloku — kamufláž, kterou tento článek doporučuje, bez žádného speciálního widgetu, který by kontrolu prozradil. Screen-outy, limity odpovědí a doba dokončení pro každého respondenta jsou vestavěné, takže vaše předregistrovaná vylučovací pravidla lze aplikovat a transparentně reportovat při analýze. Pokud píšete vlastní položky, projděte si nejprve návod na psaní položek a podívejte se na demo se screen-outem v galerii. Funkce „Article description" napíše váš odstavec výsledků z finálního, prověřeného datasetu — zůstáváte autorem a upravujete každé slovo.

Připraveni sbírat data, která obhájíte? Postavte si dotazník s vestavěnými attention checks a screen-outy v Explonii. Začněte zdarma →