Attention checks v online prieskumoch: čo ešte funguje

Andrzej Szymkowiak · Naposledy revidované: júl 2026

TL;DR: Použi dve vrstvy kontrol pozornosti, nie jednu položku „vyber päť". Skúsení respondenti panelov klasickú kontrolu poznajú a v jednej štúdii bolo asi 61 % zlyhaní na nej zámerné odmietnutie, nie nepozornosť (Silber, Roßmann, & Gummer, 2022). Pridaj bogus item skrytý v škále a zosúladený s jej položkami („V mestskej doprave na Mesiaci bola postavená linka metra", správna odpoveď rozhodne nesúhlasím). Vylučovacie pravidlá stanov pred zberom dát. Na Prolific si pri štúdii dlhej päť minút a viac môžeš odmietnuť preplatiť až po viac než jednej zlyhanej kontrole.

Otvoríš dátový súbor a 30 z tvojich 400 respondentov dokončilo 12-minútový prieskum za menej ako 4 minúty, pričom všetci prešli tvojou jedinou položkou „prosím vyber ‚súhlasím'". Zafungovala tvoja attention check? Tento návod pokrýva, čo je careless responding (nedbalé odpovedanie), ktoré kontroly ho v roku 2026 ešte odhalia, prečo štandardné kontroly strácajú silu, a dizajn, ktorý teraz používam vo vlastných štúdiách: zamaskovaný bogus item, ktorý nemožno prejsť bez čítania. Na záver sú pravidlá platformy — čo smieš a nesmieš odmietnuť preplatiť na Prolific — a riešené nastavenie, ktoré si môžeš prispôsobiť.

Čo je careless responding v skutočnosti

Careless (alebo „nedostatočne usilovné") odpovedanie znamená odpovedanie bez čítania — preletenie očami, klikacie vzorce, alebo nechanie robota, aby robil prácu. Má dve odlišné podoby: náhodné odpovedanie, ktoré pridáva šum, a nenáhodné odpovedanie ako straightlining, ktoré môže skresliť korelácie a poškodiť tvoju faktorovú štruktúru (Meade & Craig, 2012). Aj skromný podiel careless respondentov môže zmeniť vecné závery, preto je skríning dnes štandardnou praxou; aktuálnou referenciou pre celý odbor je prehľad Ward a Meade (2023) v Annual Review.

Nástroje na detekciu spadajú do dvoch rodín:

Žiadna z rodín sama osebe nestačí. Nedávna experimentálna práca zistila, že nepriame indexy — najmä vnútroosobná konzistencia — často dosahujú rovnaké alebo lepšie výsledky ako priame položky (Goldammer et al., 2024), takže dobrý plán skríningu kombinuje oboje.

Problém: respondenti sa naučili klasické kontroly

Respondenti online panelov nie sú naivní. Frekventovaní účastníci videli bežné paradigmy a merania mnohokrát (Chandler, Mueller, & Paolacci, 2014) a vzorky z platforiem bežne prekonávajú univerzitné subject pools v attention checks — dokonca aj v nových kontrolách, ktoré predtým nemohli vidieť, čo odráža skutočne vyššiu priemernú pozornosť v týchto vzorkách (Hauser & Schwarz, 2016). Znalosť opakovane používaných kontrol je samostatný, reálny problém.

Dve nedávne zistenia tento bod zaostrujú. Po prvé, keď výskumníci skúmali zlyhania na klasickej instructed-response položke, asi 61 % z nich vyzeralo ako zámerné nedodržanie pokynu — respondenti, ktorí kontrolu rozpoznali a rozhodli sa pokyn nedodržať — nie ako skutočná nepozornosť (Silber, Roßmann, & Gummer, 2022). Triviálna kontrola, ktorú skúsený respondent spozná už podľa formy, meria ochotu vyhovieť, nie pozornosť. Po druhé, veľké porovnanie typov kontrol zistilo, že ich užitočnosť sa enormne líši, a odporučilo uprednostniť kontroly na pamäť a na zjavnú odpoveď pred formátmi ako klasický instructional manipulation check (Perfecto & O'Donnell, 2026).

Záver nie je „zruš attention checks". Je to: nedovoľ, aby všetky tvoje kontroly vyzerali ako kontroly.

Kontrola, ktorú nemožno prejsť bez čítania

Dizajn, ktorý používam vo vlastných štúdiách, pridáva druhú vrstvu vedľa štandardnej instructed-response položky: bogus item zamaskovaný vnútri škály. Tvrdenie je zjavne nepravdivé pre každého — nevyžaduje žiadne predchádzajúce vedomosti, žiadnu nejednoznačnosť:

V mestskej doprave na Mesiaci bola postavená linka metra.

Jedinou obhájiteľnou odpoveďou je rozhodne nesúhlasím (alebo určite nie). To, čo túto položku robí funkčnou, nie je samotné tvrdenie — je to maskovanie:

• Zosúlaď formát. Bogus item sedí vnútri Likertovej mriežky, používa rovnakú odpoveďovú škálu a zodpovedá okolitým položkám dĺžkou a gramatickou konštrukciou. Jednoriadková absurdita medzi dvojriadkovými postojovými položkami sa dá ľahko spoznať; zosúladená položka nie.
• Zosúlaď pozíciu. Umiestni ju v strede prieskumu, vnútri bloku skutočných položiek — nie prvú, nie poslednú, nie osamote na stránke. Jedna výhrada: usmernenie Prolific uprednostňuje kontroly bližšie k začiatku štúdie, keď slúžia ako dôvod na odmietnutie preplatenia, takže kontrolu zamaskovanú v strede prieskumu je najlepšie chápať ako kritérium vylúčenia z analýzy (respondent je zaplatený, ale odstránený z analýzy), nie ako dôvod odmietnuť preplatenie.
• Nech je univerzálne nepravdivá. Tvrdenie musí vyžadovať nulové vedomosti a nulový úsudok. „Nikdy som nepoužil internet" funguje v online prieskume; „Hlavným mestom Austrálie je Sydney" nefunguje (je to vedomostná otázka a platformy ju ako attention check neuznajú).
• Mysli na strednú hodnotu. Ak tvoja škála ponúka neutrálnu strednú možnosť, careless-ale-opatrný respondent si ju môže vybrať, aby sa vyhol odhaleniu. Pravidlá Prolific výslovne vyžadujú, aby nezmyselné položky používané na odmietnutie preplatenia nemali obhájiteľnú neutrálnu odpoveď — takže buď použi odpoveďovú škálu, kde je správna odpoveď jednoznačná, alebo strednú odpoveď chápaj ako signál na kontrolu, nie ako automatický dôvod odmietnutia.

Bogus item skóruj samostatne Bogus item skóruj samostatne a vyraď ho zo škály. Je to skríningová položka, nie indikátor tvojho konštruktu — nikdy ju nenechaj vstúpiť do compositu ani nabíjať na faktor v CFA či inom meracom modeli. (Toto tiež zabráni tomu, aby bola omylom zaobchádzaná ako reverzne kódovaná položka.)

Poctivý stav dôkazov: zatiaľ neexistuje priamy porovnávací experiment medzi zamaskovanými a otvorene triviálnymi kontrolami. Odporúčanie je inferencia — skryté kontroly sú odporúčané pred otvorenými (Muszyński, 2023), zámerné nedodržanie pokynu ukazuje, že rozpoznateľné kontroly prestávajú merať pozornosť (Silber et al., 2022), a formát položky preukázateľne ovplyvňuje detekciu (Goldammer et al., 2024). Vo vlastných štúdiách toto používam ako jednu z viacerých vrstiev: attention check položky plus kritériá časovania a variancie, s vylúčeniami reportovanými v práci (Szymkowiak & Antoniak, 2024; Szaban, Szymkowiak, & Zdziennicka, 2025).

Stanov pravidlá skôr, než prídu dáta

Vylučovacie pravidlá definované po tom, čo si videl dáta, sú „záhrada rozvetvujúcich sa ciest" (garden of forking paths) — robenie mnohých malých, na pohľad obhájiteľných rozhodnutí, kým výsledok nevyjde signifikantný: každá malá voľba vyzerá nevinne, ale s dostatkom voľnosti si dáta môžeš „vyčistiť" k signifikancii. Tri pravidlá udržia skríning poctivý:

1. Napíš kritériá pred zberom dát — ktoré kontroly, koľko zlyhaní, aký časový prah, čo sa stane s hraničnými prípadmi. Časové prahy by mali vychádzať z pilotu (napríklad 40 % mediánu pilotu), nie z odhadu.
2. Reportuj skríning v práci — koľko bolo vylúčených, podľa ktorého kritéria, v akom poradí. Moje vlastné štúdie reportujú počty vylúčení podľa kritéria (napr. Szaban, Szymkowiak, & Chwialkowska, 2025) a recenzenti čoraz viac očakávajú túto úroveň detailu.
3. Vedz, že vylúčenie je analýza, nie upratovanie. Vylúčenie účastníkov môže skresliť odhad efektu ošetrenia (treatment effect), keď pozornosť súvisí s podmienkou alebo výsledkom (Mathur, 2025). Zároveň úplné ignorovanie pozornosti môže skryť reálne efekty (Roth & Yakobi, 2024). Obhájiteľný stred: vopred stanovené pravidlá, analýzy citlivosti s vylúčeniami aj bez nich a žiadne vymýšľanie pravidiel po tom, čo si videl výsledky.

Jednu staršiu obavu možno čiastočne odložiť: dve štúdie nenašli dôkaz, že prítomnosť attention checks skresľuje priemery škál alebo štruktúru merania (Kung, Kwok, & Brown, 2018), hoci výzvy na pozornosť môžu v niektorých skupinách posunúť odpovede smerom k sociálnej žiaducosti (Clifford & Jerit, 2015). Kontroly vložené potichu do škál nezavádzajú žiadnu výzvu vôbec, čo túto obavu obchádza — ďalší argument v prospech maskovania pred konfrontáciou. Rovnaká logika uprednostňujúca dizajn platí aj pre method bias: opatrenia, na ktorých najviac záleží, sa dejú pred zberom dát, nie po ňom — pozri common method bias: prevencia je lepšia než detekcia →.

Čo smieš odmietnuť preplatiť na Prolific (a čo nie)

Pravidlá platformy sú súčasťou metódy. Aktuálna politika Prolific (centrum pomoci pre výskumníkov, stav k júlu 2026) povoľuje odmietnutie preplatenia len pri dvoch druhoch attention checks: instructed-response položkách a nezmyselných (bogus) položkách s objektívne správnou odpoveďou. Comprehension checks, pamäťové otázky a subjektívne položky nie sú platným dôvodom na odmietnutie — a zo spravodlivosti by si nemal odmietať na základe kritérií, o ktorých sa účastníci nikdy nedozvedeli. Pri štúdiách s dĺžkou päť minút a viac musí účastník zlyhať na viac než jednej kontrole, aby si mohol odmietnuť preplatenie; pod päť minút stačí jedno zlyhanie. Ak naberáš účastníkov cez Prolific, zabuduj tieto pravidlá do štúdie ešte pred spustením — odmietnutie, ktoré porušuje politiku, ťa aj tak stojí poplatok, plus odvolanie, plus tvoje reputačné skóre. Naplánuj rozpočet aj na vylúčenia: ak očakávaš odstránenie 5 – 10 %, naber viac účastníkov, než vyžaduje tvoja analýza.

Riešené nastavenie

12-minútový spotrebiteľský prieskum s dvomi blokmi Likertových škál, cieľová N = 400:

1. Jedna instructed-response položka skoro na začiatku („Z dôvodu kontroly kvality, prosím vyber pri tomto tvrdení ‚skôr nesúhlasím'.") — štandardná vrstva.
2. Jeden zamaskovaný bogus item v strede prieskumu, vnútri druhého bloku škály, zosúladený dĺžkou a formátom („V mestskej doprave na Mesiaci bola postavená linka metra.").
3. Kritérium časovania nastavené z pilotu: označ dokončenia rýchlejšie než napríklad 40 % mediánu pilotu.
4. Kritérium variancie: označ bloky škál s nulovou varianciou (straightlined).
5. Rozhodovacie pravidlo, stanovené vopred: predvolená cesta — zaplať všetkým a z analýzy vylúč každého, kto zlyhá na oboch vstavaných kontrolách alebo zlyhá na jednej kontrole a súčasne spustí signál časovania/variancie. Toto je čistejšia možnosť a obchádza výhradu k umiestneniu spomenutú vyššie: keďže bogus item sedí v strede prieskumu, nie blízko začiatku, je bezpečnejšie chápať ho ako kritérium vylúčenia z analýzy než ako dôvod na odmietnutie preplatenia. Prísnejší variant, ktorý niektoré tímy používajú, v súlade s politikou Prolific: odmietni preplatenie respondentom, ktorí zlyhajú na oboch vstavaných kontrolách (dve zlyhania, čo je pri tejto dĺžke štúdie v súlade s politikou). Tento variant používaj opatrne a jasne ho zdokumentuj, keďže závisí od splnenia požiadaviek platformy na umiestnenie a viacnásobné zlyhanie. Všetky počty sa v každom prípade reportujú v práci.

Veta do metodickej časti, ktorú si môžeš prispôsobiť:

Kvalita dát bola skrínovaná dvomi vstavanými attention check položkami (jedna instructed-response položka a jeden bogus item), kritériom času dokončenia stanoveným na 40 % mediánu pilotu a kritériom nulovej variancie pre bloky škál; všetky pravidlá boli definované pred zberom dát. Z 431 účastníkov 12 zlyhalo na oboch vstavaných kontrolách a ďalších 19 splnilo aspoň jedno vylučovacie kritérium; všetkých 31 bolo zaplatených a odstránených z analýzy, čím zostalo N = 400.

Časté chyby, ktorým sa treba vyhnúť

• Spoliehanie sa na jedinú položku „vyber X" — skúsení respondenti ju rozpoznajú a niektorí ju zámerne nesplnia.
• Používanie trikových, pamäťových alebo vedomostných otázok ako kontrol — merajú nesprávnu vec a porušujú pravidlá platforiem na odmietnutie preplatenia.
• Písanie vylučovacích pravidiel až po tom, čo si videl dáta — to je stupeň voľnosti výskumníka (researcher degree of freedom), nie kontrola kvality.
• Odmietanie preplatenia za zlyhania, ktoré tvoja platforma neuznáva ako dôvod (comprehension checks, jedno zlyhanie v dlhej štúdii).
• Ponechanie obhájiteľnej strednej odpovede pri bogus item a následné odmietanie respondentov, ktorí si ju vybrali.
• Nakopenie príliš veľa kontrol, takže sa pozorní respondenti cítia sledovaní, nie dôveryhodní — kontroly tiež komunikujú nedôveru.

Často kladené otázky

References

Chandler, J., Mueller, P., & Paolacci, G. (2014). Nonnaïveté among Amazon Mechanical Turk workers: Consequences and solutions for behavioral researchers. Behavior Research Methods, 46(1), 112–130. https://doi.org/10.3758/s13428-013-0365-7

Clifford, S., & Jerit, J. (2015). Do attempts to improve respondent attention increase social desirability bias? Public Opinion Quarterly, 79(3), 790–802. https://doi.org/10.1093/poq/nfv027

Goldammer, P., Stöckli, P. L., Escher, Y. A., Annen, H., Jonas, K., & Antonakis, J. (2024). Careless responding detection revisited: Accuracy of direct and indirect measures. Behavior Research Methods, 56(8), 8422–8449. https://doi.org/10.3758/s13428-024-02484-3

Hauser, D. J., & Schwarz, N. (2016). Attentive Turkers: MTurk participants perform better on online attention checks than do subject pool participants. Behavior Research Methods, 48(1), 400–407. https://doi.org/10.3758/s13428-015-0578-z

Kung, F. Y. H., Kwok, N., & Brown, D. J. (2018). Are attention check questions a threat to scale validity? Applied Psychology, 67(2), 264–283. https://doi.org/10.1111/apps.12108

Mathur, M. B. (2025). On the statistical analysis of studies with attention checks. Advances in Methods and Practices in Psychological Science, 8(2). https://doi.org/10.1177/25152459251338041

Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. https://doi.org/10.1037/a0028085

Muszyński, M. (2023). Attention checks and how to use them: Review and practical recommendations. Ask: Research and Methods, 32(1), 3–38. https://doi.org/10.18061/ask.v32i1.0001

Perfecto, H., & O'Donnell, M. (2026). The use and usefulness of attention checks in behavioral research. Journal of Consumer Research, 53(1), 182–200. https://doi.org/10.1093/jcr/ucaf058

Roth, Y., & Yakobi, O. (2024). Attention! Do we really need attention checks? Journal of Behavioral Decision Making, 37(2), e2377. https://doi.org/10.1002/bdm.2377

Silber, H., Roßmann, J., & Gummer, T. (2022). The issue of noncompliance in attention check questions: False positives in instructed response items. Field Methods, 34(4), 346–360. https://doi.org/10.1177/1525822X221115830

Szaban, M., Szymkowiak, A., & Chwialkowska, A. (2025). Breaking barriers: Navigating the stages of the green consumer journey. Environment, Development and Sustainability, 28(5), 13087–13124. https://doi.org/10.1007/s10668-025-06795-z

Szaban, M., Szymkowiak, A., & Zdziennicka, A. (2025). Unpacking consumer price perceptions: The role of sustainability and ethical labels in the cosmetics market. Journal of Cleaner Production, 490, 144730. https://doi.org/10.1016/j.jclepro.2025.144730

Szymkowiak, A., & Antoniak, M. A. (2024). Eco-endorsement dynamics: Unraveling the influence of celebrity attitudes on eco-product perceptions and purchase decisions. International Journal of Wine Business Research, 36(3), 453–472. https://doi.org/10.1108/IJWBR-11-2023-0068

Ward, M. K., & Meade, A. W. (2023). Dealing with careless responding in survey data: Prevention, identification, and recommended best practices. Annual Review of Psychology, 74, 577–596. https://doi.org/10.1146/annurev-psych-040422-045007

Ako to Explonia robí za teba

V Explonii sú attention checks bežné položky: instructed-response alebo bogus položku umiestniš vnútri ktoréhokoľvek bloku škály a automaticky preberie odpoveďovú škálu a rozloženie daného bloku — maskovanie, ktoré tento článok odporúča, bez špeciálneho widgetu, ktorý by kontrolu prezradil. Screen-outy, limity odpovedí a časy dokončenia na respondenta sú vstavané, takže tvoje preregistrované vylučovacie pravidlá môžeš aplikovať a transparentne reportovať pri analýze. Ak si píšeš vlastné položky, over si ich najprv podľa návodu na písanie položiek a pozri si demo so screen-outom v galérii. Funkcia „Article description" naformuluje tvoj odsek s výsledkami z finálneho, preskríningovaného datasetu — zostávaš autorom a upravuješ každé slovo.

Pripravený zbierať dáta, ktoré vieš obhájiť? Zostav prieskum so vstavanými attention checks a screen-outmi v Explonii. Začni zadarmo →