Attention check nelle indagini online: cosa funziona ancora

Andrzej Szymkowiak · Ultima revisione luglio 2026

TL;DR: Usa due livelli di attention check, non un solo item "seleziona cinque". I respondenti esperti dei panel riconoscono il controllo classico, e in uno studio circa il 61% dei fallimenti su di esso era rifiuto deliberato, non disattenzione (Silber, Roßmann, & Gummer, 2022). Aggiungi un bogus item nascosto in una scala e abbinato ai suoi item ("È stata costruita una linea metropolitana sulla luna", risposta corretta fortemente in disaccordo). Fissa le regole di esclusione prima della raccolta dati. Su Prolific, in uno studio di cinque minuti o più serve più di un controllo fallito prima di poter rifiutare.

Apri il file di dati e 30 dei tuoi 400 respondenti hanno completato un'indagine di 12 minuti in meno di 4 minuti, tutti superando il tuo unico item "seleziona 'd'accordo'". Il tuo attention check ha funzionato? Questa guida copre cosa sono davvero le risposte poco attente, quali controlli le rilevano ancora nel 2026, perché quelli standard stanno perdendo potere, e il design che ora uso nei miei stessi studi: un bogus item camuffato che non può essere superato senza leggere. Termina con le regole della piattaforma — cosa puoi e non puoi rifiutare su Prolific — e un setup pratico che puoi adattare.

Cosa sono davvero le risposte poco attente

Le risposte poco attente (o "insufficient effort responding") significano rispondere senza leggere — scorrendo velocemente, seguendo pattern di clic, o lasciando che sia un bot a fare il lavoro. Si presentano in due forme diverse: risposte casuali, che aggiungono rumore, e risposte non casuali come lo straightlining, che possono distorcere le correlazioni e danneggiare la struttura fattoriale (Meade & Craig, 2012). Anche una quota modesta di respondenti poco attenti può cambiare le conclusioni sostanziali, motivo per cui lo screening è ormai prassi standard; il riferimento attuale per l'intero campo è l'Annual Review di Ward e Meade (2023).

Gli strumenti di rilevamento si dividono in due famiglie:

Nessuna delle due famiglie è sufficiente da sola. Lavori sperimentali recenti hanno rilevato che gli indici indiretti — specialmente la coerenza intra-persona — spesso eguagliano o superano gli item diretti (Goldammer et al., 2024), quindi un buon piano di screening combina entrambi.

Il problema: i respondenti hanno imparato i controlli classici

I respondenti dei panel online non sono ingenui. I partecipanti frequenti hanno visto i paradigmi e le misure comuni molte volte (Chandler, Mueller, & Paolacci, 2014), e i campioni delle piattaforme superano regolarmente i pool di soggetti universitari sugli attention check — anche su controlli nuovi che non potevano aver visto prima, il che riflette un'attenzione media genuinamente più alta in questi campioni (Hauser & Schwarz, 2016). La familiarità con i controlli riutilizzati è la preoccupazione separata e reale.

Due risultati recenti affilano il punto. Primo, quando i ricercatori hanno esaminato i fallimenti su un classico instructed-response item, circa il 61% sembrava essere non conformità deliberata — respondenti che hanno riconosciuto il controllo e scelto di non seguire l'istruzione — piuttosto che disattenzione genuina (Silber, Roßmann, & Gummer, 2022). Un controllo banale che i respondenti esperti possono individuare dalla sua forma misura la conformità, non l'attenzione. Secondo, un ampio confronto tra tipi di controllo ha rilevato che la loro utilità varia enormemente, e ha raccomandato di privilegiare controlli di memoria e di risposta ovvia rispetto a formati come il classico instructional manipulation check (Perfecto & O'Donnell, 2026).

La conclusione non è "elimina gli attention check". È: non lasciare che tutti i tuoi controlli sembrino controlli.

Un controllo che non può essere superato senza leggere

Il design che uso nei miei stessi studi aggiunge un secondo livello accanto all'instructed item standard: un bogus item camuffato dentro una scala. L'affermazione è ovviamente falsa per chiunque — nessuna conoscenza pregressa, nessuna ambiguità:

È stata costruita una linea metropolitana sulla luna.

L'unica risposta difendibile è fortemente in disaccordo (o sicuramente no). Ciò che fa funzionare l'item non è l'affermazione da sola — è il camuffamento:

• Abbina il formato. Il bogus item si trova dentro una griglia Likert, usa la stessa scala di risposta e corrisponde agli item circostanti per lunghezza e costruzione grammaticale. Un'assurdità di una riga tra item di atteggiamento di due righe è facile da individuare; una abbinata non lo è.
• Abbina la posizione. Posizionalo a metà indagine, dentro un blocco di item reali — non per primo, non per ultimo, non da solo in una pagina. Un'avvertenza: le linee guida di Prolific preferiscono controlli vicini all'inizio di uno studio quando sono usati come motivo per rifiutare il pagamento, quindi un controllo camuffato a metà indagine è meglio trattato come criterio di esclusione dall'analisi (il respondente viene pagato, ma rimosso dall'analisi) piuttosto che come rifiuto del pagamento.
• Rendilo universalmente falso. L'affermazione deve richiedere zero conoscenza e zero giudizio. "Non ho mai usato internet" funziona in un'indagine online; "La capitale dell'Australia è Sydney" no (è una domanda di conoscenza, e le piattaforme non la accetteranno come attention check).
• Attento al punto medio. Se la tua scala offre un'opzione centrale neutra, un respondente poco attento ma cauto può sceglierla per evitare di essere scoperto. La policy di Prolific richiede esplicitamente che gli item senza senso usati per il rifiuto non abbiano una risposta neutra difendibile — quindi usa una scala di risposta in cui la risposta corretta è inequivocabile, oppure tratta le risposte al punto medio come un segnale da rivedere, non un rifiuto automatico.

Valuta il bogus item separatamente Valuta il bogus item da solo e rimuovilo dalla scala. È un item di screening, non un indicatore del tuo costrutto — non lasciare mai che entri nel composito o carichi sul fattore in una CFA o in un altro modello di misurazione. (Questo evita anche che venga trattato per errore come un item a codifica inversa.)

Lo stato onesto delle prove: non esiste ancora un esperimento diretto dedicato che confronti controlli camuffati e apertamente banali. La raccomandazione è un'inferenza — i controlli occulti sono consigliati rispetto a quelli espliciti (Muszyński, 2023), la non conformità deliberata dimostra che i controlli riconoscibili smettono di misurare l'attenzione (Silber et al., 2022), e il formato dell'item conta dimostrabilmente per il rilevamento (Goldammer et al., 2024). Nei miei stessi studi uso questo come uno dei diversi livelli: item di attention check più criteri di tempo e varianza, con le esclusioni riportate nell'articolo (Szymkowiak & Antoniak, 2024; Szaban, Szymkowiak, & Zdziennicka, 2025).

Definisci le regole prima che arrivino i dati

Le regole di esclusione definite dopo aver visto i dati sono un "garden of forking paths" (fare molte piccole scelte apparentemente difendibili finché il risultato non diventa significativo): ogni piccola scelta sembra innocua, ma con abbastanza discrezionalità puoi "ripulire" la strada fino alla significatività. Tre regole mantengono onesto lo screening:

1. Scrivi i criteri prima della raccolta dati — quali controlli, quanti fallimenti, quale soglia di tempo, cosa succede ai casi borderline segnalati. Le soglie di tempo dovrebbero derivare da un pilota (per esempio, il 40% della mediana del pilota), non da una supposizione.
2. Riporta lo screening nell'articolo — quanti sono stati esclusi, con quale criterio, in quale ordine. I miei stessi studi riportano i conteggi di esclusione per criterio (per esempio, Szaban, Szymkowiak, & Chwialkowska, 2025), e i revisori si aspettano sempre più questo livello di dettaglio.
3. Sappi che l'esclusione è analisi, non pulizia. Escludere i partecipanti può distorcere una stima dell'effetto del trattamento quando l'attenzione è legata alla condizione o all'esito (Mathur, 2025). Allo stesso tempo, ignorare completamente l'attenzione può nascondere effetti reali (Roth & Yakobi, 2024). Il compromesso difendibile: regole pre-specificate, analisi di sensibilità con e senza esclusioni, e nessuna invenzione di regole dopo aver visto i risultati.

Una vecchia preoccupazione può essere in parte ritirata: due studi non hanno trovato prove che la presenza di attention check distorca le medie della scala o la struttura di misurazione (Kung, Kwok, & Brown, 2018), anche se i prompt di attenzione possono spingere verso risposte socialmente desiderabili in alcuni gruppi (Clifford & Jerit, 2015). I controlli incorporati silenziosamente nelle scale non introducono alcun prompt, il che aggira questa preoccupazione — un altro argomento a favore del camuffamento rispetto al confronto diretto. La stessa logica basata sul design si applica al method bias: i rimedi più importanti avvengono prima della raccolta dati, non dopo — vedi common method bias: la prevenzione batte il rilevamento →.

Cosa puoi rifiutare su Prolific (e cosa non puoi)

Le regole della piattaforma fanno parte del metodo. La policy attuale di Prolific (help center dei ricercatori, consultato a luglio 2026) permette il rifiuto del pagamento su esattamente due tipi di attention check: instructed-response item e item senza senso (bogus) con una risposta oggettivamente corretta. I controlli di comprensione, le domande di memoria e gli item soggettivi non sono motivi validi di rifiuto — e per correttezza, non dovresti rifiutare in base a criteri mai comunicati ai partecipanti. Per studi di cinque minuti o più, un partecipante deve fallire più di un controllo prima che tu possa rifiutare; sotto i cinque minuti, un solo fallimento basta. Se recluti tramite Prolific, integra queste regole nello studio prima del lancio — un rifiuto che viola la policy ti costa comunque la commissione, più un ricorso, più il tuo punteggio di reputazione. Prevedi un margine anche per le esclusioni: se ti aspetti di rimuovere il 5–10%, recluta oltre l'ampiezza campionaria richiesta dalla tua analisi.

Un setup pratico

Un'indagine di consumo di 12 minuti con due blocchi di scala Likert, N target = 400:

1. Un instructed-response item all'inizio ("Per il controllo qualità, seleziona 'abbastanza in disaccordo' per questa affermazione.") — il livello standard.
2. Un bogus item camuffato a metà indagine, dentro il secondo blocco di scala, abbinato per lunghezza e formato ("È stata costruita una linea metropolitana sulla luna.").
3. Criterio di tempo impostato dal pilota: segnala completamenti più veloci, per esempio, del 40% della mediana del pilota.
4. Criterio di varianza: segnala blocchi di scala a varianza zero (straightlined).
5. Regola decisionale, fissata in anticipo: la strada predefinita — paga tutti, ed escludi dall'analisi chi fallisce entrambi i controlli integrati o fallisce un controllo più fa scattare un segnale di tempo/varianza. Questa è l'opzione più pulita e aggira l'avvertenza sul posizionamento sopra: poiché il bogus item si trova a metà indagine anziché vicino all'inizio, è più sicuro trattarlo come criterio di esclusione dall'analisi piuttosto che come motivo di rifiuto del pagamento. Una variante più rigorosa che alcuni team usano, coerente con la policy di Prolific: rifiuta il pagamento per i respondenti che falliscono entrambi i controlli integrati (due fallimenti, conforme alla policy per uno studio di questa durata). Usa questa variante con cautela e documentala chiaramente, poiché dipende dal rispetto dei requisiti di posizionamento e di fallimento multiplo della piattaforma. Tutti i conteggi vengono comunque riportati nell'articolo.

Una frase della sezione metodo da adattare:

La qualità dei dati è stata valutata con due attention check integrati (un instructed-response item e un bogus item), un criterio di tempo di completamento fissato al 40% della mediana del pilota, e un criterio di varianza zero per i blocchi di scala; tutte le regole sono state definite prima della raccolta dati. Su 431 partecipanti, 12 hanno fallito entrambi i controlli integrati e altri 19 hanno soddisfatto almeno un criterio di esclusione; tutti i 31 sono stati pagati e rimossi dall'analisi, lasciando N = 400.

Errori comuni da evitare

• Affidarsi a un singolo item "seleziona X" — i respondenti esperti lo riconoscono, e alcuni lo falliscono di proposito.
• Usare domande trabocchetto, di memoria o di conoscenza come controlli — misurano la cosa sbagliata e violano le policy di rifiuto delle piattaforme.
• Scrivere le regole di esclusione dopo aver visto i dati — questo è un grado di libertà del ricercatore, non un controllo di qualità.
• Rifiutare il pagamento per fallimenti che la tua piattaforma non accetta come motivo (controlli di comprensione, un fallimento in uno studio lungo).
• Dare a un bogus item una risposta centrale difendibile e poi rifiutare i respondenti che l'hanno scelta.
• Accumulare così tanti controlli che i respondenti attenti si sentono osservati anziché fidati — i controlli comunicano anche sfiducia.

Domande frequenti

References

Chandler, J., Mueller, P., & Paolacci, G. (2014). Nonnaïveté among Amazon Mechanical Turk workers: Consequences and solutions for behavioral researchers. Behavior Research Methods, 46(1), 112–130. https://doi.org/10.3758/s13428-013-0365-7

Clifford, S., & Jerit, J. (2015). Do attempts to improve respondent attention increase social desirability bias? Public Opinion Quarterly, 79(3), 790–802. https://doi.org/10.1093/poq/nfv027

Goldammer, P., Stöckli, P. L., Escher, Y. A., Annen, H., Jonas, K., & Antonakis, J. (2024). Careless responding detection revisited: Accuracy of direct and indirect measures. Behavior Research Methods, 56(8), 8422–8449. https://doi.org/10.3758/s13428-024-02484-3

Hauser, D. J., & Schwarz, N. (2016). Attentive Turkers: MTurk participants perform better on online attention checks than do subject pool participants. Behavior Research Methods, 48(1), 400–407. https://doi.org/10.3758/s13428-015-0578-z

Kung, F. Y. H., Kwok, N., & Brown, D. J. (2018). Are attention check questions a threat to scale validity? Applied Psychology, 67(2), 264–283. https://doi.org/10.1111/apps.12108

Mathur, M. B. (2025). On the statistical analysis of studies with attention checks. Advances in Methods and Practices in Psychological Science, 8(2). https://doi.org/10.1177/25152459251338041

Meade, A. W., & Craig, S. B. (2012). Identifying careless responses in survey data. Psychological Methods, 17(3), 437–455. https://doi.org/10.1037/a0028085

Muszyński, M. (2023). Attention checks and how to use them: Review and practical recommendations. Ask: Research and Methods, 32(1), 3–38. https://doi.org/10.18061/ask.v32i1.0001

Perfecto, H., & O'Donnell, M. (2026). The use and usefulness of attention checks in behavioral research. Journal of Consumer Research, 53(1), 182–200. https://doi.org/10.1093/jcr/ucaf058

Roth, Y., & Yakobi, O. (2024). Attention! Do we really need attention checks? Journal of Behavioral Decision Making, 37(2), e2377. https://doi.org/10.1002/bdm.2377

Silber, H., Roßmann, J., & Gummer, T. (2022). The issue of noncompliance in attention check questions: False positives in instructed response items. Field Methods, 34(4), 346–360. https://doi.org/10.1177/1525822X221115830

Szaban, M., Szymkowiak, A., & Chwialkowska, A. (2025). Breaking barriers: Navigating the stages of the green consumer journey. Environment, Development and Sustainability, 28(5), 13087–13124. https://doi.org/10.1007/s10668-025-06795-z

Szaban, M., Szymkowiak, A., & Zdziennicka, A. (2025). Unpacking consumer price perceptions: The role of sustainability and ethical labels in the cosmetics market. Journal of Cleaner Production, 490, 144730. https://doi.org/10.1016/j.jclepro.2025.144730

Szymkowiak, A., & Antoniak, M. A. (2024). Eco-endorsement dynamics: Unraveling the influence of celebrity attitudes on eco-product perceptions and purchase decisions. International Journal of Wine Business Research, 36(3), 453–472. https://doi.org/10.1108/IJWBR-11-2023-0068

Ward, M. K., & Meade, A. W. (2023). Dealing with careless responding in survey data: Prevention, identification, and recommended best practices. Annual Review of Psychology, 74, 577–596. https://doi.org/10.1146/annurev-psych-040422-045007

Come Explonia fa questo per te

In Explonia, gli attention check sono item ordinari: posizioni un instructed-response item o un bogus item dentro qualsiasi blocco di scala, e automaticamente eredita la scala di risposta e il layout del blocco — il camuffamento che questo articolo raccomanda, senza alcun widget speciale che tradisca il controllo. Screen-out, limiti di risposta e tempi di completamento per respondente sono integrati, così le tue regole di esclusione pre-registrate possono essere applicate e riportate in modo trasparente in fase di analisi. Se scrivi i tuoi item, passali prima dalla guida alla scrittura degli item, e guarda la demo di screen-out nella galleria. La funzione "Article description" scrive la bozza del paragrafo dei risultati dal dataset finale, filtrato — tu resti l'autore e modifichi ogni parola.

Pronto a raccogliere dati che puoi difendere? Costruisci la tua indagine con attention check e screen-out integrati in Explonia. Inizia gratis →