Le migliori pratiche migliorano la replicabilità negli studi sul comportamento sociale

riepilogo: Un nuovo studio ha prodotto uno studio che dimostra la riproducibilità dei risultati nelle scienze sociali comportamentali quando vengono applicate le migliori pratiche.

Il progetto, durato sei anni, prevedeva la scoperta e la replica di 16 nuove scoperte utilizzando metodi come la preregistrazione e campioni di grandi dimensioni.

Questo lavoro sfida le precedenti preoccupazioni sull’affidabilità della letteratura pubblicata in queste aree mostrando un tasso medio di recidiva del 97% rispetto ai dati precedenti di circa il 50%.

Aspetti principali:

1. Lo studio ha coinvolto 120.000 partecipanti in sei anni, portando alla scoperta e alla replica di 16 nuovi fenomeni nelle scienze sociali comportamentali.
2. I ricercatori hanno utilizzato le migliori pratiche come campioni di grandi dimensioni, preregistrazione e materiali aperti e hanno ottenuto un tasso di replica dell’86% in base alla significatività statistica.
3. Il design innovativo del progetto si impegna a replicare tutti gli studi indipendentemente dai risultati primari, affrontando i pregiudizi di pubblicazione e replica che spesso favoriscono risultati positivi.

fonte: Università della California, Santa Barbara

Per quasi due decenni sono emersi resoconti a livello di comunità riguardo all’affidabilità della letteratura pubblicata nelle scienze sociali comportamentali, in particolare in psicologia.

Diversi studi su larga scala hanno tentato di riprodurre risultati precedentemente pubblicati senza successo o in un volume molto più piccolo, mettendo in discussione l’affidabilità dei risultati – e gli studi futuri nelle scienze sociali comportamentali.

Tuttavia, un gruppo di importanti esperti del settore ha deciso di dimostrare che, quando vengono utilizzate le migliori pratiche, queste sono altamente replicabili.

Nel corso di sei anni, i ricercatori dei laboratori dell’Università della California a Santa Barbara, dell’Università della California a Berkeley, dell’Università di Stanford e dell’Università della Virginia hanno scoperto 16 nuove scoperte e le hanno replicate utilizzando le migliori pratiche apparentemente gold standard, inclusa la preregistrazione , grandi dimensioni del campione e replicazione precisa.

I loro risultati, pubblicati in La natura del comportamento umanoindicano già che con le migliori pratiche è possibile ottenere un’elevata riproducibilità.

“È una prova esistenziale che possiamo iniziare a scoprire nuove scoperte e replicarle a un livello molto alto”, ha affermato Jonathan Schooler, un illustre professore presso l’UC Santa Barbara, direttore del Laboratorio META dell’UCSF e del Centro per la coscienza e il potenziale umano, e senior autore. Dal giornale.

“La scoperta principale è che quando si seguono le migliori pratiche attuali nel condurre e replicare studi comportamentali sociali online, è possibile ottenere tassi di replica generalmente elevati e stabili”.

I risultati della replica del loro studio erano in media il 97% della dimensione dei risultati originali. In confronto, i precedenti progetti di replica hanno osservato risultati di replica di circa il 50%.

I ricercatori principali di questo articolo sono stati John Protzko del META Lab dell’Università della California, San Francisco e della Central Connecticut State University (CCSU), John Krosnick del Political Psychology Research Group dell’Università di Stanford, Leif Nelson della Haas School of Affari presso l’Università della California, Berkeley e Brian Nosek, affiliato con l’Università della Virginia. È il direttore esecutivo del Centro indipendente per la scienza aperta.

“Ci sono state molte preoccupazioni negli ultimi anni sulla riproducibilità di molte scienze, ma la psicologia è stata tra i primi campi a iniziare a indagare sistematicamente questo problema”, ha detto l’autore principale Protzko, un ricercatore associato presso lo Schooler Lab, dove era basato. “. Ricercatore post-dottorato durante lo studio. Ora è professore assistente di scienze psicologiche presso la CCSU.

“La domanda era se i precedenti fallimenti di replicazione e le ridotte dimensioni degli effetti fossero intrinsecamente radicati nei diversi campi scientifici che ho osservato. Ad esempio, alcuni hanno ipotizzato che un aspetto intrinseco dell’impresa scientifica sia che i risultati appena scoperti possono diventare meno replicabili o più piccoli nel tempo .il tempo.

Il gruppo ha deciso di condurre nuovi studi utilizzando le migliori pratiche emergenti nella scienza aperta, per poi replicarli con un progetto innovativo in cui i ricercatori si impegnano a ripetere gli studi di conferma iniziali indipendentemente dal risultato.

Nel corso di sei anni, i gruppi di ricerca di ciascun laboratorio hanno sviluppato studi che sono stati poi replicati in tutti gli altri laboratori.

In totale, la coalizione ha scoperto 16 nuovi fenomeni e li ha replicati 4 volte con 120.000 partecipanti.

“Se si utilizzano le migliori pratiche di campioni di grandi dimensioni, pre-registrazione e materiali aperti nella scoperta di nuova scienza e si replica con la massima fedeltà possibile il processo originale, ci si ritroverà con una scienza altamente riproducibile”. Protzko ha detto dei risultati.

Una delle principali innovazioni introdotte dallo studio è stata il fatto che tutti i laboratori partecipanti hanno concordato di ripetere gli studi di conferma iniziali indipendentemente dai risultati.

Ciò ha eliminato il pregiudizio abituale della comunità scientifica di pubblicare e replicare solo risultati positivi, il che potrebbe aver contribuito a gonfiare le valutazioni iniziali delle dimensioni degli effetti in passato.

Inoltre, questo approccio ha consentito ai ricercatori di osservare molti casi in cui i progetti di studio non sono riusciti a produrre risultati significativi nell’asserzione originale, e in seguito di ottenere effetti affidabili quando replicati in altri laboratori.

Nel complesso, il progetto ha rivelato tassi di recidiva molto elevati per i loro risultati comportamentali sociali, e nessuna prova statisticamente significativa di riduzione della recidiva.

Date le dimensioni del campione e le dimensioni dell’effetto, il tasso di recidiva osservato dell’86%, basato sulla significatività statistica, non potrebbe essere più alto, hanno osservato i ricercatori.

Per testare la novità delle loro scoperte, hanno condotto test indipendenti sulle aspettative delle persone riguardo alla direzione delle nuove scoperte e alla loro applicabilità.

Numerose indagini di follow-up in cui partecipanti ingenui hanno valutato le descrizioni sia di nuovi studi che di quelli associati a precedenti progetti di replica non hanno riscontrato differenze nella prevedibilità di ciascuno.

Pertanto, il successo di questi studi non è dovuto alla scoperta di risultati chiari che ci si aspetterebbe necessariamente che fossero replicati. In effetti, molti dei risultati appena scoperti sono già stati pubblicati in modo indipendente su riviste di alta qualità.

“Non sarebbe particolarmente interessante scoprire che è facile replicare risultati perfettamente chiari”, ha detto Schooler.

“Ma i nostri studi erano simili in termini di fattore sorpresa a studi che erano stati difficili da replicare in passato.

“I giudici non addestrati che hanno ricevuto riassunti delle due condizioni in entrambi i nostri studi e una serie simile di studi su due condizioni da un precedente sforzo di replica hanno trovato altrettanto difficile prevedere la direzione dei nostri risultati rispetto ai risultati precedenti.”

Poiché ogni laboratorio di ricerca ha sviluppato i propri studi, questi provenivano da una varietà di campi sociali, comportamentali e psicologici come il marketing, la psicologia politica, i pregiudizi e il processo decisionale. Coinvolgevano tutti soggetti umani e rispettavano alcune restrizioni, come non usare l’inganno.

“Abbiamo davvero strutturato il processo in modo che i singoli laboratori operino in modo indipendente”, ha affermato Protzko. “Toccavano argomenti abituali a cui erano interessati e come avrebbero condotto i loro studi”.

Collettivamente, la loro ricerca scientifica fornisce la prova che una bassa riproducibilità e scarsi effetti non sono inevitabili. Le pratiche di miglioramento del rigore possono portare a tassi di recidiva molto elevati, ma determinare con precisione quali pratiche funzionano meglio richiederà ulteriori studi.

L’approccio “lavello da cucina” di questo studio, che prevede l’utilizzo simultaneo di più pratiche per migliorare la precisione, non ha isolato l’effetto di ogni singola pratica.

Altri ricercatori coinvolti nello studio sono Jordan Axt (Dipartimento di Psicologia, McGill University di Montreal, Canada); Matt Burnett (Consulenza Matt Burnett); Nicholas Butrick (Dipartimento di psicologia, Università del Wisconsin-Madison), Matthew Dibble (Istituto per la ricerca nelle scienze sociali, Università di Stanford), Charles R. Ebersol (Dipartimento di psicologia, Università della Virginia), Sebastian Lundmark (Istituto SOM, Università di Göteborg, Svezia); Bo McInnis (Dipartimento delle comunicazioni, Università di Stanford), Michael O’Donnell (McDonough School of Business, Georgetown University); Hannah Perfecto (Olin Business School, Washington University di St. Louis); James E. Pustiowski (Dipartimento di Psicologia dell’Educazione, Università del Wisconsin-Madison); Scott S. Roeder (Darla Moore School of Business, Università della Carolina del Sud); Jan Walczyk (Fennoscience Laboratories, Berlino, Germania).

Informazioni sulle notizie sulla ricerca sul comportamento sociale

autore: Debra Herrick
fonte: Università della California, Santa Barbara
comunicazione: Debra Herrick – Università della California, Santa Barbara
immagine: Immagine accreditata a Neuroscience News

Ricerca originale: Accesso libero.
“È possibile ottenere un’elevata riproducibilità dei risultati comportamentali sociali appena scoperti“Di Jonathan Schooler et al. La natura del comportamento umano

un sommario

È possibile ottenere un’elevata riproducibilità dei risultati comportamentali sociali appena scoperti

L’incapacità di replicare le prove per le nuove scoperte ha costretto gli scienziati a chiedersi se questa inaffidabilità sia dovuta a un’implementazione non ottimale dei metodi o se i metodi apparentemente ideali non siano in realtà ottimali.

Questo articolo presenta la ricerca di quattro laboratori coordinati sulla potenziale riproducibilità di 16 nuovi risultati sperimentali utilizzando pratiche di miglioramento del rigore: test di conferma, campioni di grandi dimensioni, pre-registrazione e trasparenza metodologica.

In contrasto con i precedenti sforzi di replica sistematica che riportavano tassi di replica in media del 50%, i tentativi di replica qui hanno prodotto gli effetti attesi dai test di significatività (S<0,05) nell'86% degli studi, superando leggermente la riproducibilità massima prevista in base alle dimensioni dell'effetto osservato e alle dimensioni del campione.

Quando un laboratorio ha provato a replicare un effetto scoperto da un altro laboratorio, la dimensione dell’effetto nelle repliche era pari al 97% di quella dello studio originale.

Questo elevato tasso di recidiva giustifica la fiducia nei metodi di miglioramento della precisione per aumentare la riproducibilità delle nuove scoperte.