Questa è davvero un'ottima domanda. La " crisi della replicazione" è che molti effetti nelle scienze sociali (e, sebbene in misura minore, in altri campi scientifici) non possono essere riprodotti. Ci sono molti fattori che portano a questo fenomeno, incluso

• Standard di prova deboli, ad es. $ 2 \ sigma $ prove richieste per dimostrare un effetto
• Ricercatori (inconsciamente o in altro modo) che conducono cattiva pratica scientifica segnalando e pubblicando in modo selettivo risultati significativi. Per esempio. considerando molti effetti diversi fino a quando non trovano un effetto significativo o raccogliendo dati fino a quando non trovano un effetto significativo.
• Scarsa formazione sui metodi statistici.

Non sono del tutto sicuro degli sforzi esatti che gli esperimenti LHC stanno compiendo per garantire che non soffrano degli stessi problemi. Ma lasciatemi dire alcune cose che dovrebbero almeno mettere la vostra mente a proprio agio:

• La fisica delle particelle in genere richiede prove di alto livello per le scoperte ( $ 5 \ sigma $ ). Per metterlo in prospettiva, i tassi di errore di tipo 1 corrispondenti sono $ 0,05 $ per $ 2 \ sigma $ e circa $ 3 \ times10 ^ {- 7} $ per $ 5 \ sigma $
• I risultati dell'LHC sono già replicati!
  • Ci sono diversi rilevatori posizionati attorno all'anello LHC. Due di loro, chiamati ATLAS e CMS, sono rilevatori per uso generale per la fisica del modello standard e oltre il modello standard. Entrambi hanno trovato prove convincenti per il bosone di Higgs. In linea di principio sono completamente indipendenti (sebbene in pratica lo staff cambi esperimenti, gli sperimentatori di ogni esperimento presumibilmente parlano e socializzano tra loro ecc., Quindi forse una dipendenza molto piccola nelle scelte di analisi, ecc.).
  • Il Tevatron, un esperimento di collisore simile negli Stati Uniti operante a energie inferiori, ha trovato prove dirette del bosone di Higgs.
  • Il bosone di Higgs è stato osservato in diversi set di dati raccolti presso l'LHC
• L'LHC (in genere) pubblica i risultati indipendentemente dalla loro significatività statistica, ovvero i risultati significativi non vengono riportati selettivamente.
• I team LHC sono guidati da comitati statistici, che si spera assicurino buone pratiche
• L'LHC è in linea di principio impegnato a fornire dati aperti, il che significa che molti dati prima o poi dovrebbero diventare pubblici. Questa è una raccomandazione per aiutare la crisi nelle scienze sociali.
• La formazione tipica per gli sperimentatori presso l'LHC include statistiche di base (sebbene nella mia esperienza le sperimentazioni dell'LHC siano ancora soggette alle stesse trappole e interpretazioni errate di tutti gli altri).
• Tutti i membri (migliaia) dei team sperimentali sono autori dei giornali. L'incentivo per cattive pratiche come $ p $ -hacking è presumibilmente leggermente ridotto, poiché non puoi "scoprire" un nuovo effetto e pubblicarlo solo con il tuo nome, e hanno migliorato le prospettive di lavoro / sovvenzione. Questo incentivo potrebbe essere un fattore nella crisi della replicazione nelle scienze sociali.
• Tutti i documenti sono soggetti a revisione interna (che ritengo essere piuttosto rigorosa) nonché revisione esterna da parte di una rivista
• Le analisi LHC sono spesso (non sono sicuro chi lo pianifichi o lo decida) accecate. Ciò significa che gli sperimentalisti non possono modificare le analisi a seconda del risultato. Sono 'ciechi' al risultato, fanno le loro scelte, poi lo svelano solo alla fine. Questo dovrebbe aiutare a prevenire $ p $ -hacking
• L'analisi LHC in genere (anche se non sempre) riporta un valore $ p $ globale, che è stato corretto per confronti multipli (effetto look-elsewhere).
• Il bosone di Higgs (o una nuova fisica simile) era teoricamente richiesto a causa di un teorema "senza perdite" sulla rottura dei modelli senza un Higgs alle energie LHC, quindi possiamo essere ancora più sicuri che si tratta di un effetto genuino. Gli altri nuovi effetti che vengono cercati all'LHC, tuttavia, probabilmente non sono altrettanto motivati, quindi questo non si applica a loro.Ad esempio, non vi era alcuna motivazione a priori per una 750 GeV resonanace accennata nei dati ma alla fine scomparsa.

Se non altro, c'è il sospetto che le pratiche presso l'LHC potrebbero persino portare all'opposto della "crisi di replicazione";analisi che rilevano effetti in qualche modo significativi potrebbero essere esaminate e ottimizzate fino a quando non diminuiscono .In questo articolo è stato affermato che questo era il caso delle ricerche SUSY nella fase 1.

Oltre all'eccellente elenco di innisfree, c'è un'altra differenza fondamentale tra gli esperimenti di fisica moderna e gli esperimenti basati sull'uomo: mentre questi ultimi tendono ad essere esplorativi , gli esperimenti di fisica in questi giorni sono principalmente di conferma .

In particolare, abbiamo teorie (a volte teorie concorrenti) che modellano la nostra idea di come funziona la fisica. Queste teorie fanno previsioni specifiche sui tipi di risultati che dovremmo vedere, e gli esperimenti di fisica sono generalmente costruiti per discriminare tra le varie previsioni, che sono tipicamente della forma "questo effetto si verifica o no" (jet quenching, dispersione nella velocità della luce dovuta allo spazio quantizzato), oppure "questa variabile ha un valore" (la massa del bosone di Higgs). Usiamo simulazioni al computer per produrre immagini di come sarebbero i risultati nei diversi casi e quindi abbinare i dati sperimentali con quei modelli; quasi sempre, ciò che otteniamo corrisponde all'uno o all'altro dei casi sospetti. In questo modo, i risultati sperimentali in fisica sono raramente scioccanti.

Di tanto in tanto, tuttavia, ciò che vediamo è qualcosa di veramente inaspettato, come il tempo in cui OPERA sembrava aver osservato un movimento più veloce della luce o, se è per questo, l'oro di Rutherford- esperimento foil. In questi casi, la priorità tende a riprodurre l'effetto se possibile e spiegare cosa sta succedendo (che di solito tende ad essere un errore di qualche tipo, come il cavo mal cablato in OPERA, ma a volte rivela qualcosa di totalmente nuovo, che poi tende a diventare oggetto di un'intensa ricerca fino a quando il nuovo effetto non sarà compreso abbastanza bene da ricominciare a farne dei modelli).

Il documento sembra essere un'analisi statistica delle opinioni, e in nessun modo è abbastanza rigoroso per sollevare una domanda sull'LHC. Sono statistiche sulle statistiche non divulgate.

Ecco un esempio più semplice per le statistiche dei fallimenti: prendi un atleta delle Olimpiadi. Quanti fallimenti prima di battere il record? Il record non è stato battuto perché potrebbero esserci stati mille errori prima di infrangerlo?

E le centinaia di atleti che cercano di riprodursi e ottenere un record migliore? Non dovrebbero provare?

Le statistiche degli esperimenti falliti sono simili: c'è un obiettivo (in realtà migliaia di obiettivi a seconda della disciplina fisica) e una serie di prove per raggiungere l'obiettivo, anche se l'analogia del record delle Olimpiadi non dovrebbe essere portata troppo lontano, solo per sottolineare la difficoltà di combinare statistiche da un gran numero di insiemi. In fisica possono esserci ipotesi sbagliate, vicoli ciechi, errori logici ... che possono contribuire al fallimento della riproducibilità. Il livello di confidenza degli errori statistici e sistematici viene utilizzato per definire la robustezza di una misurazione.

dalla domanda:

"perché il 50% degli esperimenti di ingegneria fisica & non è riproducibile dagli scienziati originali",

Questa è una dichiarazione falsa da un sondaggio dubbio. La significatività statistica del "non riproducibile" non è stata verificata nel sondaggio. Solo se si trattasse di un risultato di deviazione standard, esiste quasi il 50% di probabilità della prova successiva di non riprodursi.

ci si potrebbe aspettare che ci sia una probabilità del 50% che se le persone che hanno originariamente costruito l'LHC ne costruissero un altro, non otterrebbero gli stessi risultati

Assolutamente no, perché l'analisi ingegneristica e fisica presso l'LHC sono oltre il livello 4 sigma e la probabilità di negazione è piccola. Anche un livello 3sigma ha una fiducia del 99%, quindi la possibilità non è in alcun modo del 50%.

Sappiamo che i risultati di LHC sono solidi perché ci sono due esperimenti principali e molti più piccoli che cercano gli stessi obiettivi. Il motivo per cui esistono due esperimenti è che gli errori sistematici in uno non daranno risultati spuri. Confidiamo che le statistiche di misurazione che danno i risultati finali siano corrette, poiché confidiamo per la corsa da record che i tempi e le distanze misurati siano corretti.

(E LHC non è un esperimento. È il luogo in cui gli esperimenti possono essere condotti a seconda degli sforzi e dell'ingegno dei ricercatori, è il campo in cui si svolgono le Olimpiadi.)

La robustezza dei risultati scientifici dipende dalle misurazioni sperimentali specifiche, non dall'integrazione di tutti gli esperimenti disparati mai effettuati. Cattivo uso delle statistiche. Per le statistiche delle statistiche, vale a dire il livello di fiducia degli "esperimenti falliti" deve essere fatto rigorosamente e il documento non lo fa.

Un altro modo di vederlo: se non ci fossero stati errori, gli esperimenti avrebbero significato qualcosa? Sarebbero prevedibili con carta e penna.

Ogni esperimento viene ripetuto molte volte sulla stessa attrezzatura. Cercano eventi rari e sono necessari molti eventi rari per essere sicuri che non siano solo coincidenze.

La domanda su quanti LHC ci vogliono per essere sicuri è diversa.

Ogni componente LHC doveva essere attentamente testato per assicurarsi che fosse conforme alle specifiche. Ricorda l'esempio dell'esperimento che sembrava ottenere un risultato leggermente più veloce della luce. Poiché era così importante, hanno fatto una grande spesa per testare tutto, componenti in tutto il mondo, fino a quando non hanno trovato due componenti fuori specifica, che hanno creato il piccolo errore. Se l'errore fosse stato nella direzione opposta, avrebbero fatto quel test? No. Non avrebbero nemmeno notato l'errore. Non sarebbe importante. Ciò che ha reso questo importante è stato più veloce della luce. Hanno registrato attentamente ogni componente fuori specifica che hanno scoperto che tenderebbe a rallentare il segnale, il che potrebbe annullare gli errori positivi che hanno riscontrato? Può essere. Non era quello che stavano cercando, però. Questa era una complicazione e non una soluzione al problema.

Dopo che i componenti LHC testati sono stati installati, devono essere nuovamente testati nel caso siano stati modificati durante la manipolazione.

Quindi devono essere calibrati. Ogni uscita analogica potrebbe avere una linea di base leggermente diversa, a causa di cose casuali. Un giunto di saldatura leggermente diverso. Un circuito CA nelle vicinanze che cambia le cose un po 'ogni 120 ° di secondo. La linea di base deve essere calibrata per ognuno di essi. Una volta che il segnale è stato convertito in digitale, va bene. Gli errori inferiori al limite vengono ignorati e gli errori maggiori fanno la differenza di un bit. Per la calibrazione, sai quale dovrebbe essere il risultato, quindi lo imposti su quello.

Tutto ciò potrebbe in qualche modo aver cambiato i risultati in modo che alcuni risultati estremamente improbabili vengano riportati in modo errato più spesso di quanto dovrebbero essere?

Non c'è motivo teorico per aspettarselo. E gli ingegneri che hanno assemblato l'LHC sono stati molto attenti. Ma come potremmo testarlo? Il modo più ovvio è costruire almeno altri 2 LHC e notare quanto siano coerenti i loro risultati. Sarebbe molto costoso. Non sarà fatto.

Possiamo acquisire un po 'di fiducia guardando i risultati di altri macchinari. È come se l'LHC fosse usato per cercare un'ampia gamma di possibili risultati che potrebbero essere chiamati bosone di Higgs. Potrebbero fare negli anni ciò che una macchina inferiore potrebbe impiegare secoli per fare. Ma una volta che abbiamo un bosone di Higgs specifico da cercare, alcuni degli altri possono cercarlo in modo specifico e vedere se lo trovano. Se lo fanno, allora probabilmente c'è qualcosa oltre l'errore dell'apparecchiatura.

Un'altra cosa che possono fare (cosa che penso stiano facendo parte del tempo) è cercare cose che dovrebbero non accadere e che nessuno prevede che accadranno. Quando ne troveranno uno di sicuro, tutti si emozioneranno. La gente dirà che c'è qualcosa che non va e insisterà nel controllare ogni possibile errore che potrebbe dare loro quel risultato. Come con la cosa più veloce della luce.

Non solo gli esperimenti LHC vengono riprodotti molte volte, ma iirc, per risultati importanti, hanno effettivamente due team indipendenti che lavorano su versioni diverse dello stesso esperimento.

Tuttavia, vale la pena notare che i fisici sperimentali spesso adottano un approccio diverso e più rigoroso ai loro risultati rispetto ai teorici. Ad esempio, i teorici sono stati desiderosi di affermare che il plasma di quark-gluone previsto era stato prodotto, ma i gruppi sperimentali sono più cauti nel saltare alle conclusioni, dicendo, ad esempio,

"Tuttavia, analisi dettagliate dei dati rendono anche chiaro che questo mezzo caldo e denso ha proprietà sorprendenti e non ancora del tutto comprese in termini di aspettative iniziali per il plasma di quark gluoni." --- Relativistic Heavy Ion Collider, Brookhaven National Laboratory, 2005, Hunting the Quark Gluon Plasma, risultati dei primi tre anni. Relazione formale, BNL -73847-2005

Sembra che la nuova forma di materia si comporti più come un liquido che come un plasma, come se fosse composta da particelle costituenti che tendono a fluire insieme piuttosto che in modo casuale, come previsto dalla libertà asintotica. In assenza di calcoli fattibili che mostrano esattamente come dovrebbe comportarsi la zuppa di quark, è difficile valutare il implicazioni per la cromodinamica quantistica.

Allo stesso modo, sebbene sia chiaro che hanno trovato una particella chiamata Higgs, non ci sono precisamente prove empiriche per correlare quella particella al meccanismo di Higgs non osservabile creato dai teorici.