In breve:

informazioni contenute in un sistema fisico = il numero di domande sì / no di cui hai bisogno per ottenere una risposta per specificare completamente il sistema.

L'informazione è un concetto puramente matematico, solitamente una caratteristica dell'incertezza (di una funzione di distribuzione di probabilità), ma può essere interpretata in modi diversi. Nella forma più semplice è introdotto nella teoria dell'informazione come differenza tra le incertezze di due distribuzioni, con l'incertezza essendo il logaritmo di un numero di possibili stati ugualmente probabili di una variabile casuale discreta. Per la distribuzione continua, può essere introdotto come logaritmo di un integrale. A volte ha introdotto un'informazione adeguata - una quantità che differisce dall'entropia negativa solo per una costante indipendente dalla distribuzione (questa costante può essere presa come zero).

Quindi l'informazione è una differenza dell'informazione corretta (differenza di entropia negativa ) di due stati. Gli stati sono rappresentati da funzioni di distribuzione di probabilità, quindi l'informazione è un operatore formale di due funzioni.

Per le distribuzioni continue (di cui il caso discreto è una variante) l'informazione corretta della distribuzione $ w $ è

$$ I [w] = - H (w) = - \ int_ {- \ infty} ^ {+ \ infty} w (x) \ log (w (x)) dx $$

e le informazioni relative di $ w_2 $ rispetto a $ w_1 $ sono

$$I[w_2,w_1”=H(w_1)-H(w_2)=I(w_2)-I(w_1)$$

o

$$ I [w_2, w_1] = \ int _ {- \ infty} ^ {+ \ infty} \ log \ left (\ frac {w_1 (x) ^ {w_1 (x)}} {w_2 (x) ^ {w_2 (x )}} \ right) $$

Questo operatore non è molto diverso dalla norma o dall'angolo negli spazi vettoriali. È solo una misura, attribuita ai membri dello spazio.

Confronta questo con la definizione di norma:

$$ || w || = \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w (x) ^ 2dx} $$

distanza

$$ D [w_1, w_2] = || w_1-w_2 || = \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} (w_1 (x) -w_2 (x)) ^ 2dx} $$

angolo

$$ \ Phi [w_1, w_2] = \ arccos \ frac {\ int _ {- \ infty} ^ {+ \ infty} w_1 (x) w_2 (x) dx} {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w_1 (x) ^ 2dx} \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w_2 (x) ^ 2dx}} $$

Quindi pensa alle informazioni come a un matematico quantità simile all'angolo.

Poiché esistono già risposte tecniche eccezionali a questa domanda, penso che dovremmo aggiungere alcune basi filosofiche migliori da esplorare che potrebbero aiutare ad acquisire una migliore percezione intuitiva di ciò che sono le informazioni.

Warren Weaver fornì un'eccellente discussione sulla teoria dell'informazione nel 1949 nel suo articolo intitolato " Contributi recenti alla teoria matematica della comunicazione".

Nel documento suddivide i problemi di comunicazione in tre categorie principali : tecnica, semantica ed efficacia. Spiega inoltre che il concetto di informazione è puramente derivato per affrontare il problema tecnico nella teoria delle comunicazioni.

Una semplice definizione di informazione, fornita da Weaver, è che "l'informazione è una misura della propria libertà di scelta quando si seleziona un messaggio"; o più correttamente, il logaritmo di quella libertà di scelta. L'informazione è quindi più chiaramente intesa come il numero di combinazioni di parti componenti disponibili per essere scelte arbitrariamente.

In questo senso, on può vederlo come una misura della casualità associata a una stringa di lettere. Un ottimo esempio è la ruota della fortuna. Quando Pat Sajak ti mostra un tabellone con i blocchi bianchi e verdi, ti ha già fornito molte informazioni inserendo spazi tra i blocchi bianchi, perché ha ridotto drasticamente il numero di possibili combinazioni che potrebbero essere possibili da riempire nel blocchi bianchi.

La massima informazione (o entropia) del tabellone con 52 caselle o "triloni" e usando 26 lettere è $ 26 ^ {52} = 3,8 \ volte 10 ^ {73} $ combinazioni o tra $ 244 $ e $ 245 $ bit di informazioni in binario. Tuttavia, se ci fossero solo 11 caselle illuminate di bianco, le informazioni effettive della lavagna sono improvvisamente scese a $ 26 ^ {11} = 3,6 \ volte 10 ^ {15} $ combinazioni che danno un contenuto informativo effettivo (o entropia) o $ 51 $ a $ 52 $ bit. Le informazioni relative sono $ \ dfrac {51} {244} = 0,21 $ o 21%. La ridondanza è quindi data da $ 1 - 0,21 = 0,79 $ o 79%.

Mentre Vanna gira le scatole, diminuisce l'entropia relativa e aumenta la ridondanza fino al punto in cui la probabilità di risolvere il puzzle diventa molto alta. Quindi, in questo senso, l'informazione, come l'entropia, è una misura dell'incertezza sul sistema.

Ora ci sono diversi tipi di incertezza, uno è l'incertezza associata alla libertà di scelta del messaggio e l'altro è il rumore. L'incertezza discussa nell'esempio della ruota della fortuna è dovuta alla libertà di scelta. In una situazione silenziosa, ci aspetteremmo che la parola o la frase che Vanna svela fosse esattamente quella scelta prima dello spettacolo. In un ambiente rumoroso, ad esempio, in cui vi è una certa probabilità che un membro della troupe sbagli la parola durante l'impostazione dei blocchi, è possibile che l'ultima parola mostrata non sia quella scelta prima dello spettacolo. Quell'incertezza, o rumore, è chiamata equivoco ed è provocata dall'ambiente stesso.

La distinzione tra un ambiente rumoroso e silenzioso è molto importante. William Tuller nel 1949 pubblicò un documento " LIMITAZIONI TEORICHE SUL TASSO OF TRANSMISSION OF INFORMATION "che ha dimostrato che non c'era limite alla quantità di informazioni che potevano essere trasmesse in un canale silenzioso. Questo è il motivo per cui l'articolo di Shannon" Communication in the Presence of Noise " era fondamentale per la teoria della comunicazione in quanto quantificava correttamente cosa fosse effettivamente il rumore e come influisse sulla comunicazione e sul trasferimento di informazioni.

Ora, prima di finire, va notato che Hartley nel suo articolo del 1928 " Transmission of Information "è stato il primo a dare veramente una definizione moderna di informazione ea darle una misura quantitativa. Consiglierei di rivedere quel documento come punto di partenza. Altri contributi significativi sono forniti da altri scienziati, come Wiener che è meglio catturato in Cybernetics.

In una nota di chiusura, è rinfrescante che il significato del rumore quantistico stia iniziando a essere discusso, e spero che continui in futuro.

L'informazione è una quantità adimensionale (senza unità) - e, in questo senso, "puramente matematica" - che misura quanto uno deve imparare per sapere qualcosa relativamente al punto in cui non lo sa, espresso in unità particolari . Operativamente parlando, è la quantità di chip RAM (o le loro parti) che è necessario avere in modo che possano ricordare alcune conoscenze. Ovviamente, usando la parola "conoscenza", sto semplicemente evitando la parola "informazione", ed è impossibile definire nessuno di questi termini senza alcun "riferimento circolare" perché si deve sapere almeno qualcosa per poter definire come concetti elementari come conoscenza.

Un bit di informazione è la conoscenza necessaria per sapere se un numero che può essere 0 o 1 con la stessa probabilità si è rivelato (o risulterà) essere 0 o 1. In matematica, un'unità più naturale di un bit è un "e-bit", che è tale che 1 bit è ln (2) "e-bits". L'informazione necessaria per distinguere tra "N" alternative ugualmente probabili è ln (N) "e-bits". Il logaritmo naturale è sempre più naturale di altri logaritmi: ecco perché si chiama naturale. Ad esempio, la sua derivata è uguale a 1 / x, senza costanti complicate. Le formule per l'informazione adimensionale "Shannon", assumendo una distribuzione probabilistica, sono fornite sopra.

In fisica, ogni sistema fisico con alcuni gradi di libertà può trasportare alcune informazioni. Nell'informazione quantistica, le "alternative" sono solitamente associate a vettori di base dello spazio di stato di Hilbert consentito. Ma in quel contesto, un "bit" di informazione viene solitamente indicato come "qubit" o "bit quantistico", il che significa che nel mondo reale, le alternative possono anche essere combinate in sovrapposizioni lineari complesse arbitrarie, come i postulati del quantum dettano i meccanici.

Nelle discussioni sulla causalità, intendiamo che gli oggetti spazialmente separati non possono realmente influenzarsi a vicenda. Ciò è garantito dalla simmetria di Lorentz. Nella teoria dei campi, la condizione è equivalente al vincolo che i campi separati come spazio $ \ phi (x) $ e $ \ phi (y) $ commutano tra loro (o anticommute se entrambi sono fermionici).

I migliori auguriLubos

Di recente ho dato un breve ma serio tentativo di un modo diverso di interpretare un po 'in termini di fisica quantistica, quindi forse vale la pena menzionare quella risposta nel contesto di questa domanda molto più vecchia:

https://physics.stackexchange.com/a/91035/7670

"In termini di spazio, tempo, quantità di moto e materia, un singolo bit di informazione è la scelta di un percorso quantistico su un altro altrettanto probabile. Quando applicato a livello di atomi e particelle, il risultato è un arazzo di scelte che diventa rapidamente quasi infinito in complessità. "

Questa definizione è prontamente compatibile con gli approcci MWI , poiché definisce gli insiemi totali di bit nell'universo che puoi vedere come "indirizzo" del tuo universo all'interno del multiverso.

Nel bene e nel male, questa definizione è mia, non una che io ' cito da qualsiasi cosa. Ma è perfettamente compatibile con esperimenti così semplici come l'analisi della fenditura elettronica di Feynman, in cui i fotoni determinano il percorso dell'elettrone se ci fai ficcare il naso, e quindi aggiungi un altro pezzetto alla definizione del nostro universo osservabile.