Domanda:
Cosa sono le informazioni?
Mitchell
2011-01-11 01:56:48 UTC
view on stackexchange narkive permalink

Conosciamo tutti i principi di base come "le informazioni non possono essere trasmesse più velocemente della luce" e idee come la conservazione delle informazioni in scenari come le radiazioni di Hawking (e in generale, ovviamente). Il principio olografico dice, in modo approssimativo, che le informazioni su un volume di spazio sono codificate sulla sua superficie bidimensionale in bit delle dimensioni di Planck.

In tutti questi contesti, posso considerare "informazione" come capacità predittiva o postdittiva, ovvero l'informazione è ciò che ci consente di affermare quale fosse o sarà (localmente) il risultato di una misurazione. Ma che cosa sono esattamente? Abbiamo qualche tipo di descrizione microscopica? È solo un concetto e, in tal caso, come possiamo parlare di trasmetterlo?

Sospetto che questo sia probabilmente senza risposta quanto ciò che costituisce un osservatore / misurazione per il collasso della funzione d'onda, ma mi piacerebbe sapere se abbiamo una formulazione di ciò di cui sono fatte le informazioni, per così dire. Se dico sciocchezze, come sospetto di poter essere, sentiti libero di farlo notare.

Cinque risposte:
#1
+30
Johannes
2011-01-14 09:15:23 UTC
view on stackexchange narkive permalink

In breve:

informazioni contenute in un sistema fisico = il numero di domande sì / no di cui hai bisogno per ottenere una risposta per specificare completamente il sistema.

+1 ma potrebbe essere migliorato nel "numero _minimum_ di ..." IMHO
davvero bello, alla fine [non vero] (http://physics.stackexchange.com/q/193677/85676)
@Probably - Certo, puoi affinare la risposta sopra facendo l'affermazione più elaborata "* l'entropia per un dato stato macroscopico di un oggetto è il numero di domande sì / no a cui devi rispondere come minimo per specificare completamente lo stato microscopico dettagliatodell'oggetto * ".tuttavia, questa elaborazione non rende la precedente risposta più succinta "* eventualmente non vera *".Inoltre, tieni presente che il numero di domande sì / no richieste è tipicamente il numero di Avogadro (o molto, molto più grande nel caso del contesto di questa domanda che coinvolge gradi di libertà di gravità quantistica).
Non sono d'accordo con questa risposta.Supponiamo che io abbia un segnale proveniente dal [rumore di tensione di un resistore] (https://en.wikipedia.org/wiki/Johnson%E2%80%93Nyquist_noise).Devo fare molte domande sì / no per specificare quel segnale, ma non contiene molte informazioni.Per comprendere le informazioni, devi davvero parlare di conoscenze e vincoli precedenti.
@DanielSank: il rumore di tensione di un resistore, originato dalle dettagliate agitazioni termiche negli stati elettronici, contiene un'enorme quantità di informazioni ...
@DanielSank Solo perché non sei interessato alle informazioni non impedisce che siano informazioni.
@Johannes quindi il rumore statico della TV avrebbe più contenuti informativi di qualsiasi video.Il rumore casuale non può essere compresso in un numero minore di bit.Pensavo che le informazioni avessero una natura soggettiva.
@Aditya - è corretto: per definizione è possibile comprimere un segnale non oltre il numero minimo di bit richiesto per ricostruire il segnale.Quindi le stringhe di bit risultanti dai lanci di monete hanno il più alto contenuto di informazioni.Ovviamente Broman ha ragione: che tu sia interessato o meno a queste informazioni è una questione diversa (e in generale soggettiva).Le informazioni che non ti interessano, puoi chiamarle entropia.
Usando questa definizione, quante informazioni contiene un atomo di idrogeno?La dimensione del file della pagina di Wikipedia compressa "atomo di idrogeno" sarebbe una buona o cattiva approssimazione?
#2
+20
Anixx
2011-01-11 03:31:40 UTC
view on stackexchange narkive permalink

L'informazione è un concetto puramente matematico, solitamente una caratteristica dell'incertezza (di una funzione di distribuzione di probabilità), ma può essere interpretata in modi diversi. Nella forma più semplice è introdotto nella teoria dell'informazione come differenza tra le incertezze di due distribuzioni, con l'incertezza essendo il logaritmo di un numero di possibili stati ugualmente probabili di una variabile casuale discreta. Per la distribuzione continua, può essere introdotto come logaritmo di un integrale. A volte ha introdotto un'informazione adeguata - una quantità che differisce dall'entropia negativa solo per una costante indipendente dalla distribuzione (questa costante può essere presa come zero).

Quindi l'informazione è una differenza dell'informazione corretta (differenza di entropia negativa ) di due stati. Gli stati sono rappresentati da funzioni di distribuzione di probabilità, quindi l'informazione è un operatore formale di due funzioni.

Per le distribuzioni continue (di cui il caso discreto è una variante) l'informazione corretta della distribuzione $ w $ è

$$ I [w] = - H (w) = - \ int_ {- \ infty} ^ {+ \ infty} w (x) \ log (w (x)) dx $$

e le informazioni relative di $ w_2 $ rispetto a $ w_1 $ sono

$$I[w_2,w_1”=H(w_1)-H(w_2)=I(w_2)-I(w_1)$$

o

$$ I [w_2, w_1] = \ int _ {- \ infty} ^ {+ \ infty} \ log \ left (\ frac {w_1 (x) ^ {w_1 (x)}} {w_2 (x) ^ {w_2 (x )}} \ right) $$

Questo operatore non è molto diverso dalla norma o dall'angolo negli spazi vettoriali. È solo una misura, attribuita ai membri dello spazio.

Confronta questo con la definizione di norma:

$$ || w || = \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w (x) ^ 2dx} $$

distanza

$$ D [w_1, w_2] = || w_1-w_2 || = \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} (w_1 (x) -w_2 (x)) ^ 2dx} $$

angolo

$$ \ Phi [w_1, w_2] = \ arccos \ frac {\ int _ {- \ infty} ^ {+ \ infty} w_1 (x) w_2 (x) dx} {\ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w_1 (x) ^ 2dx} \ sqrt {\ int _ {- \ infty} ^ {+ \ infty} w_2 (x) ^ 2dx}} $$

Quindi pensa alle informazioni come a un matematico quantità simile all'angolo.

Qualsiasi discorso di informazione da una prospettiva matematica ha davvero bisogno di menzionare l'entropia di Shannon.
È menzionato sopra.
Per approfondire questo si può scrivere un'espressione per informazioni corrette usando l'integrale moltiplicativo: $$ I (w) = \ log \ int _ {- \ infty} ^ {\ infty} (w ^ w) ^ {dx} $$ e confrontarlo con l'espressione per norma $$ || w || = \ sqrt {\ int _ {- \ infty} ^ {\ infty} w ^ 2 dx} $$
Per dire in parole semplici, la norma risponde alla domanda quanto sia grande qualcosa, l'angolo risponde alla domanda quanto sia orientato qualcosa e l'entropia / informazione risponde alla domanda quanto sia complesso qualcosa.
Benvenuto in physics.se @anixx. Questa è una risposta davvero notevole. Il punto di vista secondo cui l'informazione è una "quantità matematica simile all'angolo" è anche al centro della meccanica quantistica. Infatti nel 1981 Wootters ("Distanza statistica e spazio di Hilbert", PRD) ha mostrato che la "distanza statistica" tra due serie di osservazioni coincide con l'angolo tra i raggi di uno spazio di Hilbert. Ovviamente niente di tutto questo sarebbe una sorpresa per R. A. Fisher;)
Ah ok. Mi è mancato a quanto pare. Dovresti assolutamente chiamarla "entropia di Shannon" o "entropia dell'informazione" per distinguerla dall'entropia termodinamica, dato che si tratta di un sito di fisica.
@ space_cadet In realtà, se si confrontano le formule, l'informazione è più simile alla distanza (basta sostituire la moltiplicazione con l'elevamento a potenza e la sottrazione con la divisione). Ma a differenza della distanza è indipendente dalla scala (come lo è l'angolo).
@Anixx per vedere l'analogia ti suggerirei di dare un'occhiata al documento che ho citato. Ma capisco anche il tuo punto.
@Anixx @space_cadet -per essere un po 'pedante, dovresti chiamare quello che hai scritto entropia differenziale. Nell'entropia di Shannon, la variabile casuale è discreta. L'entropia differenziale estende l'entropia di Shannon usando funzioni di densità di probabilità che sono continue, ma queste possono essere complicate e possono avere valori maggiori di 1. Sono d'accordo, mi piace la risposta. +1
@Anixx Pensare l'informazione come "un angolo" solleva alcune domande. Ha un massimo e poi ripete le sue proprietà? come $ \ alpha $ e $ \ alpha + 2 \ pi $. Esistono "informazioni ortogonali"? e così via..
@HDE no, è più simile alla distanza in quanto è illimitata, e più simile all'angolo in quanto è adimensionale. Come puoi vedere da quanto sopra la formula assomiglia a quella per distanza con quadrato sostituito con auto-potenza, sottrazione con divisione e radice con logaritmo.
#3
+19
Humble
2011-01-19 07:59:30 UTC
view on stackexchange narkive permalink

Poiché esistono già risposte tecniche eccezionali a questa domanda, penso che dovremmo aggiungere alcune basi filosofiche migliori da esplorare che potrebbero aiutare ad acquisire una migliore percezione intuitiva di ciò che sono le informazioni.

Warren Weaver fornì un'eccellente discussione sulla teoria dell'informazione nel 1949 nel suo articolo intitolato " Contributi recenti alla teoria matematica della comunicazione".

Nel documento suddivide i problemi di comunicazione in tre categorie principali : tecnica, semantica ed efficacia. Spiega inoltre che il concetto di informazione è puramente derivato per affrontare il problema tecnico nella teoria delle comunicazioni.

Una semplice definizione di informazione, fornita da Weaver, è che "l'informazione è una misura della propria libertà di scelta quando si seleziona un messaggio"; o più correttamente, il logaritmo di quella libertà di scelta. L'informazione è quindi più chiaramente intesa come il numero di combinazioni di parti componenti disponibili per essere scelte arbitrariamente.

In questo senso, on può vederlo come una misura della casualità associata a una stringa di lettere. Un ottimo esempio è la ruota della fortuna. Quando Pat Sajak ti mostra un tabellone con i blocchi bianchi e verdi, ti ha già fornito molte informazioni inserendo spazi tra i blocchi bianchi, perché ha ridotto drasticamente il numero di possibili combinazioni che potrebbero essere possibili da riempire nel blocchi bianchi.

La massima informazione (o entropia) del tabellone con 52 caselle o "triloni" e usando 26 lettere è $ 26 ^ {52} = 3,8 \ volte 10 ^ {73} $ combinazioni o tra $ 244 $ e $ 245 $ bit di informazioni in binario. Tuttavia, se ci fossero solo 11 caselle illuminate di bianco, le informazioni effettive della lavagna sono improvvisamente scese a $ 26 ^ {11} = 3,6 \ volte 10 ^ {15} $ combinazioni che danno un contenuto informativo effettivo (o entropia) o $ 51 $ a $ 52 $ bit. Le informazioni relative sono $ \ dfrac {51} {244} = 0,21 $ o 21%. La ridondanza è quindi data da $ 1 - 0,21 = 0,79 $ o 79%.

Mentre Vanna gira le scatole, diminuisce l'entropia relativa e aumenta la ridondanza fino al punto in cui la probabilità di risolvere il puzzle diventa molto alta. Quindi, in questo senso, l'informazione, come l'entropia, è una misura dell'incertezza sul sistema.

Ora ci sono diversi tipi di incertezza, uno è l'incertezza associata alla libertà di scelta del messaggio e l'altro è il rumore. L'incertezza discussa nell'esempio della ruota della fortuna è dovuta alla libertà di scelta. In una situazione silenziosa, ci aspetteremmo che la parola o la frase che Vanna svela fosse esattamente quella scelta prima dello spettacolo. In un ambiente rumoroso, ad esempio, in cui vi è una certa probabilità che un membro della troupe sbagli la parola durante l'impostazione dei blocchi, è possibile che l'ultima parola mostrata non sia quella scelta prima dello spettacolo. Quell'incertezza, o rumore, è chiamata equivoco ed è provocata dall'ambiente stesso.

La distinzione tra un ambiente rumoroso e silenzioso è molto importante. William Tuller nel 1949 pubblicò un documento " LIMITAZIONI TEORICHE SUL TASSO OF TRANSMISSION OF INFORMATION "che ha dimostrato che non c'era limite alla quantità di informazioni che potevano essere trasmesse in un canale silenzioso. Questo è il motivo per cui l'articolo di Shannon" Communication in the Presence of Noise " era fondamentale per la teoria della comunicazione in quanto quantificava correttamente cosa fosse effettivamente il rumore e come influisse sulla comunicazione e sul trasferimento di informazioni.

Ora, prima di finire, va notato che Hartley nel suo articolo del 1928 " Transmission of Information "è stato il primo a dare veramente una definizione moderna di informazione ea darle una misura quantitativa. Consiglierei di rivedere quel documento come punto di partenza. Altri contributi significativi sono forniti da altri scienziati, come Wiener che è meglio catturato in Cybernetics.

In una nota di chiusura, è rinfrescante che il significato del rumore quantistico stia iniziando a essere discusso, e spero che continui in futuro.

assolutamente brillante
#4
+3
Luboš Motl
2011-01-14 06:28:00 UTC
view on stackexchange narkive permalink

L'informazione è una quantità adimensionale (senza unità) - e, in questo senso, "puramente matematica" - che misura quanto uno deve imparare per sapere qualcosa relativamente al punto in cui non lo sa, espresso in unità particolari . Operativamente parlando, è la quantità di chip RAM (o le loro parti) che è necessario avere in modo che possano ricordare alcune conoscenze. Ovviamente, usando la parola "conoscenza", sto semplicemente evitando la parola "informazione", ed è impossibile definire nessuno di questi termini senza alcun "riferimento circolare" perché si deve sapere almeno qualcosa per poter definire come concetti elementari come conoscenza.

Un bit di informazione è la conoscenza necessaria per sapere se un numero che può essere 0 o 1 con la stessa probabilità si è rivelato (o risulterà) essere 0 o 1. In matematica, un'unità più naturale di un bit è un "e-bit", che è tale che 1 bit è ln (2) "e-bits". L'informazione necessaria per distinguere tra "N" alternative ugualmente probabili è ln (N) "e-bits". Il logaritmo naturale è sempre più naturale di altri logaritmi: ecco perché si chiama naturale. Ad esempio, la sua derivata è uguale a 1 / x, senza costanti complicate. Le formule per l'informazione adimensionale "Shannon", assumendo una distribuzione probabilistica, sono fornite sopra.

In fisica, ogni sistema fisico con alcuni gradi di libertà può trasportare alcune informazioni. Nell'informazione quantistica, le "alternative" sono solitamente associate a vettori di base dello spazio di stato di Hilbert consentito. Ma in quel contesto, un "bit" di informazione viene solitamente indicato come "qubit" o "bit quantistico", il che significa che nel mondo reale, le alternative possono anche essere combinate in sovrapposizioni lineari complesse arbitrarie, come i postulati del quantum dettano i meccanici.

Nelle discussioni sulla causalità, intendiamo che gli oggetti spazialmente separati non possono realmente influenzarsi a vicenda. Ciò è garantito dalla simmetria di Lorentz. Nella teoria dei campi, la condizione è equivalente al vincolo che i campi separati come spazio $ \ phi (x) $ e $ \ phi (y) $ commutano tra loro (o anticommute se entrambi sono fermionici).

I migliori auguriLubos

#5
  0
Terry Bollinger
2014-03-23 08:06:42 UTC
view on stackexchange narkive permalink

Di recente ho dato un breve ma serio tentativo di un modo diverso di interpretare un po 'in termini di fisica quantistica, quindi forse vale la pena menzionare quella risposta nel contesto di questa domanda molto più vecchia:

https://physics.stackexchange.com/a/91035/7670

"In termini di spazio, tempo, quantità di moto e materia, un singolo bit di informazione è la scelta di un percorso quantistico su un altro altrettanto probabile. Quando applicato a livello di atomi e particelle, il risultato è un arazzo di scelte che diventa rapidamente quasi infinito in complessità. "

Questa definizione è prontamente compatibile con gli approcci MWI , poiché definisce gli insiemi totali di bit nell'universo che puoi vedere come "indirizzo" del tuo universo all'interno del multiverso.

Nel bene e nel male, questa definizione è mia, non una che io ' cito da qualsiasi cosa. Ma è perfettamente compatibile con esperimenti così semplici come l'analisi della fenditura elettronica di Feynman, in cui i fotoni determinano il percorso dell'elettrone se ci fai ficcare il naso, e quindi aggiungi un altro pezzetto alla definizione del nostro universo osservabile.



Questa domanda e risposta è stata tradotta automaticamente dalla lingua inglese. Il contenuto originale è disponibile su stackexchange, che ringraziamo per la licenza cc by-sa 2.0 con cui è distribuito.
Loading...