Entropi gwybodaeth

Mewn damcaniaeth gwybodaeth, mesur o'r ansicrwydd a gysylltir â hapnewidyn yw entropi gwybodaeth.

Gellir dehongli'r entropi hwn fel yr hyd neges cyfartalog lleiaf posib (mewn didau) sy'n cyfleu allbwn yr hapnewidyn. Cynrychiola hyn derfan mathemategol ar y cywasgiad di-golled gorau posib o ddata: lleiafswm y nifer o ddidau a ellir eu danfon i gyfathrebu neges ydyw. Yn gyfwerth, gellir ei ystyried yn fesur o'r wybodaeth gyfartalog mae'r derbynnydd yn ei golli wrth beidio gwybod gwerth yr hapnewidyn.

Cyflwynwyd y cysyniad gan Claude E. Shannon yn ei bapur "A Mathematical Theory of Communication" a gyhoeddwyd ym 1948.

Diffiniad

${\begin{matrix}H(X)=\operatorname {E} (I(X))&=&\displaystyle {\sum _{i=1}^{n}p(x_{i})\log _{2}\left(1/p(x_{i})\right)}\\&=&-\displaystyle {\sum _{i=1}^{n}p(x_{i})\log _{2}p(x_{i})}\qquad \end{matrix}}$

yw entropi gwybodaeth hapnewidyn arwahanol X a all gymryd y gwerthoedd {x₁...x_n} lle mai

I(X) yw cynnwys gwybodaeth X, sydd yn hapnewidyn ei hun; a

p(x_i) = P(X=x_i) yw ffwythiant dwysedd tebygolrwydd X.

[gellir ymestyn y diffiniad hwm i hapnewidynnau di-dor]

Entropi a cynnwys gwybodaeth

gw. Theorem codio ffynhonnell Shannon

Cywasgu data

Mae entropi yn arffinio perfformiad cywasgiad di-golled o ddata, ac fe ellir cyflawni'r cywasgiad gorau posib trwy ddefnyddio'r set nodweddiadol (neu'n ymarferol, codio Huffman, Lempel-Ziv neu codio rhifyddol.

Cyfyngiadau ar y dehongliad o entropi fel cynnwys gwybodaeth

Er fod entropi yn cael ei ddehongli'n aml fel mesur o gynnwys gwybodaeth ffynhonnell ddata, nid yw'r cynnwys gwybodaeth hwn yn absolìwt: mae'n dibynnu'n llwyr ar y model tebygoliaethol. Mae entropi o 0 gan ffynhonnell sy'n cynhyrchu un symbol yn unig, ond mae'r diffiniad o symbol yn dibynnu ar yr wyddor dan sylw. Ystyriwch ffynhonnell sy'n cynhyrchu'r dilyniant ABABABABAB... Os tybiwn fod llythrennau unigol yn annibynnol, mae cyfradd entropi o un did i bob llythyren. Ond os tybiwn mae deugraffiau yw'r symbolau yn y model, yna 0 yw'r cyfradd entropi. Fodd bynnag, os defnyddiwn blociau mawr, yna fe allem gael amcymgyfrifiad annaturiol o isel o'r gyfradd entropi.

Dolenni allanol

• (en) http://planetmath.org/?op=getobj&from=objects&id=968
• (en) Disgrifiad o entropi gwybodaeth o "Tools for Thought" gan Howard Rheingold Archifwyd 2011-05-15 yn y Peiriant Wayback.