Entropi gwybodaeth: Gwahaniaeth rhwng fersiynau
Cynnwys wedi'i ddileu Cynnwys wedi'i ychwanegu
Tudalen newydd: Mewn damcaniaeth gwybodaeth, mesur o'r ansicrwydd a gysylltwyd â hapnewidyn yw '''entropi gwybodaeth'''. Gellir dehongli'r entropi hwn fel yr hyd neges cyfartalog lleiaf po... |
ehangiad |
||
Llinell 5:
Cyflwynwyd y cysyniad gan [[Claude E. Shannon]] yn ei bapur ''"A Mathematical Theory of Communication"'' a gyhoeddwyd ym [[1948]].
==Diffiniad==
:<math>
\begin{matrix}
H(X) = \operatorname{E}( I(X) ) & = & \displaystyle{\sum_{i=1}^np(x_i)\log_2 \left(1/p(x_i)\right)} \\
& = & - \displaystyle{\sum_{i=1}^np(x_i)\log_2 p(x_i)} \qquad
\end{matrix}
</math>
yw entropi gwybodaeth [[hapnewidyn arwahanol]] ''X'' a all gymryd y gwerthoedd {''x''<sub>1</sub>...''x''<sub>n</sub>}
lle mai
:''I''(''X'') yw cynnwys gwybodaeth ''X'', sydd yn hapnewidyn ei hun; a
:''p''(''x''<sub>''i''</sub>) = P(''X''=''x''<sub>''i''</sub>) yw [[ffwythiant dwysedd tebygolrwydd]] ''X''.
[gellir ymestyn y diffiniad hwm i hapnewidynnau di-dor]
===Entropi a cynnwys gwybodaeth===
gw. [[Theorem codio ffynhonnell Shannon]]
===Cywasgu data===
Mae entropi yn arffinio perfformiad cywasgiad di-golled o ddata, ac fe ellir cyflawni'r cywasgiad gorau posib trwy ddefnyddio'r [[set nodweddiadol]] (neu'n ymarferol, [[codio Huffman]], [[LZW|Lempel-Ziv]] neu [[codio rhifyddol]].
===Cyfyngiadau ar y dehongliad o entropi fel cynnwys gwybodaeth===
Er fod entropi yn cael ei ddehongli'n aml fel mesur o gynnwys gwybodaeth ffynhonnell ddata, nid yw'r cynnwys gwybodaeth hwn yn absolìwt: mae'n dibynnu'n llwyr ar y model tebygoliaethol. Mae entropi o 0 gan ffynhonnell sy'n cynhyrchu un symbol yn unig, ond mae'r diffiniad o symbol yn dibynnu ar yr wyddor dan sylw. Ystyriwch ffynhonnell sy'n cynhyrchu'r dilyniant ABABABABAB... Os tybiwn fod llythrennau unigol yn [[annibyniaeth (tebygolrwydd)|annibynnol]], mae cyfradd entropi o un did i bob llythyren. Ond os tybiwn mae [[deugraff]]iau yw'r symbolau yn y model, yna 0 yw'r cyfradd entropi. Fodd bynnag, os defnyddiwn blociau mawr, yna fe allem gael amcymgyfrifiad annaturiol o isel o'r gyfradd entropi.
== Dolenni allanol ==
* {{eiconiaith|en}} http://planetmath.org/?op=getobj&from=objects&id=968
* {{eiconiaith|en}} [http://www.rheingold.com/texts/tft/6.html Disgrifiad o entropi gwybodaeth o ''"Tools for Thought"'' gan Howard Rheingold]
{{bathutermau|termau_bathedig = set nodweddiadol|iaith = Saesneg | termau_gwreiddiol = typical set}}
[[Categori:Damcaniaeth gwybodaeth]]
[[en:Information entropy]]
[[de:Entropie (Informationstheorie)]]
[[el:Εντροπία πληροφοριών]]
[[es:Entropía (información)]]
[[fr:Entropie de Shannon]]
[[ko:정보 엔트로피]]
[[it:Entropia (teoria dell'informazione)]]
[[he:אנטרופיה (סטטיסטיקה)]]
[[hu:Shannon-entrópiafüggvény]]
[[ja:情報量]]
[[nl:Entropie (informatietheorie)]]
[[pl:Entropia (teoria informacji)]]
[[ru:Информационная энтропия]]
[[simple:Information entropy]]
[[sv:Entropi (informationsteori)]]
[[th:เอนโทรปีของข้อมูล]]
[[vi:Entropy thông tin]]
[[zh:熵 (信息论)]]
[[de:Entropie (Informationstheorie)]]
[[el:Εντροπία πληροφοριών]]
[[es:Entropía (información)]]
[[fr:Entropie de Shannon]]
[[ko:정보 엔트로피]]
[[it:Entropia (teoria dell'informazione)]]
[[he:אנטרופיה (סטטיסטיקה)]]
[[hu:Shannon-entrópiafüggvény]]
[[ja:情報量]]
[[nl:Entropie (informatietheorie)]]
[[pl:Entropia (teoria informacji)]]
[[ru:Информационная энтропия]]
[[simple:Information entropy]]
[[sv:Entropi (informationsteori)]]
[[th:เอนโทรปีของข้อมูล]]
[[vi:Entropy thông tin]]
[[zh:熵 (信息论)]]
| |||