תורת האינפורמציה

תורת האינפורמציה עוסקת במדידה ובהעברה של מידע. מידע הוא מה שמקטין את חוסר הוודאות. ב-1948 קלוד שאנון המציא רעיונות חשובים בתחום. הוא נתן שם ל'סיבית' (bit). סיבית היא יחידת מידע. הודעה נדירה נותנת יותר מידע. זה נקרא אינפורמציה עצמית. אנטרופיה מסבירה כמה קשה לנחש הודעה מהמערכת. אינפורמציה הדדית אומ...