תורת האינפורמציה
תורת האינפורמציה עוסקת במדידה ובהעברה של מידע. מידע הוא מה שמקטין את חוסר הוודאות. ב-1948 קלוד שאנון המציא רעיונות חשובים בתחום. הוא נתן שם ל'סיבית' (bit). סיבית היא יחידת מידע. הודעה נדירה נותנת יותר מידע. זה נקרא אינפורמציה עצמית. אנטרופיה מסבירה כמה קשה לנחש הודעה מהמערכת. אינפורמציה הדדית אומ...
קלוד שאנון
קלוד שאנון (1916, 2001) היה מדען אמריקאי חשוב. הוא נחשב לאבי תורת האינפורמציה. תורת האינפורמציה היא חקר איך להעביר ולמדוד מידע. שאנון נולד במישיגן וגדל בעיירה גיילורד. אביו עבד בעסקים, ואמו הייתה מורה. אחרי התיכון עבד כשליח. הוא למד מתמטיקה והנדסת חשמל. בעבודת המאסטר שלו הראה שאפשר להשתמש ב"ביטי...