תורת האינפורמציה

תורת האינפורמציה היא ענף במתמטיקה שימושית. היא עוסקת במדידה ובהעברה של מידע דרך ערוצים תקשורתיים. התחום מבוסס על הסתברות ומציג גבולות תאורטיים לקצב שבו אפשר לשלוח מידע ללא שגיאות.

המדען קלוד שאנון פרסם ב-1948 את העבודה היסודית על התחום. הוא הציג את ה'סיבית' (bit) כיחידת מידע והגדיר את האנטרופיה, שמייצגת את כמות הביטים הממוצעת שנדרשים כדי לקודד מקור מידע. שאנון הראה שקיים מושג של "קיבולת ערוץ" (Channel capacity). אם קצב השידור נמוך מקיבולת הערוץ, ניתן להשיג תקשורת אמינה באמצעות קידוד מתאים.

אינפורמציה היא מושג מופשט, ולכן מבחינים בהגדרות מדידות. מידע של הודעה m מוגדר כ-I(m) = -log2 p(m). זאת אומרת: הודעה נדירה (p קטן) נושאת יותר מידע.

אנטרופיה מודדת כמה קשה לנחש איזו הודעה תיבחר ממערכת. זו ממוצע האינפורמציה העצמית של ההודעות. כשכל ההודעות שוות בהסתברות, האנטרופיה מקסימלית ושווה ל-log2 של מספר האפשרויות.

אנטרופיה משותפת מתארת את מידת אי-הוודאות של שתי משתנות יחד. אנטרופיה מותנית אומרת כמה נשאר לנחש על X אם יודעים את Y. מכלל השרשרת נובע: H(X,Y)=H(X|Y)+H(Y).

אינפורמציה הדדית מודדת כמה ידיעת משתנה Y מקטינה את אי-הוודאות על X. אפשר לכתוב: I(X;Y)=H(X)-H(X|Y). היא סימטרית ולכן I(X;Y)=H(Y)-H(Y|X).

במחקרים על תאים עצביים מחשבים אנטרופיות ואינפורמציה ההדדית. כך מודדים כמה סוג גירוי מספר על דפוסי הירי של תא. בדוגמה ניסויית נמדדו H(X)=1.6838 bits, H(X|Y)=1.2622 bits ו-I(X;Y)=0.4216 bits.

הרעיונות של שאנון השפיעו על קידוד, דחיסה, תיקון שגיאות ותקשורת ספרתית. תחומים מודרניים שמשתמשים בטכניקות אלה כוללים בינה מלאכותית, קריפטוגרפיה, ביולוגיה, מדעי המוח ולשנות. תורת האינפורמציה מתמקדת בכמות המידע ולא במשמעותו, שתלויה בהבנה האנושית ובקשרים אחרים.

תורת האינפורמציה עוסקת במדידה ובהעברה של מידע. מידע הוא מה שמקטין את חוסר הוודאות.

ב-1948 קלוד שאנון המציא רעיונות חשובים בתחום. הוא נתן שם ל'סיבית' (bit). סיבית היא יחידת מידע.

הודעה נדירה נותנת יותר מידע. זה נקרא אינפורמציה עצמית. אנטרופיה מסבירה כמה קשה לנחש הודעה מהמערכת.

אינפורמציה הדדית אומרת כמה ידיעת דבר אחד עוזרת לנחש דבר אחר.

מדענים בודקים כמה גירוי עוזר לדעת אם תא עצב יורה. הם מחשבים כמה ביטים של מידע התקבלו.

הרעיונות האלה עוזרים לקומפרסיה, לתיקון שגיאות ולקשר בטלפון ובאינטרנט. הם גם עוזרים במדע ובמחשב.

התורה לא עוסקת במשמעות המילים. משמעות נוצרה על ידי אנשים ומוחם.