בלשנות חישובית

בלשנות חישובית (Computational Linguistics) היא תחום מחקר שמשלב בלשנות, מדעי המחשב ובינה מלאכותית. יש לו שתי מטרות עיקריות: תאורטית ומעשית.

ברמה התאורטית מנסים החוקרים להבין מהי שפה וכיצד אנשים לומדים ומשתמשים בה. הם בונים מודלים חישוביים שיכולים לתאר תופעות לשוניות שונות. מודלים אלה נבדקים בעזרת כלים מתמטיים וסימולציות ממוחשבות.

ברמה המעשית מפתחים כלים שנותנים למחשב לטפל בשפה האנושית. לדוגמה: תרגום אוטומטי, מערכות שעונות על שאלות, וזיהוי דיבור. תת־התחום המעשי נקרא גם עיבוד שפה טבעית (NLP, Natural Language Processing). לעומת שפות תכנות, עיבוד שפה טבעית קשה יותר כי היא לא פורמלית כמו קוד מחשב.

שורשי התחום נטועים בבלשנות ובמדעי המחשב. ניסיונות ללמד מחשבים לתרגם החלו בראשית שנות ה־50 של המאה ה־20. הצלחות בפענוח צפנים במלחמת העולם השנייה תרמו לאופטימיות בתחילת הדרך. עם זאת, בעיות קשות והניסיונות הכישלוניים בשנות ה־60 הובילו להפסקה ממושכת במימון ובהתעניינות, והדבר הדגיש את הצורך בגישה חישובית לבעיות לשוניות.

ב־1956 הציע נועם חומסקי לבנות קבוצת חוקים שיצרו את כל המשפטים החוקיים בשפה. רעיון זה הוליד את תורת השפות הפורמליות. חומסקי חילק שפות לרמות לפי כוח ההבעה שלהן, וטען ששפות טבעיות שייכות לרמה השלישית בהיררכיה שלו. מאז ניסיונות לבנות מודלים פורמליים לתחביר ולסמנטיקה נותרו מטרה מרכזית בבלשנות החישובית התאורטית.

המחקר בבינה מלאכותית בשנות ה־50 וה־60 השפיע על הבלשנות החישובית. העבודה התמקדה בלוגיקה ובהסקת מסקנות, ובכך נבנו מודלים מוקדמים לסמנטיקה ולמערכות ראשוניות להבנת שפה.

חוק זיף (1932) מראה שמשפט גדול מכיל מעט מילים שחוזרות הרבה ורוב המילים מופיעות מעט. קורפוס הוא אוסף גדול של טקסטים שמשמש למחקר בשפה. שיטות סטטיסטיות על קורפוסים שימשו מאז תחילת התחום לבעיות מעשיות, כמו זיהוי תווים אופטי, זיהוי דיבור וייחוס מחבר. הקורפוס הגדול הראשון לאנגלית המודרנית היה קורפוס בראון, שפורסם ב־1967.

אף שהשיטות הסטטיסטיות הובילו להצלחות מעשיות, הבלשנות התאורטית נמנעה מהן עד שנות ה־90. זאת כי הגישה החומסקיאנית הדגישה הפרדה בין יכולת לשונית לבין ביצוע בפועל, ולכן ראו בסטטיסטיקה כלי מעשי ולא עקרון יסוד. מאז שנות ה־90 חוקרים תאורטיים החלו לבחון מודלים הסתברותיים, בין היתר בגלל ראיות שמהמח משתמש בשיטות הסתברותיות בעיבוד קוגניטיבי.

בלשנות חישובית היא חקר השפה עם מחשבים. המטרה היא להבין שפה ולבנות תוכנות שעובדות עם מילים.

יש שני כיוונים: להבין איך שפה עובדת, ולבנות כלים שמתרגמים או עונים על שאלות. עיבוד שפה טבעית (NLP) זה השם לתחום שעוסק בתוכנות כאלה.

המאמצים התחילו אחרי המצאת המחשב, בשנות ה־50. הצלחות בפענוח צפנים במלחמה עזרו להתחיל. כשניסיונות התרגום נכשלו, התחום עבר שינויים.

בשנת 1956 הבלשן נועם חומסקי הציע לבנות חוקים שיוצרים משפטים נכונים. זה הוביל למחקר על חוקים פורמליים לשפה.

מחקר בבינה מלאכותית עזר לפתח מודלים שמבינים חלק מהמשמעות במילים.

חוק זיף אומר: מעט מילים חוזרות הרבה, רבים מהמילים חוזרות מעט. קורפוס הוא אוסף גדול של טקסטים. חוקרים משתמשים בקורפוסים ובסטטיסטיקה כדי למצוא דפוסים בשפה. למשל, בבניית מערכות זיהוי דיבור ובתרגום אוטומטי. בשנות ה־90 מדענים התחילו לשלב הסתברויות כדי לשפר את המודלים, כי גם המוח משתמש בהסתברויות.