הנה כמה קרובה בדיקת עובדות אוטומטית למציאות

גיליון עובדות חדש ממכון רויטרס בודק בדיקת עובדות אוטומטית ברחבי העולם - והעתיד נראה מזהיר.

שוחרר היום , הדו'ח מסתמך על ראיונות עם בודקי עובדות ומדעני מחשב, כמו גם סקירה כללית של הטכנולוגיה הקיימת, כדי לפרט כיצד בדיקת עובדות אוטומטית יכולה לשנות את הנוהג בעתיד המיידי.

'בשנה האחרונה ראתה תשומת לב גוברת בקרב עיתונאים, קובעי מדיניות וחברות טכנולוגיה לבעיה של מציאת תגובות יעילות בקנה מידה גדול למידע מוטעה מקוון', כותב עמית המחקר הבכיר לוקאס גרייבס בדו'ח. 'עם זאת, הכרעה באמיתות הטענות הציבוריות והפרדת דעות לגיטימיות ממידע שגוי היא עבודה קשה ולעתים קרובות שנויה במחלוקת... אתגרים שנמשכים אל (בדיקת עובדות אוטומטית).'

בין האתגרים הללו, מציין גרייבס כי בדיקת עובדות אוטומטית לחלוטין אינה קרובה אפילו ליכולת לשפוט אותו עיתונאים מיישמים על בסיס יומיומי. בנוסף, תמיכה מקרנות, אוניברסיטאות ופלטפורמות חיונית בפיתוח יכולות טובות יותר ומערכות בקנה מידה גדול.

אבל הפוטנציאל לאוטומציה גדול - וזה כבר קורה בחלק מחדרי החדשות.

המסמך הקצר מציע סיווג של ההתפתחויות האחרונות בטכנולוגיה ומחקר אוטומטי של בדיקת עובדות:

(בדיקת עובדות אוטומטית) יוזמות ומחקר מתמקדים בדרך כלל באחת או יותר משלוש מטרות חופפות: לזהות טענות כוזבות או מפוקפקות שמסתובבות ברשת ובמדיה אחרת; לאמת באופן סמכותי טענות או סיפורים שיש בהם ספק, או להקל על אימותם על ידי עיתונאים ואנשי ציבור; ולספק תיקונים באופן מיידי, בכל אמצעי תקשורת שונים, לקהלים החשופים למידע מוטעה. מערכות מקצה לקצה שואפות לטפל בכל שלושת המרכיבים - זיהוי, אימות ותיקון.

ארגון הצדקה הבריטי Full Fact לבדיקת עובדות פיתחה כלי שסורק אוטומטית את תמליל התקשורת והפרלמנט לאיתור טענות ומתאים אותם לבדיקות עובדות קיימות. The Duke Reporters' Lab ו-Chequeado בנו שניהם כלים דומים שסורקים תמלילי מדיה לאיתור טענות שניתנות לבדיקה, ומודיעים מאוחר יותר לבודקי עובדות לבדיקות עובדות אפשריות. (גילוי נאות: מעבדת הכתבים עוזרת לשלם עבור פסגת בדיקת העובדות העולמית).

שני הארגונים הראשונים מופיעים בסרטון 'בדוק את זה' השלישי של רשת בדיקת העובדות הבינלאומית:

המתודולוגיה הזו - גירוד אוטומטי ומציאת טענות בתמלילים, ואז התאמתן לספריות של בדיקות עובדות קיימות כמו שתף את העובדות - הוא היעיל ביותר ותוצר של מחקר מוצלח, על פי גרייבס. אבל הטכנולוגיה עדיין לא מושלמת.

עם זאת, עד כה מערכות אלו יכולות לזהות רק הצהרות הצהרתיות פשוטות, טענות חסרות מרומזות או טענות המוטבעות במשפטים מורכבים שבני אדם מזהים בקלות. זהו אתגר מיוחד עם מקורות שיחה, כמו תוכניות דיון, שבהן אנשים משתמשים לעתים קרובות בכינויים ומפנים לנקודות קודמות.

יש לו גם פוטנציאל לפרש לא נכון פרפראזה ושינויים עדינים בניסוח, בתזמון ובהקשר. מעבר לכך, האימות נותר מחוץ לתחום של הכלים האוטומטיים הקיימים כיום לבדיקת עובדות ועדיין מסתמך על בני אדם כדי לנפות בדיקות עובדות פוטנציאליות, כך שיש להצניע את הציפיות, לפי הדו'ח.

בהמשך, אתגר מתמשך לאוטומציה הוא למצוא דרכים להתאים טענות מול מקורות מידע רשמיים, וזה בעצם מה שבודקי עובדות עושים באופן ידני. גרייבס כתב כי חוקרי בינה מלאכותית יכולים לבדוק כיצד מערכות אוטומטיות לבדיקת עובדות יכולות לזהות אילו מקורות נתונים מתאימים לכל טענה נתונה.

אבל זה יוצר בעיות אחרות. נתונים לא תמיד זמינים, וגם כאשר הם זמינים, קשה להבחין נכון מה המשמעות של הנתונים לאמיתות הטענה, כפי שמראה מחקר מודגש אחד:

… דרך לבחון את הטענה ש'לסוטו היא המדינה הקטנה ביותר באפריקה' מבלי לפרש אותה בצורה הגיונית היא לחפש שפה דומה במקור טקסטואלי גדול, או ברחבי האינטרנט כולו. בניסויים שמשתמשים בויקיפדיה כמקור מהימן ומערך נתונים של 125,000 טענות, למשל, צוות בראשות אחד מהתלמידים [של אנדריס ולאכוס] יכול לחזות נכון אם טענה של פרדיקט בודד נתמכת או מופרכת (או אם אין מספיק ראיות) כ-25% מהמקרים (Thorne et al. 2018).

במובנים רבים, סוג זה של תובנה אקדמית הוכיח את עצמו חיוני בסיוע למתרגלים לפתח פלטפורמות אוטומטיות.

'(בדיקת עובדות אוטומטית) היה תחום של שיתוף פעולה הדוק בצורה יוצאת דופן בין חוקרים ומתרגלים', כתב גרייבס. 'התקדמות נוספת תהיה תלויה בעיקר בשני גורמים: המשך תמיכה פיננסית הן במחקר בסיסי והן בניסויים בעולם האמיתי, והתקדמות של קבוצות ממשלה וחברה אזרחית בהקמת תקני נתונים פתוחים'.