האם PolitiFact מוטה? ניתוח התוכן הזה אומר שלא

זו ביקורת ש PolitiFact כבר מזמן רגילה לשמוע.

'PolitiFact עוסקת במידה רבה של הטיית בחירה', ה-Weekly Standard כתב ב-2011 . 'בודקי העובדות מכוונים ברובם המוחלט לפולני ימין ופולני ימין' נכתב כותרת באפריל 2017 מ-NewsBusters, אתר שמטרתו לחשוף ולהילחם ב'הטיה תקשורתית ליברלית'. יש אפילו בלוג שלם מוקדש להראות את הדרכים שבהן PolitiFact מוטה.

פרויקט בדיקת העובדות, שבבעלותו של פוינטר, דחה את ההאשמות הללו, והצביע על השקיפות שלו. מֵתוֹדוֹלוֹגִיָה ו מימון (כמו גם חברותה ברשת הבינלאומית לבדיקת עובדות) כהוכחה שאין לה שכנוע פוליטי. ועכשיו, ל-PolitiFact יש מחקר אקדמי כדי לגבות אותו.

הדו'ח, פורסם על ידי חוקרים באוניברסיטת וושינגטון ואוניברסיטת קרנגי מלון במארס, מנתח את השפה ש-PolitiFact פרסמה על הדמוקרטים והרפובליקנים כדי לראות כיצד הארגון ניסח דוברים משתי המפלגות. זה כולל גם ניתוח חיצוני שמשווה את האופן שבו PolitiFact מסגרות סוגיות לאופן שבו התקשורת בכלל עושה.

הדו'ח, ש-PolitiFact שלח לראשונה לפוינטר, השתמש בניתוח טקסט אוטומטי של כ-10,000 מאמרים החל משנת 2007, כאשר רובם בין 2010 ל-2017. בחלוקה לפי מפלגות, יש בערך פי 1.4 מאמרים על רפובליקנים מאשר דמוקרטים. הנשיא לשעבר ברק אובמה היה הדובר הכי מכוסה במדגם, עם כ-600 מאמרים.

בהתחשב בסולם שש הנקודות של PolitiFact, שנע בין 'נכון' ל'מכנסיים על האש!', יש חלוקה די שווה של הרייטינג. בחלוקה לפי מפלגות, פרויקט בדיקת העובדות מקצה בדרך כלל יותר דירוגים אמיתיים לדמוקרטים ודירוגים כוזבים יותר לרפובליקנים, כאשר הוא מותאם להבדלים במספר המאמרים המתפרסמים על כל קבוצה.

(צילום מסך)

עבור פוליטיקאים ספציפיים, הדירוג הנפוץ ביותר עבור אובמה הוא 'בעיקר נכון' בעוד שהדירוג של דונלד טראמפ הוא 'שקר', לפי הדו'ח. עם זאת, כאשר מחולקים עוד יותר על ידי תגי הנושא המובילים בכל מאמר, נראה שהסיקור של PolitiFact מאוזן יחסית.

(צילום מסך)

שלושת הנושאים המובילים ביותר של PolitiFact הם כלכלה, שירותי בריאות ומיסים - כולם מחולקים בערך באופן שווה בין דוברים רפובליקנים לדמוקרטים. והחריגים, כמו הגירה ורובים, יכולים להיות קשורים יותר לכמה כל מפלגה מדברת על הנושאים האלה ולא איך PolitiFact ממסגרת אותם, לפי הדו'ח.

'הפיצול בתוך הנושא דומה לחלוקה הכוללת בין הצדדים', נכתב. 'ככאלה, איננו מצפים שכל הבדלים בשפה שאנו מוצאים בין שני הצדדים יתבססו חזק בתוכן המאמרים'.

אז החוקרים פירקו כל מאמר נוסף לפיהם המילים היו בסבירות הגבוהה ביותר לחזות נכונה סיפור על רפובליקני או דמוקרט. לשם כך, הם השתמשו בטכניקות סטטיסטיות ובמודלים של עיבוד שפה טבעית, והסירו כל ציטוטים או טקסט אחר שהכותב לא כתב.

בהתחשב בניתוחים הקודמים של הדו'ח, מה שהם מצאו היה די לא מפתיע - מאמרים על רפובליקנים היו קשורים למילים כמו 'רפובליקאי' ו'שקר', בעוד שמאמרים על דמוקרטים היו קשורים ל'דמוקרטים' ו'נכון'.

(צילום מסך)

כאשר החוקרים הסירו מילים כלשהן הקשורות בבירור למי מהצדדים, הם גילו שסיפורים עם דוברים דמוקרטיים נחזו בדרך כלל על ידי מילים כמו 'עזרה' ו'חשוב', בעוד שסיפורים על רפובליקנים ניבאו על ידי 'פוקס' ו'לפי'.

(צילום מסך)

אז מה זה אומר על ההטיה לכאורה של PolitiFact? לא הרבה, לפי החוקרים.

'חלק זה של הניתוח שלנו לא מוצא הבדלים ברורים בשפה המשמשת לתיאור יחידים מכל צד באופן שמראה כל אינדיקציה להטיה או יחס שונה', כתבו.

בניתוח החיצוני שלהם, החוקרים לא הגיעו למסקנות שונות. הם הריצו סיווג סנטימנט המבוסס על רשימות מוגדרות מראש של מונחים חיוביים ושליליים וגילו ש-PolitiFact משתמש במילים שליליות וחיוביות יותר עבור רפובליקנים, מאמרים עליהם נטו להיות ארוכים יותר בממוצע.

(צילום מסך)

'מניתוח פשוט זה, אנו מסיקים שאם יש הבדל בסנטימנט המועבר בין ניתוח PolitiFact של דמוקרטים לעומת רפובליקנים, הוא בא לידי ביטוי בעדינות או בדרכים ספציפיות לתחום', נכתב בדו'ח.

יש כמה מגבלות. בגלל חוסר האיזון של מאמרים על רפובליקנים ודמוקרטים, סיווג הטקסט יכול היה לחזות רק בדיוק של 58 אחוז מפלגה מקבוצת מילים. החוקרים גם לא ביצעו ניתוח סנטימנטים מעמיק יותר על התוכן של PolitiFact, חלקית בשל העלות הגבוהה וחלקית בשל הפוטנציאל של כותבים אנושיים להגיב באופן סובייקטיבי לדירוגי בדיקת עובדות.

אבל PolitiFact מרגישה טוב עם מה שהדוח אומר.

'זה בהחלט מחזק את האופן שבו אנחנו מנסים לפעול ולשאת את עצמנו. אז כמובן שאנחנו שמחים לראות שאין דגלים אדומים', אמר המנכ'ל אהרון שרוקמן בהודעה. 'אבל בתור בודק עובדות שבדק הרבה מחקרים, אנחנו גם לא צריכים לתת למחקר הזה יותר משקל ממה שהוא שווה. זהו מבט אחד על השפה והמילים שאנו משתמשים בהן כדי לכתוב את בדיקות העובדות שלנו.'

'אנחנו לא יכולים להפסיק לחשוב על דרכים לשפר את האמינות שלנו עבור כל הקהלים.'

הדו'ח הוא חלק מ מענק של 50,000 דולר שקרן נייט העניקה ל-PolitiFact ביוני האחרון כדי לשפר את האמון בבדיקת עובדות ולהגיע לקהלים סקפטיים. בסתיו שעבר נסעו חברי ארגון בדיקת העובדות לשלוש מדינות שנשלטו על ידי מצביעים שמרנים וקיימו פורומים, פגישות אחד על אחד ואירועים קהילתיים כדי להגיע ולענות על שאלות. PolitiFact שכרה גם שני פוליטיקאים לשעבר (אחד מכל מפלגה) למתוח ביקורת על עבודתה.

המאמצים הללו היו בחלקם בהשראת סקר של Rasmussen Reporters מספטמבר, שמצא כי 88 אחוז מתומכי טראמפ אינם סומכים על בדיקת עובדות תקשורתית. וניתוח השפה של PolitiFact נראה כמו דחיה טובה לממצאים אלה.

'הניתוחים שלנו לא הצליחו לזהות הבדלים שיטתיים ביחס לדמוקרטים ולרפובליקנים במאמרים של PolitiFact', נכתב במסקנת המחקר.

אבל באימייל המשך לפוינטר, נואה סמית', אחד ממחברי הדו'ח, הוסיף אזהרה לממצאים.

'זה יכול להיות בגלל שאין באמת מה למצוא, או בגלל שהכלים שלנו לא מספיק חזקים כדי למצוא את מה שיש שם', אמר.