לא, סירי, אעשה זאת בעצמי: יש דבר כזה יותר מדי נוחות?

בעידן שבו גוגל יודעת מה אתם מחפשים עוד לפני שסיימתם להקליד, סירי תשאל לרצונכם בשנייה שתרימו את היד, ורובוטים יחסכו לנו את הפעולות הכי פשוטות, לא נשאלה שאלה אחת חשובה: האם כל הנוחות הזו באמת נובעת מצרכים שיקדמו את האנושות, או שמדובר בתהליך עם השלכות מסוכנות? ניתוח G

צ'ארלי צ'פלין / צילומי מסך מתוך הסרט "זמנים מודרניים"
צ'ארלי צ'פלין / צילומי מסך מתוך הסרט "זמנים מודרניים"

"אוקיי, אז נסענו לרוד-טריפ בנורווגיה", מספר לי מ'. "השכרנו שם מכונית היברידית מפנקת, ורציתי לוודא, כמו תמיד, שאני מכיר את כל הכפתורים ונורות החיווי. אני מסתכל על המתג של הפנסים ואני רואה שם מצב של אוטומט וידני. שמתי על אוטומט. אנחנו נוסעים ונהנים, ויש במדינה הזו טונות של מנהרות, אז בכל פעם שנכנסים לטאנל כזה, נדלק לי חיווי של 'אל תדאג, הפנסים דלוקים', וגם, את יודעת, פשוט ראינו את האור נדלק על הכביש. יוצאים מהמנהרה? האור נכבה. תענוג.

"היו גם כל מיני רגעים שהיה מעונן, או שנסענו באזורים של יערות שהיו קצת חשוכים, או כשהגיעו שעות הדמדומים וראינו שמכוניות אחרות נוסעות עם פנסים דולקים, ושמתי לב שנורת החיווי לא נדלקת. כלומר, לא מספיק חשוך כדי שהאורות יידלקו. אז העברתי ממצב אוטומט למצב של ידני. אבל נורת החיווי עדיין לא נדלקה. יכול להיות שאני נוסע בלי אורות? מדי פעם ניסיתי לבדוק: למשל, כשהיינו בתוך מנהרה, העברתי למצב ידני, וראיתי שבמצב הזה אנחנו אכן נוסעים בלי אור! אז החזרתי לאוטומט. אבל גם אז, חוץ ממקרים של חושך מוחלט, התברר שאנחנו נוסעים בלי אורות. מתישהו הייתה אפילו איזה ניידת - אמבולנס קטן או משטרה, אני לא יודע - שהבהבה לנו.

"זה הלחיץ אותי, אז במקום ליהנות מהנוף, כל הנסיעה אני מתחיל לעשות בדיקות של הסוויץ' של האור, מדליק, מכבה, מדליק, מכבה. בשלב מסוים עצרנו באמצע הדרך כדי לבדוק את זה, ישבנו על ספר הרכב עם גוגל טרנסלייט - זה היה כתוב בנורווגית - ובסוף הבנתי שצריך לעשות שם משהו בהגדרות עם המחשב של האוטו, משהו שלא עושים ככה על הדרך, ותכלס, ברכב שכור במדינה זרה, לא אמורים לעשות בכלל.

"זה מאוד תסכל אותי והלחיץ אותי במהלך כל הרוד-טריפ. מדי פעם פשוט הדלקתי ביום אורות גבוהים, כדי שנהיה עם איזה סוג של אור. וכל הזמן הזה אני חושב לעצמי: בשביל מה? בשביל מה?! כל השטות הזאת בשביל לחסוך לי את הטרחה הענקית של להזיז שתי אצבעות ולהדליק את האור ידנית?".

מה שנקרא, יצא שכרו בהפס...

"חכי! יש לי המון סיפורים כאלה. בעיקר עם מכוניות. פעם חבר השאיל לי מכונית מאוד יוקרתית, ג'יפ רציני כזה עם כל החידושים. עכשיו, לג'יפ הזה יש קטע של נעילה, שבכל פעם שאת מתרחקת הוא ננעל אוטומטית, וכשאת מתקרבת הוא נפתח. אבל אני אוהב לוודא שהאוטו נעול, בטח אם הוא של חבר.

"דוח מיוחד" , "בחזרה לעתיד 2"  / צילומים: באדיבות (yes (Dream Works,Universal City Studios
 "דוח מיוחד" , "בחזרה לעתיד 2" / צילומים: באדיבות (yes (Dream Works,Universal City Studios

"אז אני יוצא מהאוטו. נועל עם השלט, וכשאני בא למשוך את הידית כדי לוודא שהוא נעול, האוטו מזהה אותי - כי לפני רגע יצאתי ממנו - ופותח לי את הדלת! אז אני נועל שוב, ואז בא לבדוק שוב, והדלת נפתחת. את מבינה? בעצם הבדיקה אני גורם לכך שהדלת תהיה פתוחה. ואני כמו מטומטם עומד שעה ליד הדלת, לא מסוגל להתרחק כי אני לא יודע ב-100% אם האוטו נעול. מי צריך את זה? למה? בשביל לא ללחוץ שנייה על כפתור? בשביל שלא אצטרך להתמודד עם המחשבה של 'נעלתי או לא'? זה רק מעורר את המחשבה הזאת עוד יותר!".

אז הנה: עדות ממקור ראשון (וקצת חופר, יש להודות) לרגעים האלה שבהם נוחות יוצאת משליטה. אנחנו לא ננסה עכשיו לצאת נגד החידושים שמאפשרים חיים נורמליים לאלה שבאמת צריכים אותם - נניח, הפעלות קוליות כמו אלכסה וסירי עבור אנשים עם מגבלות תנועה - וזו גם לא תהיה עוד כתבה שמראה איך הטכנולוגיה הופכת אותנו למפונקים יותר, ואיך ווייז הורס את יכולות הניווט, ואיך אנחנו לא זוכרים יותר מספרי טלפון וכל הקלישאות הידועות (אף על פי שהתופעות האלה אכן קיימות, משפיעות וטוב שמדברים עליהן). המטרה של השורות הבאות היא לבחון מתי נוחות הופכת מנכס לנטל, מתי ראוי לשאול את השאלה: "רגע, אבל מי צריך את זה?".

השאלה הזו עלתה, לפחות במוחם של כותבת שורות אלה ושל עמיתיה, במהלך צפייה בכנס המפתחים השנתי של אפל לפני כחודש, אותו אירוע שבו מידת החשיבות העצמית עולה ביחס הפוך למידת המודעות העצמית, ושהשנה גרם לכמה מכרים להתפלל שבסוף השידור תעלה כיתובית: "זה לא היה באמת אירוע של אפל, אלא פרק מתוחכם מאוד של 'מראה שחורה'".

בשיאו של כנס המפתחים הזה, אחרי שאחד המפתחים סיפר על כך שבאפל-וואצ' החדש לא נצטרך להגיד "היי סירי" כדי להפעיל את ההוראה הקולית, אלא רק להרים את היד, התייצבה על הבמה בכירה באפל, עלתה על אופני כושר שהוצבו שם, והתחילה לפדל. המטרה הייתה להדגים איך בזמן האימון היא יכולה להתכתב עם אדם אחר שנמצא איתה באיזושהי תחרות (שאמורה לדרבן אותה), ליצור קשר בטאץ' אחד עם המסעדה שאליה היא אמורה ללכת לאחר האימון, לעדכן את מספר הסועדים, לקבל התראה על כך שבתה התינוקת קיבלה את האוכל שלה ולדבר בווקי-טוקי עם בתה הבכורה. הכול, כאמור, תוך כדי אימון כושר. ומהדהדת פה השאלה שצצה מהסיפור בהתחלה: "בשביל מה?". למה אפל חושבים שנרצה לעשות את כל הדברים האלה דווקא בשעה האחת שהקצנו לעצמנו כדי להתחבר לגוף שלנו?

ובכלל, איך קרה שלא למדנו כלום מהטעויות המביכות של האוטו-קורקט? האם אנחנו באמת מוכנים לתת לענקיות הטכנולוגיה לשמור את כל המידע עלינו רק כדי שלא נצטרך לכתוב משפט מלא בזמן חיפוש בגוגל, או חס ושלום להקליד מילה שלמה בווטסאפ? ולמה אנחנו מאפשרים לנטפליקס ללמוד את הרגלי הצפייה שלנו, רק כדי לחסוך לנו את המאמץ - באמת, איזה עולם נורא! - של לחפש תכנים שונים מתוך שפע ההיצע, בלי שיחליטו בשבילנו מה טוב לנו?

במילים אחרות: באיזה שלב בעקומת הפעמון של הנוחות, היא כבר יוצרת לנו עבודה שמבטלת את יתרונותיה, באופן שביטא פרידריך ניטשה ב"כה אמר זרתוסרא", כשכתב על האנשים שעובדים קשה מאוד, קשה מדי, רק כדי "להיטיב לישון"?

עיקרון הפחתת הקונפליקט

"בואי נתחיל מזה שאין באמת דבר כזה, נוחות", מפתיע ד"ר מיכה גודמן, פילוסוף ועמית מחקר במכון הרטמן וראש מדרשת "עין פרת - המדרשה באלון". "זו פנטזיה, מצב בלתי אפשרי. נוחות זה מצב שבו כל הצרכים שלך מסופקים. אני לא רעב, אני שבע. אני לא עייף, אני ערני. אבל לעולם לא יהיה קיים שיווי משקל כי יש שני צרכים אנושיים מנוגדים שמפעילים אותנו: אחד, לא לדאוג לשום דבר; שניים, צורך בעניין, אתגר, הרפתקנות. פנטזיית השלווה זה עולם שיש בו ודאות ופנטזיית ההרפתקה זה עולם שאין בו ודאות. אנחנו מפנטזים על שלווה, אבל כשהיא מגיעה, אנחנו חווים שעמום. לכן מצב של נוחות תמידית בלי אתגרים זה גיהינום. המסורת היהודית מנסה למזג את האיזון בשישה ימי עבודה ובשבת מנוחה, אבל עולם שהוא רק שלווה הוא עולם מנוון שאנחנו לא רוצים לחיות בו, ממש כמו שעולם של סטרס הוא גם עולם קשה".

אז לפי השיטה שלך, אפשר להירגע: אף פעם לא נוכל לחוות את הגיהינום שהוא נוחות מוחלטת. זה כמו להגיע לאפס המוחלט.

"נכון. השאיפה שלנו לנוחות היא ביולוגית. אנחנו תמיד נשאף למינימום אנרגיה, אך לא תהיה נקודת סוף".

"נוחות, ברמה הרגשית, זה משהו שאפשר להגדיר באמצעות הפחתת קונפליקט", מסביר ד"ר אילן טל, פסיכיאטר מומחה, מנהל מרכז טל לתמיכה רגשית ונפשית. "הרבה דברים שאנחנו עושים או לא עושים, יש זרמים שונים בתוכנו שמלווים סיטואציות והם בדרך כלל קונפליקטואליים. למשל, רבתי עם הבת זוג ועכשיו מתחבקים. אז יש כעס וגם רצון להשלים. רוב הדברים שלנו מתנהלים בסוג של קונפליקט וברגע שאני יכול להמעיט את הקונפליקט, אז יותר נוח לי, כי רמת ההשקעה הרגשית שלי יותר נמוכה. אם אני כועס, יותר נוח לי לכתוב מאשר לדבר פנים מול פנים, צריך לגייס פחות כוחות נפשיים. אז רמת הקונפליקט יותר נמוכה".

וזה משהו שיכול להשתבש?

"בעידן הנוכחי הרבה דברים הם דברי נוחות, ויש למישהו אינטרס שנשתמש בנוחות הזו, שהופכת להיות גם הנאה או בידור. לצורך העניין, בכל רכישה דיגיטלית אנחנו מדברים על חווית הקניה. זו חוויה שמעבר לנוחות: היא נעימה, ייחודית, מתגמלת. העניין הוא שהמקומות האלה מושכים חלק מהאוכלוסייה לשימוש לרעה בנוחות הזו. כלומר, אנחנו כבר לא משתמשים בדבר שרכשנו למטרת הצורך הראשוני שלו. למשל, כשיש לי טלפון נייד ואני יכול להתקשר לכל אחד בכל רגע נתון, זו נוחות; אבל ברגע שאני מתקשר לאנשים כדי לבטא את הרגשות שלי שוב ושוב, אני מוותר על הוויסות הרגשי שלי ומתקשר לאחרים רק כדי להתווסת. בסופו של דבר תתפתח פה תלות.

"עכשיו, יש ויכוח בין אנשי המקצוע מתי התלות הזו היא שינוי מהותי באופן שבו אנחנו מנהלים את החיים ומתי התלות הזו גורמת לנסיגה. מתי השימוש מוסיף לתפקוד שלנו ומתי פוגע בו. לכן, אגב, רק השנה הכניס ארגון הבריאות העולמי את משחקי הווידיאו להגדרה של התמכרות. הם עשו את זה כשראו שאחוז נמוך מהמשתמשים מגיע למצב שבו המנהג משתלט עליו. זה בסוף הקריטריון, כי אז ברור שיש אפשרות לפתח התמכרות, תלות, שימוש לרעה. כל אלה נמצאים באזור שבו אני מעדיף משהו אחר אבל אני לא מצליח לשלוט בזה, אני לא מצליח לנהוג אחרת. וזה בסופו של דבר ההבדל: כי אם אני מתקשר לחבר, זה בשביל ליהנות לדבר איתו ולא כדי להזדקק לו או כדי להיות תלוי כדי להתווסת. וכשהטכנולוגיה מאפשרת לי את התלות הזו, אני מתנהג בצורה שנוגדת את העקרונות שלי ואפילו את הרצון שלי - אני לא רוצה, ועדיין עושה".

"אני לא מודאג, כחברה, שיהיה לנו יותר מדי נוח", מרגיע ד"ר אורי שליט, מומחה לבינה מלאכותית, משין לרנינג ודיפ לרנינג מהטכניון. "כושר, למשל, זו דוגמה מצוינת: יש היום הרבה יותר פנאי כי פיזית אנחנו לא מתאמצים בשביל שום דבר, לפחות לא בעולם המערבי. אז כפתרון לזה נמצא האתגר של הכושר. זה לא באמת שכולם שוקעים בחוסר מעש או בבטלנות מוחלטת, הדחף האנושי הוא לפעול ולאתגר את עצמנו. אני מאמין שככל שהטכנולוגיה תתפתח, היא תשנה את החברה בדרכים שאנחנו לא יודעים כרגע לדמיין. אנשים יחפשו דרכים אחרות לאתגר את עצמם. הרי המון דברים שנראים לנו היום מובנים מאליהם, נראו לנו לפני 20-10 שנה יותר מדי נוחים - כמעט מגוחכים".

"וול־אי" / צילום: באדיבות (yes (Disney Pixar
 "וול־אי" / צילום: באדיבות (yes (Disney Pixar

פרופ' דורון פרידמן, ראש המעבדה למציאות מתקדמת בבית ספר סמי עופר לתקשורת במרכז הבינתחומי הרצליה, מציע להסתכל על הנושא ברמה אבולוציונית: "המוח צורך אנרגיה ברמות עצומות, כך שטבעי שננסה לפתח טכנולוגיות שיורידו מאיתנו עומס. לפי הנרטיב הזה, שהוא סביר, אך ללא תודעה מדעית, סביר גם שהמוח ימציא שיטות יותר משוכללות, אך לא יתנוון, אלא ימשיך להיות עסוק באותה מידה בדברים אחרים".

כמו למשל?

"פעם, לחשב מספרים ולדעת את לוח הכפל נחשב לכישורים חשובים, והיום אנחנו כבר לא צריכים את זה. ניווט - אז בסדר, אצל הדורות שאחרינו המפה המנטלית של כבישי ישראל תהיה יותר רדודה, אבל היא זמינה, המכשירים סביבנו, אז מה זה משנה אם זה בנוירונים שלנו בצריכה מטבולית, או מועבר לאנרגיה חשמלית מסביבנו? זה לאו דווקא מזיק.

"בתמונה הגדולה אנשים חוששים מהשפעות, אבל המשימות שמנהלת עבורך סירי הן לא נורא מסובכות תרבותית. תחשבי על הדורות הקודמים: כמי שעוסק בידע ובמחקר, עד כמה הטכנולוגיה הפכה את העולם הזה - אני מת על ספרים ואוהב ספריות, יש בזה משהו רומנטי להחזיק ספר ביד, אבל הדרך שבה אני עושה מחקר היום כל-כך הרבה יותר טובה, מכל הבחינות, מאשר לחפש בין הספרים ובין המדפים. אני דור ותיק ואני נהנה לשבת על שפת הים ולקרוא ספר, אבל אם יקראו לידי בטאבלט אני לא יודע אם זו תהיה הטרגדיה של האנושות. אנחנו בליבה של טרנספורמציה".

"אבולוציה זה מצב שבו האדם מתאים את עצמו לסביבה, ואילו טכנולוגיה זה מצב שבו האדם מתאים את הסביבה שלו אליו", מעיר גודמן. "התהליך האבולוציוני הוא מאוד איטי והתהליך הטכנולוגי הוא מאוד מהיר, והא-סימטריה הזו באה לידי מצב, למשל, שבו בני אדם, יצורים שמשתוקקים לקשר, מנוונים את יכולת התקשורת. התשוקה שלנו לא תשתנה, אלא אם כן בעתיד נהנדס את הגנים שלנו, וזו הסיבה לפרדוקס שאנשים מרגישים יותר בודדים ככל שיש יותר אמצעים לתקשר. אנחנו לא משתוקקים לחיים נוחים, אלא לקשר, וקשר הוא אף פעם לא נוח, הוא תמיד קשה. אנחנו הכי רוצים אותו, ועם זאת הכי קשה לנו איתו. והדיגיטל מאפשר לנו לברוח מזה".

"אם זה מזיק או לא? נדע אולי עוד 50 שנים", סבור טל. "עד עכשיו זה עשה שינוי, לא הזיק. אצל חלק מהאנשים זה הפך להיות פער יותר גדול בתלות בנוחות, שאולי בלי זה, היו מפתחים תלות בדברים אחרים. כי זה אופי ולחצים שנמצאים בעולם שלך, גנטיקה, הכול נכנס כאן. זו תוצאה מולטי-פקטוריאלית, היא לא פקטור אחד. הדיגטליות לא מורידה את הצורך שלנו בתקשורת עם האחר, אז אולי יהיה לנו יותר נוח בדברים מסוימים, אבל הצורך לא ישתנה. ושם אגב תמיד יתקיים קונפליקט שאותו אי אפשר יהיה לחסוך: בין הצורך שלנו בתקשורת, לבין הצורך להיות לבד; בין תלות לעצמאות, בין דחייה לקבלה. כל- כך הרבה דברים שהעולם הדיגיטלי לא יפתור. אולי ינמיך את המאמץ, אך לא יפתור. במובן הזה, לנוחות הדיגיטלית יהיה גבול כשהיא תפריע לתקשורת. כלומר, גם אם כל היום נדבר עם מכונה, יהיה חסר לנו הקשר האישי, אלא אם כן המכונה ביום מן הימים תצליח להיות גם רגשית. אולי מה שאני אומר עכשיו זה שטויות, ועוד 200 שנה יגידו שאנחנו רק צריכים מישהו שהוא דמוי בן אדם. אבל נכון להיום, לחברה שלנו יש צורך אדיר ובלתי פוסק וחשוב בדמות אנושית אחרת לתקשורת איתה".

מוכנים לטרייד-אוף?

גודמן, היחיד מבין המומחים שעמם שוחחנו שרואה בעיה אמיתית במרדף אחר נוחות - גם אם הוא מסכים שמדובר בהכרח אנושי - טוען שמדובר בטרייד-אוף ותוהה בקול רם לגבי המחיר.

"אחד המאפיינים של הטרייד-אוף הזה הוא שהוא בלתי נראה", הוא טוען. "זה מוסיף משהו נוצץ ובולט לחיים שלנו, אבל מה שנלקח מהחיים שלנו הוא תמיד איטי ונסתר מהעין. השעונים המכניים הראשונים, אף על פי שהם הומצאו אחרי המהפכה התעשייתית, נתנו המון זמן ויעילות וקיבלנו כוח; אבל לפני כן, היו לנו מיומנויות של להתעורר עם הנץ החמה ולהיות מודעים לגובה השמש בשמיים או לצל. המרנו מיומנויות טבעיות בכוח. כך, כפי שטוענים לעייפה, גם עם ה-GPS והזיכרון של מספרי טלפון.

"אבל ישנן מיומנויות שהן לא רק נייס-טו-האב, אלא הן חלק ממי שאנחנו כבני אדם. אמפתיה, למשל, היכולת של בני אדם לא רק להבין מה שאנשים אחרים מבינים, אלא להרגיש את מה שהם מרגישים. פרופ' שרי טירקל, הסוציולוגית המפורסמת מ-MIT, טוענת שבשנים האחרונות יש נפילה של 40% ביכולות האמפתיה של בני נוער. למה? לא כי הטכנולוגיה הרסה לנו את האמפתיה, אלא מפני שזו מיומנות נרכשת שאנחנו פשוט לא לומדים אותה, כי המוסד שבו אנחנו לומדים לחזק את שריר האמפתיה שלנו הוא השיחה פנים מול פנים, הרגע שבו בני אדם נותנים אחד לשני את מלוא תשומת הלב שלנו. האם אנחנו מוכנים לטרייד-אוף הזה? ואם כן, מה יקרה בטכנולוגיות שמעבר לפינה? האפליקציה שתקרא פנים, שפת גוף, טון דיבור? אם פתאום הכול יהיה מלאכותי ונאבד את המיומנות שלנו לקרוא אחד את השני, זה כבר יהיה ניוון של עצם האנושיות שלנו. האם אנחנו רוצים את הטרייד אוף הזה?".

פרופ' פרידמן דווקא לא מודאג מאובדן של מיומנויות: "כחוקר, אני לוקח כל מחקר בערבון מוגבל. אני לא אשתכנע ממחקר אחד שיצירתיות בילדים יורדת, ובכלל, יצירתיות היא גם אוברייטד. אני חושב שרוב הזמן, רובנו לא יצירתיים, רוב הזמן אנחנו על רוטינה. אדרבא, אם נעביר את הפעולות הרוטיניות לטכנולוגיה, אולי נתפנה להיות יצירתיים במקומות אחרים. בימינו יש הרבה מאוד כוח עבודה שמבצע פעולות רוטיניות מהבוקר עד הערב. אז נכון, אולי זה יוביל לאובדן תעסוקה ולמשברים חברתיים, אבל בראייה היסטורית, אם רובוטים יחליפו אנשים, אז בדורות הבאים כל אותם מיליארדים ימצו יותר ויותר יכולות אנושיות".

גודמן לא ממהר לוותר על היתרונות הטכנולוגיים, אבל הוא כן מציע להיות עם האצבע על הדופק. וכן, עם האצבע, לא צמיד חכם או חיישנים אחרים שמצמידים לגוף.

"הטכנולוגיה מעניקה לנו שירות טוב, זה שינוי דרמטי בעולם והוא לא רק רע", אומר גודמן. "בעבר, בכל מסגרת פיאודלית או קפיטליסטית תמיד היה מעמד של אדונים ומשרתים. עכשיו כולנו נהיה מעמד שמקבל שירות מהטכנולוגיה. היא תקרא את שפת הגוף ואת הקול שלנו, אבל גם תשתלט יותר ויותר על התודעה שלנו ואני חושב שאנחנו צריכים ללמד את עצמנו להשתמש בה באופן מודע. כלומר, שכל שימוש טכנולוגי יבוא כתוצאה מהחלטה שלי, שאני אהיה מודע לה, ושהיא לא תהיה ברירת המחדל שלי".

ד"ש מקיימברידג' אנליטיקה

"הייתי נזהר מלומר בשלב הזה מה טוב ומה רע", אומר מולי אדן, לשעבר סגן נשיא אינטל העולמית, נשיא אינטל ישראל וכיום יו"ר הוועד המנהל של אונ' חיפה. "פעם היינו נבחנים על ידע, אבל היום ידע הוא בעל משמעות נמוכה יותר, ויש להכשיר את התלמידים להסיק מסקנות, לבוא עם תובנות. ככל שהמכונות הלומדות יחליפו תפקידים המבוצעים היום בידי בני אדם, נבחן על מה שהמכונות לא יודעות לעשות במקומנו.

"אחת הבעיות במשין לרנינג ובדיפ לרנינג, היא שעל אף שאנחנו יכולים להשיג תוצאות טובות יותר, אנחנו לא מבינים מהו האלגוריתם שבו משתמשת המכונה הלומדת כדי להגיע לתוצאות. למכונות הלומדות, בניגוד לאנשים, אין ערכים ואין שיקולים אתיים, ובמידה שמזינים אותן בשלב הלימוד בנתונים מעוותים (בכוונה תחילה) או בנתונים חלקיים (שלא בכוונה) - יכולים להיווצר עיוותים, כמו מכונות לומדות 'גזעניות' או כאלה עם העדפות שאותן הן למדו מהנתונים הלא מאוזנים.

"שמעון פרס אמר לי פעם 'טכנולוגיה בלי אתיקה היא רוע ואתיקה בלי טכנולוגיה היא עוני', וזו הסיבה שמחובתנו לשלב בין השניים. אם תפתחי טכנולוגיה בלי ערכים, את עלולה להגיע לתוצאות הרסניות, ואם המניע שלך הוא ערכים מעבר לכל דבר אחר - צדדים עסקיים, למשל - את עלולה לפשוט רגל. יש מה לעשות, השאלה אם נחכים לעשות את זה".

"בתוכניות לימוד שלנו יש שימוש אתי בדאטה", אומר ד"ר שליט מהטכניון. "אנחנו מלמדים את הסטודנטים ללכת לצד הטוב, או לפחות להיות מודעים לכוח שמקבלים. לא חסרות דוגמאות שליליות, בעיקר חיזוק של הטיות שליליות קיימות או של אפליה קיימת, שהתחבאה בכל מיני נתונים והמשין לרנינג הגבירה את העיוותים האלה.

"עם זאת, הסיבה שאני בתחום היא כי אני חושב שאפשר לעשות פה גם דברים טובים. קחי את הדוגמה של סירי, למשל: אם הטכנולוגיה הזו תעזור לך לדבר עם סירי על הבעיות הרפואיות שלך, זה יהיה נהדר. אי אפשר להפריד בין שני התחומים ואם אפל מוכנים להשקיע המון כסף בטכנולוגיה שתהפוך להיות שימושית להמון אנשים באופן הרבה יותר מעמיק, אז זה לא רע בכלל. כרגע אין טכנולוגיה שיודעת לייצר שיחה פתוחה. במוקד שירות לקוחות השיחות והשאלות ברורות, אז את זה יודעים לעשות, אבל שיחה פתוחה זו טכנולוגיה שעדיין לא קיימת. אם היא תפותח, היא תהיה שימושית לעוד דברים, חלקם טובים וחלקם רעים".

מולי אדן מבקש להזכיר: "ברגע שאני צורך שירותים כאלה של פרסונל אסיסטנט, המכונה יודעת עליי הכול. לא רק מה שאני עושה עכשיו, אלא גם מה הכוונות שלי לטווח ארוך. ומאחורי הדאטה שלה נמצאת חברה רב-לאומית שהשאלה היא מה יעשו עם הנתונים האלה ואיך ישתמשו בהם. ברור שזה עוזר לי לחיות את החיים האלה, אבל בתמורה, אני מוותר על חלק מהחיים שלי.

"בשלב מסוים, אם לא תיכנס רגולציה שתגדיר מה מותר ומה אסור, ניפגש שוב בפרשות כמו קיימברידג אנליטיקה. זו דוגמה מצוינת למשין לרנינג שלמדה את ההעדפות והדאגות של אנשים, ואיך ולהזין אותם באינפורמציה מגמתית כדי להטות את דעתם כך שיצביעו למועמד מסוים. אם חשוב לך ביטחון, היא תשלח לך רק כתבות על ביטחון. כנ"ל כלכלה או סביבה. ואז, בלי שאת מודעת לזה, התוכנה תסיט את תשומת ליבך למועמד מסוים. כשמדובר בכמה מיליוני אנשים, ובמועמד מסוים שיש לקבוצות בעלות כסף והשפעה רצון להניע אנשים לבחור בו על-ידי שימוש פסול בטכנולוגיה, זה כבר מתחיל לשלוט בחיים שלנו".

למיטיבי לכת | המלצות קריאה

הפראנואיד

"משהו כיפי לכאורה שלא אחזור עליו לעולם" (1996, הוצאת הקיבוץ המאוחד) היא מסה משעשעת מאת דיוויד פוסטר וואלאס, המתארת את תלאותיו הנפשיות של הסופר, שנמצא על ספינת תענוגות. החוק המרכזי בשיט הוא שאסור לעשות שום דבר בעצמך, אלא אך ורק "ליהנות" מכך שעובדי הקרוז (הבלתי נראים רוב הזמן) עושים הכול עבורו. 

החברתית

אחרי "במרחק הליכה" (2004, הוצאת בבל), מאמר העוסק בקניון כמרחב סטרילי המבקש להדחיק את העניים, ובעצם מתאר את הביטוי המרחבי של היחסים בין המעמד הבינוני גבוה למעמדות הנמוכים, פרסמה ארנה קזין את "על הנוחות" (2008, הוצאת בבל). החיבור מחדד את התזה ועוסק ביחסים "בין תאבי הנוחות שיכולים להרשות אותה לעצמם ובין אלה שעמלים למענם כדי לעשות להם את החיים נוחים". אחת ממסקנותיה: "אנחנו מבקשים ללא הרף להשקיט את אי-הנחת הקיומית - זה הדחף שמניע אותנו, זהו טעם החיים, אבל את אי-הנחת משקיט רק המוות".

הסאטירי

הסיפור The Veldt מאת ריי ברדבורי פורסם ב-1950 (ואח"כ בקובץ "האיש המקועקע"), ומתאר בית חכם שעושה הכול - מבישול וניקיון, ועד לחדר מיוחד שמחנך את הילדים באמצעות מציאות מדומה, תוך שהחדר קורא את מחשבותיהם הכמוסות ביותר. כשהילדים עושים בחדר שימוש לרעה, התוצאה מתבררת כקטלנית.