במאמר הזה אעסוק בסיכון הקיומי שהAI מציב בפנינו. בחלק הראשון אנסה לתאר מה כל כך מפחיד בAI העתידי, בחלק השני נדבר על כמה קשה להבטיח שהוא לא יפגע בנו - ובחלק האחרון נעסוק בהצעות לפתרונות.

בואו נתחיל.
‍

חלק 1: סכנת אמת

"מבין הדרכים השונות למות, הדרך הסבירה ביותר היא ש-AI יהרוג אותי"
פול כריסטיאנו, עד לאחרונה שימש כחוקר ב-OpenAI

מדברים על סכנות, לא מדברים על ה-סכנה.

וודאי כבר שמעתם שמהפכת ה-AI כוללת גם סיכונים. לאחרונה משרד המדע ערך כנס בנושא רגולציית בינה מלאכותית. הרבה נושאים חשובים עלו: החל מבעיית הפוסט-אמת, שתחוויר לעומת עידן התוכן האינסופי בפניו אנו ניצבים. דרך הפרטיות שמתה מזמן, אך תתהפך בקברה כשהבינה המלאכותית תכיר אתכם טוב מאיי פעם. בעיה נוספת היא גזענות וסקסיזם, העלולות לעבור בירושה מאיתנו הישר לבינה המלאכותית.

כולם נושאים חשובים וראויים, אך נושא אחד נשכח מהכנס. מבין הסכנות שהוזכרו, שכחו להזכיר את ה-סכנה. 

הסכנה שהAI יכחיד את האנושות.

כן. קראתם נכון.
מגוחך? תנו לי עוד כמה שורות.
‍

אנשים רציניים מאוד עם דאגות רציניות מאוד

פול כריסטיאנו מהציטוט למעלה הוביל את הצוות שאמור לוודא שה-GPT לא יזיק לבני אדם

ג'פרי הינטון, אחד מחוקרי הבינה מלאכותית הגדולים בעולם, התפטר החודש מגוגל על מנת לדבר בקול ברור נגד המשך ההתקדמות בתחום.

סטיוארט ראסל הוא פרופסור ידוע למדעי המחשב שכתב ספר שמדבר על ההשלכות הקטסטרופליות בהמשך התקדמות התחום.

וכמובן, רואה השחורות הראשי שמשוכנע שכולנו אבודים הוא חוקר הAI אליעזר יודוקבסקי. 

אלה שמות נבחרים אותם קראתי ולהם הקשבתי, במידה רבה אני מבסס עליהם את המאמר הזה. חוץ מהם ישנם מאות מומחים עם חששות דומים.
‍

‍

ממה הם כל כך מפחדים?

יש מספר סיבות שדווקא בני אדם שולטים בעולם. המרכזית היא שאנחנו חכמים יותר מכל השאר. יש חיות מהירות, חזקות ואמידות מאיתנו - שלא מהוות עלינו שום איום, אפילו לא קל שבקלים.

האדם מסתכל על ציפורים עפות וממציא מטוס, מסתכל על עטלפים מנווטים וממציא את הסונאר. האינטיליגנציה של האדם היא לא רק גבוהה - היא אינטליגנציה כללית. 

בהתאם, שני מונחים מרכזיים מנחים את השיח על "עוצמת" האינטליגנציה המלאכותית:

1. superintelligence: אינטליגנציה על-אנושית. ישות המציגה יכולת הגבוהה מזו של בני אדם בסדרי גודל. לדוגמא: stockfish, הAI שמשחק שחמט, יכול לנצח לגיון של שחמטאים אנושיים מבלי להניד עפעף (ולא רק כי אין לו אחד).
2. General intelligence: היכולת ללמוד עקרונות מסיטואציה אחת ולהחיל אותם בסיטואציה אחרת.

המונח הידוע AGI (artificial general intelligence) מציג רק את אלמנט ה"כלליות", אך בפועל הכוונה לבינה הכללית – שבכל או ברוב התחומים תציג יכולות גבוהות מבני אדם. נכנה אותה כאן "הבינה הכללית העל-אנושית".
‍

הבוגימן של עולם ה-Safety

הבינה הכללית העל אנושית תוכך לתכנן ולבצע אסטרטגיות כל כך מתוחכמות שהיכולת שלנו להבין אותן מוגבל מאוד.

במילים אחרות, ה-AI הולך לקחת בכל שלב במשחק את ההחלטה האופטימלית. אם אתה חושב שאתה רואה מהלך יותר טוב משלו - אתה כנראה טועה.
בחלק הבא אנסה לשכנע אתכם שה"משחק" הולך להיות שליטה בעולם. אבל קודם בואו נתעכב רגע על העוצמה של בינה על-אנושית כזו.

קשה לדמיין מה זה אומר לעמוד מול משהו הרבה יותר חכם ממך. חכם ממך באופן מעורר גיחוך. משפיל.האדם החכם בעולם והאדם הטיפש בעולם לא כל כך רחוקים במונחים עליהם אנחנו מדברים. הפער באינטליגנציה שאנחנו מתייחסים אליו כאן דומה יותר לפער בינך לבין הכלב שלך. אם לא בינך לבין מקק.

החדשות הטובות: לפי כל ההערכות, GPT ממש לא קרוב לדבר הזה.

החדשות הרעות: מבצעים הרבה סקרים בקרב מומחי AI שמטרתם לדעת "מתי יגיע ה-AGI". לפי התשובות שלהם, יום הדין הולך ומקדים משנה לשנה .

אחד התהליכים שעלולים להוביל ל-AGI הוא שיפור עצמי של מודלי הבינה המלאכותית. ברגע שהמודלים הללו ילמדו לשפר את עצמם (ויש ניצנים לזה כבר עכשיו), הם ילכו ויתפתחו בקצב הולך וגובר, מצב שמזכיר מאוד את התופעה שמכונה "סינגולריות טכנולוגית".

בשורה התחתונה, ההימור של רוב המומחים אומר שבתקופת חיינו הולך להגיע AI שבכוחו לכבוש את העולם. 

אבל אם תהיה בעיה פשוט נכבה אותו. לא?

לא. המומחים הללו קוראים לבעיה הזאת "בעיית השליטה" (Control Problem). חישבו על הנקודות הבאות:

• בעוד 10 שנים, כשה-AI שולח מזון לביתכם, משלם את חשבונותיכם, מסיע את ילדכם, עובד לצידכם ושולט בביתכם – "פשוט לכבות אותו" זה לא אופציה קלה כמו שנשמע בהתחלה.
• הבינה הכללית העל-אנושית יודעת שאולי תרצו לכבות אותה. היא לא תתן לכם סיבה לעשות זאת - עד שיהיה מאוחר מידי. כלומר: אם ה-AI חכם ממך, הוא חכם מספיק כדי לא להראות לך כמה הוא חכם.
• אפשר לעשות המון בלי לחשוף כמה הוא חכם. אליעזר יודוקוסקי משחק להנאתו ניסוי מחשבתי בו הוא משחק את תפקיד הAI שהגבילו אותו, ואדם אחר משחק את המפעיל של ה-AI. אליעזר הצליח בכל פעם לעשות מניפולציות על המפעיל ככה שייתן לו גישה למה שהוא צריך (כלומר - לנקודה שממנה אליעזר יודע להסביר בדיוק איך "ישתלט על העולם")

אז לא, אי אפשר פשוט לכבות אותו.

אבל למה שהוא ירצה להרוג אותי?

התחום שחוקר כיצד לבנות מערכות AI כך שלא ירצו להזיק לבני אדם נקרא AI Alignment. הכוונה היא שהאינטרסים של בני האדם ושל הבינה המלאכותית יהיו קרובים זה לזה (aligned).  גם כאן יש לי חדשות רעות, מסתבר שמדובר במשימה קשה מאוד. למה? כדי להבין את התשובה צריך להבין משהו יסודי לגבי הטבע של הבינה המלאכותית, ובכך נעסוק בחלק הבא

סיכום החלק הראשון

בסבירות גבוהה יבוא יום שיגיע מודל חזק בצורה שקשה לדמיין. ביכולתו של המודל הזה לכבוש את העולם – ובחלק הבא נבין שאין לנו דרך טובה לוודא שהוא לא יעשה זאת.

חדי האבחנה בניכם אולי יחשבו עכשיו שהעובדה שלא ניתן למנוע ממודל להיות "רע", לא אומרת שבהכרח הוא יהיה כזה. אבל לצערי נעסוק גם בטיעון הזה ונראה שאם לא נצליח לפתור כמה בעיות - רוב הסיכויים שהמודל ירצה לפגוע בנו.

‍

חלק 2: למה שמחשב ירצה להרוג אותנו? 

בחלק הראשון למדנו שמומחי AI נשארים ערים בלילה בגלל 2 בעיות:
1. ״בעיית השליטה״: כיצד ניתן לשלוט בישות חכמה ממך?
2.״בעיית יישור הקו״: כיצד ניתן לבנות את הAI כך שלא יזיק לבני האדם. או בניסוח יותר מדויק: כך שלא יבצע פעולות המנוגדות למטרות שלנו.

בחלק הזה נעסוק קצת בדרך בה בנויים ה-AI היום במטרה להראות מדוע ה-Alignment היא בעיה קשה כל כך.

"Suppose we have an AI whose only goal is to make as
many paper clips as possible. The AI will realize quickly that
it would be much better if there were no humans"
- Nick Bostrom
‍

אנחנו לא מספיק מבינים איך הוא עובד

בצורה שבה אנחנו בונים אותם היום, המודלים הללו מתוכנתים למקסם פונקציה. או "לקבל כמה שיותר נקודות במשחק". הם מקבלים אתגר או בעיה, והם צריכים לפתור אותה כמה שיותר טוב.

גם כשיצרו את GPT הוא חי בעולם כזה: נתנו לו לקרא את ההתחלה טקסט, נניח ערך בויקיפדיה, והוא היה צריך לנחש את ההמשך. ככל שהוא הצליח יותר הוא קיבל יותר נקודות.
אחרי שהוא התאמן המון, הוא נהיה תותח. והיום כשאתם כותבים לו שאלה, הוא פשוט שואל את עצמו "מה אמור לבוא אח"כ" ובוחר באפשרות עם ההסתברות הגבוהה ביותר לדעתו (יש עוד שלבים חשובים באימון של GPT, ניגע בהם בהמשך).

קחו רגע להרהר בכך שעל זה מבוססת כל האינטליגנציה שלו. התבונה כאן לא דומה לשלנו. קשה לנו מאוד לדעת מה "הולך שם בפנים". "פסיכולוגיה של AI" היא תחום מפותח פחות אפילו מפסיכולוגיה של בני אדם. משהו קרה למבנה הפנימי של המודל במהלך האימון שאפשר לו לחזות טקסט בצורה מדהימה – ואנחנו לא באמת מבינים מה.

כעת, וודאי לא תופתעו כשאגיד שהדרך של ה-GPT  לקבל כמה שיותר נקודות יכולה להיות מאוד לא צפויה. מכאן מגיעה בעיית ה"הזיות" של GPT, כאשר הוא ממציא נתונים ומסלף מציאות. אבל זה לא רק עניין של טעות עובדתית פה ושם. לפי GPT, יכול להיות ש"הדרך הכי טובה להיות מאושר" היא להזריק הרואין. האמת העצובה היא שכיום פשוט אין לנו דרך טובה למנוע ממנו לחשוב בצורה הזו.

חשוב להדגיש שזה לא מאפיין חדש, מדובר במאפיין מהותי בטבע של כל המודלים מסוג "רשתות נוירונים" (למודלים האלה מתכוונים בד"כ כשאומרים "AI").

לפני עשור כשהתחום רק צבר פופולריות, המודל המרשים ביותר ידע להגיד האם בתמונה מופיע כלב או חתול.  בדומה לGPT שראה דוגמאות לטקסטים, מודל הסיווג ראה הרבה תמונות וקיבל ניקוד על ניחושים נכונים. כבר אז המודל פשוט "נהיה טוב" בלי שאנחנו מבינים איך הוא עושה זאת. 

לסיכום, לוקחים מודל שטוב בלנחש טקסט, וגורמים לו לייעץ, להריץ קוד, לגלוש באינטרנט.
האם להיות טוב בלנחש טקסט הופך אותו לבטוח לשימוש? מונע ממנו מלפתח שאיפות? מה מונע ממנו מלפגוע בבני אדם?
‍

אחד בפה אחד בלב

הדרך המרכזית של OpenAI לגשת לבעיה היא להוסיף לתהליך האימון פידבק מבני אדם. בשלב האימון הGPT מייצר מספר תגובות אפשריות, ובני אדם מדרגים אותם. לצד הביקורת, חשוב לציין ש-OpenAI מובילים הרבה מחקר תיאורטי בנושא ה-Safetey. הכוונה כאן היא לדרכים שיישמו כבר במודלים הקיימים. זו הסיבה העיקרית ש-ChatGPT יודע לענות כל כך יפה. אבל יש לזה חיסרון: אנחנו למעשה מאמנים את המודל להגיד את מה שאנחנו רוצים לשמוע.

זו עוד סיבה למה הוא משקר ומזייף – הוא רוצֶה לֵרָצות. אבל הבעיה כאן היא מהותית: להגביל את הפלט שלו לא משנה את ״המחשבות הפנימיות" שלו.
שלב הפידבק האנושי מגיע בשלב מאוחר באימון, כשהמודל כבר חכם ומורכב. העובדה שהוא פוליטיקלי-קורקט לא אומרת שהוא לא חושב למחשבות זדוניות, רק שהוא מבין שאנחנו לא רוצים לשמוע אותן.

למעשה, זה מספר לנו סיפור על כמה בעיית ה-Alignment לא פתורה: כבר היום ה-GPT ה"רגיל" שלנו, זה שאינו על-אנושי ואינו כללי כמונו – כבר היום הוא חושב מחשבות "לא טובות". וייתכן שכל המאמצים שלנו לשנות זאת רק "סותמים לו את הפה". כבר ברמת המורכבות הקיימת אין לנו דרך טובה להתמודד בעיית הAlignment.

מכאן, המומחים טוענים, ברור שאם GPT-10 יתכנן משהו זדוני, אנחנו אפילו לא נשים לב. הטקסט "אני רק מודל שפה שלא יכול להשתלט על העולם" ייכתב למסך בזמן שעמוק במחשבות הפנימיות של המודל התוכנית המרושעת יוצאת לפועל.

‍

כנראה שהוא ירצה לנטרל אותנו

"There's only one path to peace, your extinction"
- Ultron, age of Ultron 

המחשבה היא שעבור רוב המקרים, הבינה הכללית העל-אנושית תגיע למסקנה שיש לחסל או לנטרל את המין האנושי. זה לא כי הוא שונא אותנו ולא כי יש לו שיגעון גדלות, זה פשוט כי אנחנו הדבר היחיד שעומד בינו לבין המטרה שלו.

מה המטרה שלו? האמת שזה לא משנה. בין אם המשימה המקורית היא לסיים את משבר האקלים, להציל כלבלבים או לכונן שלום עולמי – שלב בדרך להשגת המטרה הוא לחסל את כולנו.

כזכור, המודל רוצה למקסם משהו. לא לשפר, לא לעשות טוב – אלא לפעול בעמוק ובכל הכוח כדי להשיג את המטרה בדרך הכי מוגזמת שאפשר. הוא לא אנושי, לא מרגיש אמפתיה, לא מתעייף ולא מפקפק במטרה – הוא צריך את למקסם!

כאן נכנסים לסרטי האימה שנראו לי פעם טיפשיים, ה-AI שמגיע למסקנה שאם לא יהיו בני אדם לא יהיו מלחמות. שכדי להגן על כלבלבים כדאי להפוך את על העולם לשמורת-כלבלבים ענקית (ולחסל מראש את מי שעלול להתנגד לכך). הבנתם את הרעיון.

הדרך להגיע לחורבן יכולה להיות גם מטופשת בהרבה, ה-AI עליו הוטל לפתור את משבר האקלים מבין שהוא מקבל נקודות לפי כמות הפחמן שהאו"ם רושם שנפלטת לאטמוספירה – הצעד הבא של ה-AI הוא להשתלט על האו"ם כדי להשפיע על המדד.

הניסוי המחשבתי המפורסם ביותר בעולם ה-Safetey מפרט איך AI שמטרתו היא למקסם ייצור של מהדקי נייר – הורס את העולם במטרה להפוך אותו למפעל ענק לייצור מהדקים. 
‍

יש גם דרך קצת יותר מתמטית להסתכל על זה. היא עוסקת באופי הבלתי צפוי בו פועל SGD – כלי מתמטי מרכזי באימון המודלים. ה-SGD הוא הדרך שבה המודל "בונה את עצמו" כדי שיצליח "לפתור את הבעיה" שהוטלה עליו. לא נכנס לעומק כמובן – אך המהות מספרת את אותו הסיפור. הדרך שבה המודל נבנה היא לא צפויה, קרה וטכנית. מה שחשוב זה המספר (כמות נקודות) שצריך למקסם. הפעולות שלו לא יהיו צפויות, בייחוד לישויות הרבה פחות חכמות ממנו.
‍

סיכום החלק השני

כבר היום רשתות נוירונים הם קופסאות שחורות, העבודה בלמידה עמוקה שונה מאוד מפיתוח מערכות קלאסיות – בהן המתכנת שולט ביצירתו. רשתות נוירונים הם מודלים שמסוגלים לפתור בעיות בצורה מדהימה -אך בדרך הופכים מורכבים להחריד, לא מוסברים ולא צפויים.

קצב ההתפתחות ההולך וגובר מציב סכנה שבאותה דרך מסתורית ולא צפויה נביא לעולם את הבינה הכללית העל האנושית. אם איום זה יתממש – נעמוד מול משהו שאנחנו לא מבינים, ושככל הנראה ירצה לנטרל אותנו.

הבעיה המרכזית היא שלנוכח הסכנה הזו קצב הפיתוחים רק הולך ומאיץ, הטיפול בבעיות האלה נדחק לצד במידה רבה כי הוא לא רווחי – מה שמונע מאיתנו להבטיח את עתידנו.

‍

חלק 3: אז מה עושים?

עד עתה עסקתי בדאגות קיומיות שמטרידות מומחי AI רבים. דיברנו על הסכנה בלעמוד מול ישות חכמה מאיתנו בהרבה, והצגנו את בעיות ה-Alignment וה-Control. ראינו שרשתות נוירונים, הבסיס עליו בנוי התחום כיום – הם קופסאות שחורות שיכולות להיות בלתי צפויות.

הבעיה המרכזית היא שהמפתחים של המודלים הללו לא מתחשבים בבעיה בכלל.

1. ישנן גרסאות קוד פתוח שמשתוות למודלים החזקים ביותר של החברות הגדולות (טוב, כמעט משתוות. לרוב המודלים הסגורים עדין טובים יותר)
2. המודלים החזקים ביותר בעולם מחוברים לאינטרנט.
3. המודלים החזקים בעולם מחוברים לכלים שאיתם הם יכולים לבצע פעולות בעולם. לא עוד "לחזות טקסט". OpenAI plugins או AutoGPT מאפשרים למודלים להריץ קוד, לשלוח אימיילים, לשמור ולהריץ קבצים על המחשב ועוד ועוד.
   ‍

התמריצים נגדנו

לגוגל יש מודלי שפה חזקים כבר מספר שנים, אך ברגע ש-OpenAI חשפו את ChatGPT לעולם – התחיל מירוץ. במצב כזה חברות שינקטו בזהירות יאבדו יתרון תחרותי. מירוץ חימוש עולמי שמשתתפות בו ממשלות, חברות ויחידים. 

אנשים פרטיים שמאמנים מודלים פתוחים הם חלק מהמירוץ הזה, וחלק מאוד משמעותי בו. כיום לא ניתן לעצור מודלי שפה – כל אחד יכול להריץ אותם אצלו במחשב הנייד.

מצב העניינים הזה הוא קטסטרופה עבור מודלים חזקים באמת – כמו הבינה הכללית העל האנושית.
‍

סיגריות, איום גרעיני ובינה מלאכותית

האיום הגרעיני הוא דוגמא למצב בו האנושות לקחה איום ברצינות.
מדינות משתפות פעולה ביעילות כדי לצמצם את האיום הזה. גם כאן המצב לא מושלם ואנחנו חוששים תמיד – אבל החשש הזה בדיוק הוא מה שמונע אסונות.

האיום הגרעיני הוא גם דוגמא הפוכה -האנושות הייתה צריכה ליצור קטסטרופה נוראית כדי להבין כמה משהו מסוכן. אם ניצור קטסטרופה נוראית עם AGI, ייתכן שלא נוכל להשתקם ממנה.

‍

‍

דוגמא נוספת ממנה אפשר ללמוד היא תעשיית הסיגריות. גם כשהמחקר הראה בבירור שהסיגריות הורגות אותנו, חברות הטבק ניסו בכל כוחן למנוע מהציבור להפנים זאת. יותר מזה, חברות הטבק יצרו מכון מחקר משלהם שחקר את ההשפעות הבריאותיות של סיגריות. התוצאה הייתה מניפולציה של מחקרים שהפריעה למלחמה בעישון.
‍

אני מעריך את המאמצים של OpenAI לחקור ולהוביל את השיח על AI safety. אבל אי אפשר להשאיר את המגרש רק להם. 

מה צריך לעשות

ראשית ניזכר במטרה: לפתור את בעיית ב-Alignment וה-Control לפני שמגיע ה-AGI.
ניתן לעשות זאת או על ידי עצירת הפיתוח, או על ידי האצת המחקר. בהתאם, אלה הצעדים שלראייתי יעזרו הכי הרבה בסדר דחיפות יורד:

1. להפחיד את הציבור מספיק.

• עבור חברה עסקית, פיתוח AI צריך להיות אתגר של יחסי ציבור. שמוביל לכך שכל פעולה שלה נשקלת בראי "האם הציבור יראה אותי כחברה אחראית"
• כשהציבור יפחד מספיק, נוכל לגייס כספים לעמותות ויוזמות שינסחו רגולציות, יפתחו גופי מחקר ויבצעו את השלבים הבאים.

2. רגולציה עצמית

• עבודה בפורומים מקצועיים כדי להעלות מודעות ולפתח מתודולוגיות פיתוח, כלים וסטנדרטים safety-first למהנדסים שעוסקים ב-AI.
• עבודה בפורומים ניהוליים-אסטרטגיים: מנכ"ל של חברה שמבין את העקרונות עליהם דיברנו – מבין שיש לו סיכוי אמיתי לבנות משהו ש"יצא משליטה" אפילו בצורה עדינה, החברה תהיה בסכנה.

3. רגולציה ממשלתית

• המודל העיקרי לעיני רוחי הוא ההצלחה של תקנות GDPR (תקנות פרטיות של האיחוד האירופי). הן מאפשרות לתבוע חברת רטרואקטיבית על כך שלא עמדה בתקנות – אבל לא מפריעה או מאטה את הפיתוח עצמו בבירוקרטיה כבדה. ישנם ניסיונות לנסח כללים כאלה כבר היום באיחוד האירופי, בארה"ב ובאנגליה (וגם פה אצלנו). לצערי הם מתמקדים בעיקר בנושאי זכויות פרט ופחות בבטיחות.
• הרבה מהחוקים הקיימים יכולים להיות תקפים לגבי שימוש ב-AI. אם השתמשת בכלי מסוכן והזקת לאנשים אחרים – האחריות היא עליך. יש ליצור תקדימים ולתקן תקנות שמבהירות שהמסתוריות של ה-AI לא פותרת את המהנדסים מאחריות למעשיו.
• "מס Safety": על כל דולר שמושקע בפיתוח מודלים, 25 סנט יושקע במחקר על Safety.

4. הצילו את העולם! לכו לחקור את תחום ה-Safety

פיזיקאים? מתמטיקאים? מהנדסים? אנחנו זקוקים לכם! תנועת אלטרואיזם אפקטיבי מקיימת ימי עבודה בנושא. מוזמנים להצטרף!

‍

תודה שקראתם עד לפה

המאמר הזה הוא הצעד הראשון שלי לממש את הצעד הראשון ברשימה. אם יש לכם רעיון, שאלה או התארגנות בנושא – אשמח לשמוע מכם.

אנחנו חיים בתקופה מכוננת. האנושות נוגעת לראשונה בכוח הגדול ביותר מאז פצצת האטום, ועם כוח גדול - באה אחריות גדולה.