״אנחנו רוצים לעשות סדר בבלאגן. כשהתחלנו ב-2012 - לא היתה תיאוריה מאחורי רשתות נוירונים" ... ״כשהטכנולוגיה היא ווּדו - קשה לנהל דיון...״
המחקר של נדב עוסק ביסודות המתמטיים של Deep Learning - אולי היכולת הטכנולוגית המשמעותית ביותר בעשור האחרון. המטרה - להבין מה בדיוק קורה באותן ״קופסאות שחורות״. המחקרים שלו מסקרנים אותי כבר שנים, אז ישבנו לדבר עליהם, וגם על הסטארטאפ שהוא החביא תקופה
רקע
מתישהו ב-2017 ישבתי עם תומר ויינגרטן, מנכ״ל Sentinel One, לשיחה על החברה. כבכל שיחה טובה הגענו למגמות בשוק הסייבר ולשיחה כללית על AI (לא זוכר בדיוק למה, אולי ניסיתי להבין איפה הבאזז פוגש את הסייבר). אחרי כמה הסברים תומר אמר לי שאני חייב לדבר עם נדב כהן. לא הכרתי - אבל התחלתי לבדוק. התגובות היו חד משמעיות - מדובר באחד החוקרים החזקים בארץ ובעולם בנושאי ליבת ה-Deep Learning (למידה עמוקה). בעקבות זאת לימים נדב שובץ ברשימת הצעירים המבטיחים של דה מרקר.
ביוגרפיה
נדב הוא ד״ר בפקולטה למדעים מדוייקים באוניברסיטת ת״א ומרצה ליסודות תיאורטיים של למידה עמוקה. כהן בעצם מלמד נושא שלא היה קיים עד לפני כמה שנים, פלוס זכה להוקרה כעמית מחקר של גוגל. את התואר הראשון הוא למד בטכניון במתמטיקה והנדסת חשמל, ועם סיומו נכנס למסלול מהיר לדוקטורט בירושלים אצל אמנון שעשוע (אותו הוא מגדיר כגאון מחקרי ועסקי). לפני כשנתיים חזר מפוסט-דוק בפרינסטון באחת מהמחלקות המתקדמות ביותר בחקר התחום. [האתר שלו]
כמו יוסיין בולט
״AI זו מילה גדולה ומה שעומד מאחורי זה בגדול זו למידה עמוקה - תחום מאוד אמפירי (נרחיב על זה תיכף) שתכלס קיים משנות ה-50 (אם לא לפני), אלא שאז זה לא כל כך עבד ולא סיפק את הסחורה ממגוון סיבות, עד לקפיצה משמעותית שעלתה לתודעה עם פרסום תוצאות Alexnet ב-2012. עד אז לא הרבה השתמשו בזה".
״בשנים האחרונות יש גל של בינה מלאכותית שרוכב על זה, כי רואים שישנן בעיות מסוימות שבהן זה מביא לביצועים חסרי תקדים. זה התחיל סביב Computer Vision אבל התקדם לעוד אזורים כמו ניתוח שפה ו-Speech. העניין הוא שזו ממש רמה אחרת של ביצועים. זה כמו שפתאום הופיע יוסיין בולט״.
מה היה עד 2012?
״זה היה נחשב למשהו שלא הרבה רצו לגעת בו כי האמינו שלא עובד כל כך טוב - וגם התיאוריה לא הייתה מפותחת. מי שמאז זוכים לקרדיט על כך שהרימו את התחום הם שלושת ׳האבות הרוחניים׳ של הלמידה העמוקה: יושוע בנג׳יו, יאן לקון וג׳פרי הינטון״. (השלושה זכו בפרס טיורינג לפני כשנתיים על עבודתם בנושא רשתות נוירונים - התשתית ללמידה עמוקה).
כהן, חוקר מזה עשור את התחום, ולמעשה מהראשונים בעולם שנולדו לתוך חקר התיאוריה של Deep Learning ורשתות נוירונים. לדבריו הטכנולוגיה הזאת כ״כ מהפכנית שהיא ״הכחידה דיסציפלינות מסוימות במחקר - כמו ראייה ממוחשבת״
״יש אנשים שבנו קריירות סביב מכניקה מסוימת - למשל בניית ייצוגים לתמונות בראייה ממוחשבת, שהיו הכרחיים כדי להפעיל אלגוריתמי למידה עליהן. ואז באה למידה עמוקה, שמאפשרת להזין לתוכה תמונות גולמיות, ובעצם כל מה שעבדו עליו שנים בייצוג של תמונות - די נכחד״.
אבל בכל זאת, מחקרית-מתמטית יש פה אתגר שאתה מנסה ליישב. משהו חסר לך כחוקר.
״אז כמו שאמרתי, יש הצלחה אמפירית מאד גדולה שהושגה בעיקר באמצעות ניסוי וטעיה - אבל יש גם מגבלות. כמעט כל מה שאנחנו מבינים בלמידה חישובית קלאסית (Machine Learning) לא תקף בלמידה עמוקה, ונוצר מצב בו התקדמות הטכנולוגיה תלויה בזה שעשרות אלפי אנשים ברחבי העולם יערכו ניסויים ללא קווים מנחים ברורים וידווחו את התוצאות שלהם. יש לא מעט אנשים, ואני ביניהם, שמאמינים שלמרות ההצלחה, לטכנולוגיה הזו עדיין חסר בסיס מחקרי מתמטי ויש פה בעיות שצריך לפתור".
"באנלוגיה, אם Machine Learning קלאסי זה הפיזיקה של היומיום, אז למידה עמוקה זה הפיזיקה של כוכבי הלכת או החלקיקים הקוונטיים, כלומר התופעות הבסיסיות שונות לגמרי. למשל, אם נחשוב על התער של אוקהם - עיקרון מנחה ב-Machine Learning קלאסי - לפיו המודל הכי פשוט שמסביר תופעה הוא כנראה הנכון, בלמידה עמוקה זה פשוט לא ככה״.
וזה כמובן לא רק תיאורטי
״יש לזה השלכות בשטח, כי היעדר הבנה מתמטית של המנוע מקשה למשל להתקין את הטכנולוגיה על דומיין חדש. תבין, היום יש אזורים למשל ברפואה מתקדמת ששוקלים להשתמש בלמידה עמוקה - ולא עושים את זה בגלל היעדר היכולת להבין את תהליך קבלת ההחלטות של המערכת. לא מוכנים להכניס קופסאות שחורות. כמו כן יש אתגרים בנושאים של אבטחת מידע, יציבות, הוגנות ועוד. אפשר להגיד שללא ההבנה הזאת (של המתמטיקה של הטכנולוגיה) תהיה לנו איזושהי נכות״.
ואיפה ההתמחות שלך נכנסת?
"אז לרשת נוירונים יש כניסה ויציאה. למשל מכניסים תמונה ומקבלים אינדיקציה האם זה כלב או חתול. הדבר הזה זה סוג של פונקציה. עכשיו, כשבוחרים רשת נוירונים רוצים לדעת איזה סוג פונקציות היא מסוגלת לבטא, ובפרט שהיא מסוגלת לבטא פונקציות שינבאו במדויק האם תמונות מכילות כלב או חתול. אני רציתי לפתור את זה מתמטית - כלומר שתהיה יכולת מוכחת של תרגום תכונות של פונקציות לארכיטקטורות של רשתות נוירונים, כדי שלא נתבסס על ניסוי וטעיה. החזון הוא בסופו של דבר להיות מסוגלים לתכנן רשתות על סמך ידע מקדים על הבעיה שרוצים לפתור״.
בעצם אתה אומר שאתה רוצה לדעת מראש, נגיד על פי הדאטה שעליו חוקר מתבסס, מהי הפונקציה או איך צריכה להיראות הרשת המושלמת עבור זה?
"באופן עקרוני כן. התוצאות שאני פיתחתי התבססו על כלים מתקדמים במתמטיקה מהתחום של טנזורים (מערכים רב מימדיים), והניבו כללי אצבע מעשיים לתכנון רשתות. היום אני עובד על תיאוריה שתאפשר לאפיין את הפונקציות הנדרשות על סמך הדאטא. בשילוב עם התוצאות הקודמות, השאיפה היא שאפשר יהיה להריץ אלגוריתמים מתמטיים על הדאטא, ולקבל באופן אוטומטי רשת מתאימה".
וזה מעשי?
"כן ולא. מצד אחד התחום של יסודות הלמידה העמוקה רק בחיתולים וכבר יש סיפורי הצלחה (אנקדוטה - יאן לקון למשל השתמש באחת התיאוריות של נדב לטובת פיתוח מערכת אמיתית בפייסבוק שם הוא משמש כמדען ראשי), ולי באופן אישי אין ספק שתהיה התקדמות ענקית בשנים הקרובות. מצד שני כיום עדיין 99.9% (לפחות) משימושי הטכנולוגיה מושגים באמצעות ניסוי וטעיה, והתיאוריה לא באמת מציעה תחליף כולל".
אוקי. אבל אם רגע נרחיק עם זה. האופטימום של התיאוריה הוא יכולת לנבא התנהגות של כל מערכת? כלומר, אם אתה מבין מתמטית מספר מקרים, למה לא את הכל?
"קשה מאוד לקחת בחשבון מבחינה תיאורטית כל אלמנט שאנשים עושים בו שימוש בפועל, ולכן התיאוריה בד"כ מטפלת בתסריטים יחסית נקיים. היא יכולה לתת תחזיות, אבל באופן פורמלי אלו אינן תקפות לכל המערכות המעשיות. יש פער בין התיאוריה לפרקטיקה ולהסיק מהראשון לאחרון דורש קצת 'אמונה'. על הרקע הזה, אני חושב שתמיד תהיה מידה מסוימת של ניסוי וטעיה. התפקיד של יסודות תיאורטיים הוא לאו דווקא למנוע את זה לחלוטין, אלא לעצב את האופן שבו אנחנו ניגשים לטכנולוגיה".
חולצות הוואי, לוח וגיר
בוא נדבר על ברבדוס. נסעת לשם עם כמה מהשמות הגדולים בתחום
״נכון. הייתי לפני שנה בברבדוס בכינוס מצומצם של חוקרים בתחום, במטרה לסיים עבודה של שנים של כתיבת ספר על התיאוריה של למידה עמוקה. פרופ׳ סנג׳יב ארורה (מי שהזמין את כהן לפוסט-דוק בפרינסטון, ומהווה שם דבר בתחום) הציע שנעשה סדנא בברבדוס, וכל מי שכתב פרק מחקרי יציג אותו לפורום של 30 אנשים מאוד בכירים בתחום המחקר הזה, וגם נזמין את המדענים המעשיים המובילים: לקון, בנג׳יו ומפורסמים נוספים כאורחים. הם יבואו ונעשה דיאלוג בין התיאוריה לפרקטיקה״.
*ישראלים נוספים שהיו הם פרופ׳ בועז ברק (הרווארד) ופרופ׳ אלעד חזן (פרינסטון).
די חזק
״זה אחד האירועים הטובים שהייתי בהם. כולם עם חולצות הוואי, על לוח וגיר עם מאווררים - כותבים מתמטיקה. הבעיה היחידה היא שאני עוד חייב להשלים את כתיבת הפרק שלי :-)״.
זה ממש ארגון של המדע
״אנחנו רוצים לעשות סדר בבלאגן. כשהתחלנו לעבוד על זה ב-2012 - לא היתה תיאוריה מאחורי רשתות נוירונים - היו דברים מלפני 30 שנה, אבל לא משהו מאוד רלוונטי. עם הזמן ועם האימפקט ש-Deep Learning עושה, יותר אנשי תיאוריה נכנסו לזה. ככה נולדו עוד מחקרים שהביאו לעוד ועוד תוצאות. ככה המדע מתקדם. ברבדוס היה קליימקס של כתיבת הספר.״
היום איפה אנחנו נמצאים? יש הבנה?
״אם היית שואל אותי לפני 5 שנים הייתי אומר שאף אחד לא מבין כלום. היום אני קצת פחות נביא זעם. יש יותר הבנה - ואנחנו יודעים מהן השאלות הגדולות. זה לא טריוויאלי במדע לפרמל שאלות."
יש אלמנטים חברתיים שמעסיקים את העולם ומתקשרים לזה.
״אני לא מתעסק ישירות באתיקה, אבל אפשר להגיד שעצם זה שתהיה הבנה של מה שקורה מבחינה מתמטית יאפשר לפרק את הבעיה האתית. אפשר ככה להתחיל לחשוב על מי אחראי על מה. כשהטכנולוגיה היא ווּדו - קשה לנהל דיון אתי כי יש תחושה שלמערכות האלו חיים משל עצמן. בלי קשר, יש יותר דגש בשנים האחרונות על אתיקה, ובקהילה האקדמית מנסים להבין איך לעסוק בזה בצורה מדעית ונקייה מפוליטיקה עד כמה שאפשר. אני לא חושב שצריך להימנע משימוש בטכנולוגיה כי לא מבינים הכל עד הסוף, אבל כן צריך להיזהר".
על הסטארטאפ (ופיצול אישיות?)
סוויץ׳ חד. בתוך כל זה יש לך סטארטאפ ששמרת עליו מתחת לרדאר.
"כן. החברה נקראת Imubit והיא עושה אופטימיזציה למפעלים באמצעות Deep Reinforcement learning. בתעשייה שאנחנו נוגעים אנחנו פותרים עם AI דברים שבמשך 40 שנה לא הצליחו לפתור. אני מתפקד כמדען ראשי, תפקיד שמאוד נחוץ כי החברה עושה משהו שבחיים לא נעשה ולכן צריך ממש לעשות המחקר״.
אתה לא חי חיים כפולים? פותר בעיה ורטיקלית מאד - ומנסה באקדמיה לפתח תיאוריות מדעיות רוחביות
״זה מעין פיצול אישיות, ואם אחד הצדדים לא היה מקבל מענה אז היה לי קשה. על פני השטח מדובר בסט יכולות שונה. ברמה המדעית יש דרייב לחקר האמת והעמקה, ויש הערכה לאסתטיקה וסיפוק מדברים אבסטרקטיים, במיוחד במדע מתמטי-תיאורטי כמו שאני עושה. מצד שני בחברה עסקית יש מטרות ברורות וצריך להגיע אליהן בצורה יעילה - ויותר משנה ה-מה מאשר ה-איך. אז לכאורה יש סתירה - אבל ברמה העמוקה זה משלים זה את זה. כל אחד מהם עושה אותי יותר טוב בשני".
למה?
״ראש בעננים רגליים על הקרקע. המחקר עוזר לחברה מהסיבות שדיברנו: בסוף עם כמה שאימוביט היא חברה עסקית לחלוטין - הליבה שלה היא מדע. ה-R ב-R&D הוא אמיתי. בכיוון השני, התהליך הזה של לעשות אימפקט מוחשי בעולם האמיתי באמצעות מדע מלמד אותי הרבה. הערך שאנחנו מייצרים הוא פיזי - אנחנו גורמים למפעלים להיות יעילים יותר. אני חושב שזה גורם למדע שלי להיות יותר טוב, כי זה עוזר לי להרגיש איזה סוג תיאוריה יכולה להניב ערך מוחשי".
אתה מאמין שנכון שלחוקרים תהיה נגיעה בעולם המעשי?
״חשוב שיהיה אבל במינון מתאים ובהתאם לשלב. בהתחלה חוקרים צריכים וצריכות לחלום על דבר אחד - על המחקר. ככל שמתקדמים אפשר לעשות יותר דברים. אני חושב שכיום לרוב החוקרים הבכירים בתחומי AI יש עבודה מחוץ לאקדמיה, לרוב בחברות הגדולות (גוגל, פייסבוק וכו'), ואני חושב שזה יכול לתרום. שוב, כל עוד זה לא פוגע בחופש ובאיכות המחקר".
ורטיקלי מול הוריזנטלי: בעולם העסקי עולה לא פעם השאלה על היתכנותם של סטארטאפים שפותרים בעיה רוחבית מאוד ב-AI.
״ברמה האנושית והחברתית אני מאוד מאמין בטכנולוגיה הוריזנטלית, אבל אני חושב שלסטארטאפ בתחום קשה להיות הוריזונטלי. בעיניי את רוב הבעיות ההוריזונטליות יפתרו הגוגלים של העולם. לחברות קטנות יהיה יתרון מול הענקיות אם הן מאוד ממוקדות ורטיקלית. האמירה הזאת היא לא ברמת ה-Science כמובן, אלא עסקית לחלוטין".
תגיד. קורה שאתה כזה בסוף היום חווה הארה מתמטית? פתאום משהו נפתר בראש.
״בטח, וזה סיפוק מטורף שפתאום נופל אסימון. אתה גם מבין דברים שאח"כ, כשמתמודדים עם בעיות אמיתיות, זה מה שמנחה אותך. בסוף זה עדיין עולם של ניסוי וטעיה, וגם ב-Imubit יש ניסוי וטעיה, אבל יש פה עוד ארגז כלים שמבוסס על הבנה עמוקה. זה מאפשר לנו לעשות דברים שלא הרבה עושים. אגב, זה גם משהו שאני שם עליו המון דגש בגיוס אנשים. אני רוצה לראות דרכי חשיבה, ופחות מעניין אותי אם מישהו מכיר כל מחקר שיצא בשבוע האחרון".
נראה לי זהו. מתי יוצא הספר ומתי הגירסא לילדים (לי)?
"אני מקווה שהספר יהיה מוכן לקראת סוף השנה. לגבי גירסא לילדים, האמת שזה רעיון טוב לספר הבא. :-)".
====
האתר של נדב > cohennadav.com
עוד עלי ועל הבלוג > פה
Comments