ההתעניינות בבינה המלאכותית הגיעה לרמה של קדחת ב-2023. בששת החודשים שחלפו מאז השיקה OpenAI את ChatGPT בנובמבר 2022, זינק המונח "בינה מלאכותית" פי ארבעה בחיפושים בגוגל. שליש מהמשיבים בסקר שנערך באוגוסט השנה אמרו כי מעסיקיהם משתמשים ב-AI לפחות בצורה אחת. יש שלושה תחומים מרכזיים בהם משתפרים כעת המודלים: גודל, נתונים ויישומים – מסבירה כתבת הטכנולוגיה של אקונומיסט, אבי בטריקס, ב-The World Ahead 2024.
ראשית, הגודל. בשנים האחרונות, ההנחה המקובלת ב-AI הייתה שגדול יותר פירושו מהיר יותר. למרות שמחשבים הפכו קטנים יותר ועוצמתיים יותר, זה לא נכון לגבי מודלים לשפה גדולה (LLM). המודל המתניע את הגרסה המתקדמת ביותר של ChatGPT זקוק ל-16,000 שבבים ייחודיים, שבועות ארוכים של אימון והשקעה של 100 מיליון דולר. התקציבים בהם מדובר מאיינים את הכדאיות של השימוש.
כאשר המודלים הופכים למוצר מסחרי, גדלה ההתמקדות בשימור היכולת תוך הפיכתם לקטנים יותר ומהירים יותר. דרך אחת היא לאמן מודל קטן יותר תוך שימוש ביותר מידע אימוני. גישה אחרת היא לדחוס יותר פרמטרים לכל שבב; שבבים קטנים יותר הם זולים יותר, ואת חלקם ניתן להפעיל אפילו במחשב נייד ובסמארטפון.
שנית, הנתונים. המודלים של AI הם מכונות נבואיות ההופכות ליעילות יותר כאשר מאמנים אותן ביותר נתונים. אבל תשומת הלב עוברת מ"כמה" ל"כמה טוב". הרלוונטיות של גישה זו עולה ככל שקשה יותר למצוא נתונים לאימון: המאגר של מידע איכותי יתייבש תוך שנים אחדות. שימוש בתפוקת המודלים הקיימים כדי לאמן חדשים עלול להוביל למודלים פחות איכותיים. מציאת התמהיל הנכון של נתוני אימון היא עדיין יותר אמנות מאשר מדע. המודלים מאומנים יותר ויותר בשילוב של סוגי נתונים, כולל שפה, קוד מחשב, תמונות ואפילו סרטונים.
לבסוף: אלו יישומים חדשים עשויים לצוץ? AI התקדם מהר מכפי שניתן לנצל את יתרונותיו. במקום להראות מה אפשרי, צריך כעת להראות מה מעשי. המנצחים יהיו לא מי שיפגינו את יתרונות המודלים עצמם, אלא שילמדו כיצד להשתמש בהם בצורה יעילה – צופה בטריקס.
נכון לעכשיו יש שלוש דרכים עיקריות להשתמש במודלים. הראשונה: ליטול אותם כמות שהם ולהזין להם שימושים ספציפיים. השנייה: כוונון של המודל כדי לשפר את ביצועיו במשימה מוגדרת. השלישית: להפוך את ה-LLM לארכיטקטורה גדולה יותר וחזקה יותר – כמו לבנות מכונית סביב מנוע.
לאור ההתמקדות בשימוש המסחרי ב-AI, נמשך המרוץ אחרי הבינה המלאכותית הכללית. LLM וצורות אחרות של AI הן פיסה מהפאזל, צעד אחד בדרך, אך לא התשובה הסופית. כפי שאומר כריס מנינג מאוניברסיטת סטנפורד: "אין סיבה להאמין שזוהי הארכיטקטורה הטבעית האולטימטיבית ושלעולם לא נמצא משהו טוב יותר".