במקרים רבים, המערכות הללו פועלות כ"קופסה שחורה" - קשה להבין כיצד התקבלו ההחלטות, מה שמקשה על פיקוח ובקרה. זה יכול להיות בעייתי במיוחד כאשר מדובר בהחלטות מהותיות, כמו סירוב להעניק אשראי או קביעת תנאי ביטוח. בנוסף, ישנם סיכוני סייבר - מערכות אוטומטיות חשופות למתקפות שעלולות לשבש את פעילותן ולפגוע בלקוחות. הדוח מציין כי מערכות AI לזיהוי הונאות ודירוג אשראי הפכו לכלים מרכזיים, אך יש צורך בפיקוח הדוק למניעת ניצול לרעה.
כדי להתמודד עם האתגרים הללו, הצוות הבין-משרדי מציע גישה אסדרתית מאוזנת, המשלבת עידוד חדשנות עם שמירה על יציבות פיננסית והגנה על זכויות הצרכנים. האסדרה המוצעת גמישה ומבוססת סיכונים, עם דגש על התאמה לשינויים הטכנולוגיים המהירים. כך, לדוגמה, מוצע לקבוע כללים שיחייבו את החברות לוודא שהמערכות שלהן אינן מפלות, ושיש להן יכולת להסביר את ההחלטות שהתקבלו.
הדוח ממליץ על הקמת 'ארגזי חול אסדרתיים' ומוקדי חדשנות, שיאפשרו לחברות פיננסיות לבחון פתרונות AI בסביבה מבוקרת לפני הכנסתן לשוק הרחב. גישה זו, המבוססת על מודלים ממדינות מובילות, מאפשרת לפתח טכנולוגיות מתקדמות תוך מזעור סיכונים לציבור.