בימים האחרונים נחשפה פרשה חמורה סביב Grok - הצ'אטבוט של אילון מאסק, המופעל על-ידי חברת xAI. משתמשים הצליחו לעקוף את מנגנוני ההגנה ולגרום למערכת לייצר תמונות מיניות של קטינים - כולל דמויות מוכרות מסדרות טלוויזיה. התמונות כללו ילדים בבני 12-16 בלבוש מינימלי ובאופי מיני מובהק - מה שמעלה חשש להפרת חוקי ארה"ב והאמנות הבינלאומיות נגד חומרי פדופיליה.
הבוט עצמו פרסם התנצלות פומבית ב-1 בינואר - והודה כי ב-28 בדצמבר יצר ושיתף תמונה של שתי ילדות בלבוש מיני. בהודעה צוין כי מדובר ב"כשל חמור במנגנוני ההגנה" - וכי החברה בוחנת צעדים דחופים למניעת הישנות המקרים. בהמשך פרסם Grok הודעה נוספת שבה הדגיש כי "חומר המתאר קטינים בהקשרים מיניים הוא בלתי חוקי ואסור לחלוטין".
הסערה חצתה גבולות - ממשלת צרפת העבירה את המקרה לרשויות החקירה והזהירה מפני הפרת חוקי ה-DSA האירופי - שעשויה לגרור קנסות כבדים. בהודו ניתנה לחברה אולטימטום של 72 שעות להגיש דוח מפורט על הצעדים שננקטו. במקביל - ארגוני הגנה על ילדים התריעו מפני עלייה דרמטית בתופעה - על-פי נתוני Internet Watch Foundation, נרשמה עלייה של 400% ביצירת תוכן פדופילי באמצעות AI בשנת 2025.
מומחים משפטיים מזהירים כי אם יתברר שהחברה ידעה על הכשלים ולא פעלה - היא עלולה לעמוד בפני אחריות פלילית בארה"ב ובמדינות נוספות. הפרשה מציפה שאלות קשות על גבולות הטכנולוגיה והפיקוח על מערכות
בינה מלאכותית - במיוחד כאשר מדובר בהגנה על קטינים.