מה זה ביג דאטה?

לדעתי, ישנם מספר מונחי יסוד, וכאשר אנשים מדברים על ביג דאטה הם מתכוונים לאחד מהמונחים הבאים:

• שלושת ה-V-ים: מדובּר על נפחים - Volume, מהירות - Velocity , ומגוון - Variety. כאשר בנפחים מדובּר על טרה-בייטים של טרנזקציות, רשומות, קבצים וכו'. רק לסבר את אוזניכם - מנוע של מטוס בואינג מייצר כ-10 טרה-בייט של נתונים תפעוליים כל 30 דקות של פעולה. לכן מטוס בואינג בעל ארבעה מנועים יכול לייצר כ-640 טרה-בייט נתונים בטיסה טרנס-אטלנטית, הכפילו זאת ב-25,000 טיסות ביום, ותתחילו לקבל מושג לגבי נפחי מידע. ה-V השני שמסמל מהירות, מתייחס למהירות בה המידע מיוצר ולמהירות עיבוד המידע, לדוגמא: ביום אחד מעלים כמיליארד הערות, תגובות, תכנים ועוד ברשתות החברתיות. ה-V האחרון מתייחס למגוון סוגי המידע המתקבלים, מובנים (structured) ובלתי מובנים, לדוגמה: אימיילים, וידיאו, לוגים, קול, אינטרנט ועוד.

• Social Analytics - ניתוח הרשתות החברתיות - כיום ללקוחות יש כוח עצום, מאחר שהם יכולים להעביר את תחושותיהם כלפי חברה זו או אחרת דרך הרשתות החברתיות. אני תמיד נוהגת לתת את הדוגמה של מחאת הקוטג', שהחלה והתנהלה ברובה ב-Facebook - ללא ניירת והפגנות. אם תנובה הייתה מנתחת את הרשתות החברתיות, היא הייתה יוכלה להקדים תרופה למכּה, באמצעות קבלת התראות על מסרים שלילים בהקשר למוצריה ולמוניטין שלה.

• Hadoop - פרויקט קוד פתוח אשר מאפשר עיבוד כמויות עצומות של מידע באופן מקבילי, על פני ארכיטקטורה מבוזרת. ההשראה לפרויקט באה מטכנולוגיות של חברת גוגל: Map Reduce ומערכת הקבצים (HDFS). הוא נכתב במקור בשפת JAVA כפרויקט פנימי של חברת Yahoo! , והועבר בהמשך לתחזוקה בקרן אפאצ'י.

• NoSQL - המושג NoSQL הוטבע לראשונה בשנת 1998. NoSQL אינו תחליף למערכות RDBMS (מערכות לניהול מסדי נתונים טבלאיים) המוכרות, הוא אינו מכיל סכמות ו-Joins. NoSQL מטפל בכמויות עצומות של מידע שאינו מובנה. קחו למשל את Facebook עם מעל ל-500,000,000 משתמשים או את Twitter, אשר מייצרים כמויות עצומות של מידע בכל יום.

• Appliance - מוצר המשלב בתוכו חומרה ותוכנה, פתרונות המפותחים על-ידי כל החברות הגדולות ונותנים מענה לעיבוד מסת נתונים גדולה, דוגמאות למוצרים: GreenPlum של חברת EMC, Vertica של HP, Neteeza של IBM ועוד.

• טרנד שיווקי - ויש גם כאלו שחושבים שביג דאטה הינו רק טרנד שיווקי, או כפי ש-Doug Laney מגרטנר טוען: "big data is just marketing jargon" וישנן לא מעט תיאוריות הטוענות כי ביג דאטה הינו רק קונספירציה של Facebook, חברות טכנולוגיות כאלו או אחרות, ועוד.

אז מה אתם חושבים?