תקופת בית ראשון
בחצי האי ערב נוסדו שני מרכזים של אוכלוסייה יהודית: בצפון חצי האי ערב באזור חג'אז-מדינה ובדרום חצי האי ערב בתימן.
בצפון חצי האי ערב באזור חג'אז ראשית ההתיישבות היהודית של שבטים יהודיים באזור הייתה לאחר חורבן בית ראשון במאה ה-6 לפנה"ס בימיו של נבונאיד מלך בבל. כתובות על מסעותיו בהן הגיע עד יתריב התגלו ב-1956 והחוקרים מעריכים שיחד אתו הגיעו גולים מבבל לאזור חג'אז. החוקר יהודה ניני סבור שראשוני היהודים התיישבו באזור חג'אז במאה ה-7 לפנה"ס.
הם הקימו מושבות של סוחרים על "דרך הבשמים" שהייתה דרך סחר בינלאומית לבשמים ותבלינים מהמזרח לאזור הים התיכון, ועסקו בסחר התבלינים והבשמים. תחילה הם עסקו במסחר אך במשך הזמן הם עברו לחקלאות ובמסורת הערבית הקדומה הם נקראו "אדוני נאות המדבר".
על ראשית ההתיישבות של היהודים בתימן אין ממצאים ארכיאולוגיים אלא רק אגדות ומסורות. על-פי אגדות ומסורות אלה היו חמישה גלי הגירה לתימן בתקופת המקרא.
הגל הראשון של המתיישבים היהודים בתימן היה קשור בפיתוח קשרי המסחר בין ממלכת שלמה ומלכת שבא במאה ה-10 לפנה"ס. הגל השני כלל אף הוא סוחרים יהודים שהיו קשורים בקשרי המסחר של מלכי יהודה עם אופיר, ארץ הזהב. הנביא יחזקאל התייחס לקשרי המסחר עם ערב בתקופת הבית הראשון:" ודן ויון מאוזל בעזבוניך נתנו - ערב וכל נשיאי קידר המה סוחרי ידיך - רוכלו שבא ורעמה המה רוכליך(יחזקאל כ"ז, 19 - 22). אוזל הוא שמה הקדום של צנעא. הגל השלישי הגיע לתימן ב-627 לפנה"ס כאשר אנשי צבא שאליהם התלוו כוהנים ולווים עזבו את הארץ בהשפעת נבואות ירמיהו והתיישבו בהר נוקום לא רחוק מצנעא. הגל הרביעי כלל שבויים שהוגלו לתימן ב-587 לפנה"ס ע"י נבוכדנאצר מלך בבל. הגל החמישי כלל יהודים מבבל שהגיעו לתימן בימיו של נבונאיד מלך בבל (552 - 542 לפנה"ס).
תקופת בית שני
בצפון חצי האי ערב, באזור חג'אז המשיכו להתקיים יישובים יהודיים בנאות המדבר. כתובות שניתגלו בחג'ר, בעולא ובסביבה מאשרות שיהודים חיו באזור בימי בית שני. בתימן התגלתה כתובת מימי הבית השני במסגד בכפר הנמצא מזרחית לצנעא המאשרת שבימי הבית השני הייתה קהילה יהודית בתימן ואף נמנו עליה כוהנים. עדות נוספת לקיומה של קהילה יהודית מהווה בית קברות עתיק מלפני למעלה מ-2,000 שנה.
אומנם בצפון חצי האי ערב חיו שבטים יהודיים על-פי מסורות שונות מאז חורבן הבית הראשון במאה ה-6 לפנה"ס. אבל, העדות הראשונה היא מהמאה ה-1 לסה"נ. המקור לעדות זאת הם כתובות על מצבות קבורה עם שמות עבריים. יש ראיות על קיומה של קהילה יהודית רק מימי הבית השני. ב-1970 התגלתה כתובת מימי בית שני על משמרות הכהונה שהייתה חרותה על עמוד שכותרתו שובצה ברצפתו של מסגד בכפר מזרחית לעיר צנעא. במאה ה-19 התגלה בית קברות יהודי עתיק ובו מצבות מלפני למעלה מ-2,300 שנים. כל אלה מעידים על קיומה של קהילה בתימן. במערות הקבורה בבית שערים נתגלו קברים של יהודים מתימן מימי הבית השני.
הורדוס (37 - 4 לפנה"ס) שלח גדוד יהודי שמנה 500 חיילים לעזרת הצבא הרומי תחת פיקודו של אליוס גאלוס ב-25 לפנה"ס שנלחם בתימן בשל חשיבותה במסלול סחר התבלינים. לוחמי הגדוד השתקעו בתימן. הסופר היווני אפיפאנוס כתב שפליטים יהודים הגיעו לתימן לאחר דיכוי מרד בר- כוכבא בימי הקיסר אדריאנוס. במערות הקבורה בבית שערים נתגלו קברים של יהודים מתימן שהארכיאולוגים משייכים למאה ה- לסה"נ.
המקור, הספר: מתי ואיך נוצרה התפוצה היהודית: האם היהודים הם צאצאי היהודים הקדמונים, כרך א', התקופה העתיקה. הוצאת קיבוץ דליה.
