ב-3 ביולי 1950 מפרסם
עיתון דבר ידיעה כי חבר כנסת זכריה גלוסקא בעת ששהה, בארצות הברית, שלח מכתבים לעיתונים ידועים בארצות הברית הראלד טריביון וניו-יורק טיימס ובהם הוא טוען כי הסוכנות היהודית מפלה את עולי תימן. על-פי עיתון דבר זה נוסח המכתב ששלח זכריה גלוסקא למערכות עיתונים אלה ופורסם על ידם: "היהודים התימנים בישראל נהפכים באופן שיטתי לאזרחים ממדרגה ראשונה, לחוטבי עצים ושואביי מים. אני מבין יפה את רצינות האשמותיי ואת השפעתן על העזרה האמריקנית לסוכנות היהודית, אך כיצד אוכל לשתוק ולשמור אמונים לבוחרי התימנים?
בתשובה לתלונתו כתב ד"ר נחום גולדמן מראשי "הסוכנות היהודית" דאז: "הסוכנות הודתה גם בפני זכריה גלוסקא, כי אין ביכולתה לספק לעולי תימן את כל צרכי ההלבשה, המזון ושיכון הקבע הדרושים להם, אולם סבל זה נופל באותה המידה בחלקם של יוצאי ארצות אחרות". עוד כותב גולדמן: "לא הסוכנות היהודית ולא כל מוסד אחר בארץ, אינם מפלים את יהודי תימן לרעה – אדרבה עולים אלה קיבלו זכות קדימה לגבי עולים אחרים בשיכון, וברוב המקרים אף תוספת תזונה של %30 על שניתן ליתר העולים.
העיתונות הפטריוטית דאז, תקפה במאמרים את חבר הכנסת זכריה גלוסקא על שהעז לתקוף את הסוכנות על טיפולה בעולי תימן בעיתונות האמריקנית והוציא את דיבת הארץ לעולם.
בעיתון על המשמר בתאריך 19 במרס 1950 מופיעה ידיעה תחת הכותרת "עסקן תימני עורך מגבית נפרדת בארצות הברית" בידיעה קצרה מאת כתב סט"א בניו- יורק נאמר בזו הלשון: "חבר הכנסת זכריה גלוסקא פתח כאן (בניו -יורק א.א) במגבית למען עולי תימן למרות האיסור מטעם הסוכנות היהודית".
באותה שנה 1950 תפרסמת ידיעה בעיתון חרות (2.12.1950) לפיה פקיד מחלקת הקליטה של הסוכנות דוד מליח (אולי מליחי, א.א) הגיש כנגד זכריה גלוסקא תביעת פיצויים בסך 500 לירות, בגין הוצאת לשון הרע והעלבה. בכתב התביעה טוען מליח כי ב-11 ביולי 1949 נערך בכפר הנטוש דיר אל קאסי בגליל, טקס חגיגי בהשתתפות נכבדים לציון הקמת הישוב אלקוש של עולי תימן. התובע טוען בכתב התביעה, כי היה בין מארגני הטקס וכי חבר הכנסת זכריה גלוסקא שהיה בין אורחי הטקס ניגש אליו וגידף אותו ואף ירק עליו על שהציבו בטקס כרזת ברכה על-רקע צבע אדום. לטענת התובע גלוסקא תלש בכעס את השלט, דרך עליו וקיפל אותו ואמר "שבמקום זה לא ילעיטו את המתיישבים תורה קומוניסטית שמקומה בקיבוצי "השומר הצעיר". המשפט התנהל בפני השופט מ.קנט בבית המשפט המחוזי בתל אביב. לאחר מספר ישיבות ודיונים הגיעו שני הצדדים לפשרה שכללה "סליחה ומחילה הדדית". את הנתבע גלוסקא, ייצג עו"ד א. ארזי ואילו את התובע ייצג עו"ד א. אנקוריון.
בבחירות לכנסת השנייה שנערכו ב-30 ביולי 1951 הוצב זכריה גלוסקא במקום השני ברשימת ל-מפלגת התאחדות התימנים אחרי שמעון גריידי במקום הראשון . הרשימה זכתה במנדט אחד ובקרוב ל-8000 קולות, ולכנסת נכנס שמעון גריידי. גלוסקא נותר מחוץ לכנסת. בבחירות לכנסת השלישית בשנת 1955 הוצב גלוסקא במקום הראשון ברשימת מפלגת ל'- התאחדות התימנים בישראל, הרשימה קיבלה בבחירות אלה 2448 קולות ולא עברה את אחוז החסימה. נוכח כשלונה של המפלגה עזבו רבים את הפעילות המפלגתית בה, חלק הצטרפו למפלגות אחרות והפעילות במפלגה כמעט שותקה לחלוטין.
לאורך השנים פרצו סכסוכים בין זכריה גלוסקא לחברים בהנהלת התאחדות התימנים על-רקע מאבקי שליטה בהתאחדות ודרכה .זכריה גלוסקא תמך בהופעת רשימת התימנים במפלגה עצמאית ואילו יריביו ובראשם הרב שלום גמליאל טענו שאין להופיע ברשימה עצמאית. סכסוכים ומאבקים אלה לוו לא פעם בתלונות במשטרה ונדונו לא אחת בין כותלי בית משפט.
ביום רביעי 8 באוקטובר 1958 התכנסה הוועידה הרביעית של התאחדות התימנים בישראל באולם "בית ציוני אמריקה". מהוועידה נעדר זכריה גלוסקא מי שהיה ממקימי ההתאחדות ומפעיליה הבולטים ונמסר כי הוא נעדר בשל מחלה.