בית הקפה נפתח בשנת 1941 וב-1956 הועבר לניהול הזוג אברהם ושרה שטרן. בשנת 1966 מת אברהם ורעייתו שרה עברה לנהל את בית הקפה לבדה. שרה הייתה אישה כריזמטית בעלת נוכחות וניהלה את בית הקפה ביד רמה. הכל עבר דרכה.
בית הקפה שכן בסמוך למערכת עיתון "דבר" ונהגו לשבת בו עיתונאים, פוליטיקאים, סופרים ואמנים. בין יושבי בית הקפה בתקופות שונות, כך מספרים, היו נתן אלתרמן, אורי ליפשיץ, מנשה קדישמן, דן בן אמוץ, נתן זהבי, עמוס לביא, יורם קניוק, רוני סומק, עמוס קינן, יזהר אשדות ואלונה קמחי. כן גם גדעון סער, שלי יחימוביץ, איתן כבל, סילבן שלום, יורם קניוק דודי בוסי. כשנסגר עיתון "דבר" התפזרו העיתונאים בין בתי הקפה השונים.
בסוף שנות ה-80 התפרסם בית הקפה בקרב הציבור הרחב בארץ בזכות השיר "גרה בשינקין" שכתב יאיר לפיד: "גרה בשינקין, שותה בקפה תמר רוצה לעשות גם סרט קצר". השיר, אותו ביצעה להקת "שלישיית מנגו", הפך ללהיט והביא פרסום רב לבית הקפה, גם בקרב הציבור הלא תל אביבי וכזה שלא הכיר את קפה תמר.
קפה תמר לא היה בית קפה יפה במראהו. מיושן ודהוי היה. גם הקפה והמזון בו לא היו מהמשובחים על-פי עדויות יושביו. אבל היה בו כנראה קסם והילה לא מוסברים. עובדה ששרד במשך למעלה משבעה עשורים ונחשב מבתי הקפה היותר ידועים בעיר ואף נכתבו עליו שירים.
כשנודע על הכוונה להרוס את בית הקפה המיתולוגי נעשו בקרב יושביו הקבועים מאמצים להצילו ולהמשיך פעילותו. היום אפשר לקבוע סופית כי מאמצים אלה כשלו. בית הקפה נסגר ביוני 2015. כשלושה חודשים לאחר סגירתו נפטרה בעלת ומנהלת בית הקפה שרה שטרן והיא בת 90.
