העיר אומנם ידועה כביתם של "חכמי חלם", אבל לאורך הדורות חיו בה וכיהנו בה כמה מחשובי הרבנים של יהדות פולין. היו שם ר' אליהו בעל שם, מבכירי המקובלים במאה ה-16; המהרש"א (ר' שמואל אידלס), מחשובי הפרשנים לתלמוד ורב העיר בשנים 1615-1605; והאדמו"רים ר' נתן נטע ור' אברהם השל. ומבחינתי זוהי עיר מולדתו של סבי המנוח, יעקב בלומנפלד, אשר עלה ארצה ערב השואה והיה כמעט היחיד ממשפחתו שנותר בחיים.
הקהילה היהודית בחלם נוסדה במאה ה-12, ובמאה ה-16 הייתה אחת הגדולות והחשובות בפולין. בפרעות ת"ח ות"ט (1649-1649) נרצחו 400 מיהודי העיר, אך הקהילה התאוששה במהירות יחסית ובהמשך המאה ה-17 הייתה פעילה ב"ועד ארבע ארצות" - הגוף האוטונומי של יהודי פולין. המצב הכלכלי השתפר במאה ה-18, כאשר היהודים סחרו בעורות ובסוסים, אם כי בשלהי המאה הם נפגעו מחקיקה מפלה ומחלוקת פולין שחסמה את הסחר עם רוסיה.
למרות כל התנודות הללו, האוכלוסייה היהודית של חלם גדלה בהתמדה: 1,902 בשנת 1827; כעבור 70 שנה היו בעיר 7,226 יהודים; ובשנת 1921 הגיע מספרם ל-12,064 (שהיו 52% מתושבי העיר). לאחר מלחמת העולם השנייה פעלו בעיר תנועות פוליטיות מודרניות ובראשן הציונות מחד וה"בּוּנְד" האנטי-ציוני מאידך-גיסא, אך החסידים שומרי המצוות שמרו על כוחם המוביל. בעיר הופיעו שלושה עיתונים באידיש והקהילה הצטיינה בפעולות רווחה וחסד. ערב מלחמת העולם השנייה הגיע מספר יהודי חלם ל-15,000.