מהפיליטונים שנשא מול קהל חבריו לכיתה או לתנועה עבר א.ב יהושע אל הכתיבה הספרותית. "מכתב של גשמים" היה סיפורו הראשון, כך כתב על עותק הסיפור שנשמר בארכיון, עותק שהוקלד במכונת הכתיבה. הסיפור נכתב ככל הנראה בשנת 1953 או 1954, וכתוב בסגנון עגנוני כל כך, עד כי אהרון מגד, שהיה עורך כתב העת הספרותי "משא", כתב בחזרה לפרח הסופרים הנלהב: "כן, לא רע, יש משהו, אבל איך אפשר לכתוב בחיקוי שלם כזה של עגנון?". הסיפור מספר על מכתב חשוב שכמעט ולא מגיע ליעדו ועל כותב המכתב שמתקשה לקבל את רוע הגזרה.
המעבר אל הספרות היה חד, אבל גם לא מלא. ועל זאת יעידו פיליטונים מאוחרים שהמשיכו להיכתב בידי יהושע, ואפילו בעת שירותו בצבא. "יום שבת בחרמון" - שהכותרת המשנית שלו היא לא פחות מ"פרק נוסף מספר מלחמות היהודים" - מספר על הפעם ההיא שסילקה הפלוגה שבה שירת רב"ט אברהם יהושע את הישראלים המטיילים בחרמון עבור בדיקות שגרתיות ביטחוניות ביום שבת אחד, עמוס במיוחד על ההר.
בשנת 1963 יפרסם א.ב יהושע את ספרו הראשון, קובץ סיפורים בשם "מות הזקן". הרומן הראשון שלו יהיה "המאהב", שיראה אור בשנת 1977. בשנות ה-80 יתרום את ארכיונו לספרייה הלאומית, מה שסייע בשימור הטיוטות של יצירותיו - מרבית טיוטות הסיפורים הקצרים שחיבר לא נשמרו מסיבה זאת.
למרות זאת, הארכיון השופע הוא עדות עשירה לפועלו של אחד מעמודי התווך של הספרות העברית. השיטוט בין נבכי הארכיון הוביל אותנו גם אל תיק אחד שהכיל "כמה אמרות שלקחתי מהלוח היומי שלי", על-פי יהושע. האמרה השנייה הייתה "האמנות אינה משלח יד אלא גזר דין", ועליה הוסיף א.ב יהושע המנוח את פרשנותו שלו:
- כשהאדם נתקף ברצון היצירה, אין הוא רואה זאת כמשלוח יד אלא כגזר דין. אנו מכירים את שמות האומנים הידועים והמצליחים, אבל לידם פועלים אלפי אומנים שאינם זוכים להכרה ואינם זוכים לתגמול כספי, ואף על-פי כן הם לא ירפו ממסירותם לאומנותם, שגוזלת את זמנם ואת ממונם ולפעמים גם מחבלת בחיי משפחתם. כאילו נגזר עליהם גזר דין. גזר דין קשה ומתיש. אבל גזר דין בעל משמעות עמוקה. וגם אם פירות יצירותיהם נראים בעיני אחרים, ולפעמים אף בעיני היוצרים עצמם, עלובים ולא ראויים, הם לא ירפו לעולם מן התקווה שאולי יבוא היום ומתוך מסירותם וחיפושיהם במקום שבו הם כלאו מרצונם את עצמם, תאיר להם בשורה שאותם הם יתנו מיד כמתנה לעולם.