日據臺灣的1926年，林書揚出生於台南州曾文溪畔的麻豆林家。清末，麻豆林家與板橋林家、霧峰林家有「臺灣三大林」之稱，都算是大地主。林書揚的父親是四房的第四代，在大正初年（1911年）分到六、七十甲左右的田地，算是中上地主。
殖民地的工農大衆，在經濟和政治的支配關係中承受著極爲沉重的壓力；農民不但沒有選擇種植作物的自由，更沒有自由販賣生産品的權利。麻豆地帶以稻和蔗作爲主，稻農和蔗農的人口密度相當高，在高壓統治之下，以蔗農爲主要成員的農民組合運動於是風起雲湧，不少極富才華、熱情洋溢的青年男女穿梭奔馳在這塊平原上。1927年，臺灣農民組合本部設置在麻豆街；組合長恰恰就是林書揚的家庭醫師黃信國。到了1928年，農民組合成員迅速增長爲四萬之衆，近三分之一的高組織率；全島爆發了四百幾十件大小爭議，其中，轟動一時也牽動殖民地反帝戰局的幾場大鬥爭，都集中在曾文溪流域的幾個城鎮鄉村。
林書揚的父親是一個堅持漢民族意識的地方士紳，好讀四書、五經等傳統古典，寫得一手好楷書，相信儒教入世的改良主義，更對漢人落後性的一面深以爲耻。他每天必讀漢文報紙，並花很多時間與來訪客人討論時局，雖然基於土地占有者的自衛心態而不敢正面抵抗殖民當局，但對日本殖民統治的批判是嚴厲的，終其一生也沒有和日本人打過交道。林書揚念到公學校二年級時，他特地央請一位族人，從厦門帶回數册小學國文教科書，親自督導林書揚每天學習一個小時。後來他又叫林書揚到附近的漢文私塾學習漢文，直到臺灣全面禁止民間私塾爲止。因此，他給成長中的林書揚的最大影響也是漢民族主義。
林書揚從出生到成長的階段，正是殖民地臺灣左翼社會主義運動從萌芽到頓挫的十五年期間（1921-1936）。1931年，日本帝國主義發動九一八事變後，臺灣農民組合及其他反帝運動團體持續遭到破壞。1936年，殖民當局全面禁止使用漢文，推行「皇民化運動」，企圖徹底消滅臺灣人民的民族意和抵抗精神。1937年，日本帝國主義發動蘆溝橋事變，全面侵略中國。殖民地臺灣也進入最最黑暗的歷史時期。隨著經濟的資本主義化和傳統地方階級的沒落趨勢，晚年的林書揚的父親所擁有的土地已經減半了。這樣的時代氣氛與家庭背景，對林書揚以後的學習方向、人生觀與世界觀的養成，自然起到很重要的影響。
1940年，林書揚考上錄取率低，主要是臺灣人子弟念的台南州立第二中學校。比林書揚的父親小十五、六歲的大表哥莊孟侯醫師(1901-1949)當了他的保證人，並讓他寄宿一段時日。莊孟侯就讀醫學校期間學習到現代社會科學的知識，成爲反殖民運動的積極分子，當選過1927年臺灣文化協會左傾後的中央常務委員、宣傳部員、教育部長與機關刊物《大衆時報》董事等職，並因領導1928年台南市反對昭和登基清冢的南門墓地事件，遭到官憲扣押調查，從此被殖民當局列爲重要的反日分子。他把林書揚當大人，經常認真地和他談論並批判日本軍國主義教育。
在南二中，林書揚自覺地抵抗學校的日本軍國主義教育，並補强自己對臺灣人民反帝鬥爭歷史的認識，於是設法找一些制度上不允許的，有關小時候所看到的、聽到的農組、文協鬥爭的材料來研讀。他因此在莊孟侯的藏書中找到了左派理論的經典、新文協殘缺的泛黃的運動傳單，並且在家鄉通過地方老農學會了他們當年所唱的農組戰歌與共産黨人所唱的勞動歌曲。通過這樣的秘密學習，他間接繼承了臺灣反帝左翼運動的傳統。在莊孟侯建議下，他又翻讀了早年受到政治迫害而離開大學的著名的日本馬克斯主義教授編寫，頁數不少的《社會科學辭典》，打下了在往後漫長獄囚生涯中反芻變革理論的知識基礎。
1945年2月間，南二中畢業前幾個星期，還不足歲的林書揚接到臨時召集令，被徵入高雄山區警衛兵器彈藥庫的部隊當國民兵。爲了防備已經反攻占領菲律賓群島的美軍將在臺灣登陸作戰，在極度不安和焦慮中，他們每天被迫構築顯然毫無勝算的防禦陣地。4月間，聽到美軍跳過臺灣攻向沖繩島的消息，大家都鬆了一口氣，但想到面積不大的沖繩島要承受美國的戰艦和機群殘酷無情的轟炸，心情非常沉重。他看到部隊中少數沖繩籍的技術員掛念槍林彈雨下的家鄉却强忍著的悲痛表情，除了深刻同情他們，也痛切體會了戰爭的恐怖和罪惡。他知道多行不義的日本帝國正處在自作自受的困境之中，但可悲的是，這種侵略戰爭的代價總是由多數無辜的民衆來承擔。
8月，日本無條件投降。月底，林書揚復員返鄉。彼時，父親已於1942年病逝，再加上戰爭末期一直沒有固定收入，作爲小地主的家境已經沒落。由於在日本早稻田大學研習法律的五哥沒有任何音訊，在同時期校友口中享有「才子」美稱的林書揚，毅然犧牲就讀大學繼續深造的機會，進入糖廠做會計，擔負起家庭的經濟責任。儘管如此，他並沒有怠惰於思想的學習與實踐。不曾具備本土運動中的真正中國經驗的他，投入了地方「還中會」的復歸祖國宣傳活動。他站在人民左翼的立場，密切注意著大陸階級內戰的狀况，同時學習波濤汹湧的新民主主義革命的理論與鬥爭經驗，從而在十分自然地復活的臺灣左翼傳統的中國意識驅動下，真實地擁抱了不同於臺灣統治當局的紅色祖國。
1949年夏秋之交，在大陸的內戰戰場全面潰敗的蔣介石政權撤退臺灣，同時針對以中共臺灣地下黨爲核心的臺灣左翼運動，展開全面而徹底的紅色肅清。來年5月31日半夜，25歲的林書揚在家裏被秘密逮捕。麻豆地區一共有36人同案被捕，9月30日3人被槍决；林書揚與另外8人被判無期徒刑，其他刑期不等。這就是50年代白色恐時期的所謂「麻豆案」。
繫獄期間，林書揚的大哥、大嫂、三哥、四哥與母親相繼過世。然而，誠如陳映真所見證，面對家裏一連串變故却不能回家奔喪的林書揚，無論是在高墻圍繞的泰源監獄或是幽渺的綠島集中營，依然一貫嚴肅而認真地面對自己那漫無終結的囚人生涯。
1984年12月17日，60歲的林書揚與另一同案李金木，終於在繫獄34年又7個月之後假釋出獄。
基於反共戒嚴令尚未解除的政治顧忌，出獄後，林書揚沈潜寫作，靠稿費維生。首先，陳映真與王曉波「到處(其實範圍相當有限)」幫他「留心工作機會」。他於是通過閱讀日文的書報雜誌，大量翻譯介紹了進步的思潮與政論。
