Svend Åge Madsens forældre var fåmælte vestjyder, der var søgt til Aarhus, faren som assurandør, moren som postarbejder. Her bragte de fire børn til verden, hvoraf Svend Åge er den sidst ankomne. Han blev født den 2. november 1939 på Skjernvej mellem Den Gamle By og Ceres og levede her de første 25-26 år af sit liv. Skjernvej var en del af et arbejderkvarter med ret små lejligheder, hvor der ofte boede mange børn, så legekammerater var der nok af. Madsen siger selv om sit barndoms- og ungdomskvarter: "Jeg tror, at kvarteret har været vigtigt for mig. Det har betydet, at jeg har fået en rimelig kontakt med forskellige mennesketyper. Og med forskellige samfundslag." (Claus Grymer: "Århus - den evige stad". Interview i Kristeligt Dagblad, 1996-01-23). Fødebyen spiller da også en væsentlig rolle i Madsens forfatterskab, idet mange af fortællingerne har rødder i eller relation til det aarhusianske miljø.
Hjemmet var ikke særligt bogligt, og i skolen klarede Svend Åge sig middelmådigt. Kun i de matematiske fag skilte han sig dygtigt ud, og det var da også regnelæreren, der gennemtrumfede, at han kom i mellemskole frem for i lære. Svend Åge Madsen blev matematisk student fra Marselisborg Gymnasium i 1958, og i de følgende år læste han matematik på universitetet. Men da han lige netop ikke bestod studiets første del med den førstekarakter, der var nødvendig for at komme ind på det eftertragtede licentiatstudie, stoppede han sine studier. I stedet kastede han sig over forfatterkarrieren, som da også bærer præg af den unge Madsens matematikinteresse.
Springet ud i forfatterskabet var ikke helt gnidningsfrit. Gyldendal afviste hans første noveller med en begrundelse, der mente, at værkerne var for ’skizofrene’, og et tilsvarende svar gav forlaget Arena.
Men i 1962 debuterede Svend Åge Madsen med novellen "Den ottende dag" i tidsskriftet Vindrose. Herefter antog Gyldendal hans første bog "Besøget", og forfatterskabet har udviklet sig floromvundet med omtrent en udgivelse per år lige siden. I 1964 flyttede Madsen til Risskov ved Aarhus og giftede sig med ergoterapeuten Bendte Ingerlise, der er medforfatter på de tre kriminalromaner, der er udkommet under pseudonymet Marianne Kainsdatter.