Svend Åge Madsens forældre var fåmælte vestjyder, der var søgt til Aarhus, faren som assurandør, moren som postarbejder. Her bragte de fire børn til verden, hvoraf Svend Åge er den sidst ankomne. Han blev født den 2. november 1939 på Skjernvej mellem Den Gamle By og Ceres, hvor han levede de første 25-26 år af sit liv. Skjernvej var en del af et arbejderkvarter med ret små lejligheder, hvor der ofte boede mange børn, så legekammerater var der nok af. Madsen siger selv om sit barndoms- og ungdomskvarter: "Jeg tror, at kvarteret har været vigtigt for mig. Det har betydet, at jeg har fået en rimelig kontakt med forskellige mennesketyper. Og med forskellige samfundslag." (Claus Grymer: "Århus - den evige stad". Interview i Kristeligt Dagblad, 1996-01-23). Fødebyen spiller da også en væsentlig rolle for det Madsenske forfatterskab, idet mange af fortællingerne har rødder i eller relation til det århusianske miljø.
Hjemmet var ikke særligt bogligt, og i skolen klarede Svend Åge sig middelmådigt. Kun i de matematiske fag skilte han sig dygtigt ud, og det var da også regnelæreren, der gennemtrumfede, at drengen kom i mellemskole frem for i lære. Det var således naturligt nok den matematiske linje på Marselisborg Gymnasium, der tiltrak den unge mand, og hvorfra han fik studenterhuen på i 1958. De følgende år læste han matematik på universitetet, men da han lige netop ikke bestod studiets første del med den førstekarakter, der var nødvendig for at komme ind på det eftertragtede licentiatstudie, stoppede han sine studier. I stedet kastede han sig over forfatterkarrieren, som da også bærer præg af den unge Madsens matematikinteresse.
Springet ud i forfatterskabet var ikke helt gnidningsfrit. Gyldendal afviste hans første noveller med en begrundelse, der mere end antydede, at skribenten måtte være skizofren, og et tilsvarende svar gav forfatternes forlag Arena.
Men i 1962 debuterede Svend Åge Madsen med novellen "Den ottende dag" i tidsskriftet Vindrose. Herefter antog Gyldendal hans første bog "Besøget", og forfatterskabet har udviklet sig floromvundet med omtrent en udgivelse per år lige siden. I 1964 flyttede Madsen til Risskov ved Aarhus og giftede sig med ergoterapeuten Bendte Ingerlise, der er medforfatter på de tre kriminalromaner, der er udkommet under pseudonymet Marianne Kainsdatter. Indtil konens død i 2013 levede de sammen på Vestre Strandallé – kun afbrudt af kortere ophold i USA, Algeriet og Indien.