Ian Rankin voksede op i den lille skotske by Cardenden, eller Car-dead-end, som han kaldte byen som dreng, fordi den end ikke ejede en boghandler. Den unge Rankin underholdt sig med at skabe fantasiverdener, tegne tegneserier, skrive sangtekster til selvopfundne rockbands og historier. I gymnasiet blev et af hans digte trykt i skolebladet, og senere valgte han at studere litteratur på universitetet i Edinburgh. Her påbegyndte han i midten af 1980’erne en ph.d. om den skotske forfatterinde Muriel Spark, men hans egen skrivetrang tog overhånd, og han opgav forskningen.
Rankins første roman blev aldrig udgivet, men i 1986 debuterede han med ungdomsdramaet ”The Flood”. Allerede året efter udkom den første kriminalroman om John Rebus ”Knots and Crosses” (”Blodbrødre”, 1995), og siden har han udgivet omkring en bog om året. Ifølge Rankin selv blev han krimiforfatter ved et tilfælde. Hans indgang til genren gik via Umberto Ecos bøger om litteraturteori med læsninger af James Bond og Sherlock Holmes.
På universitetet mødte Rankin Miranda Harvey, og de to blev gift. Parret flyttede til London, hvor Rankin i en tid passede et job som redaktør af et hifi-magasin ved siden af skriveriet. Senere flyttede de til Frankrig og fik to børn. I seks år forsørgede familien sig ved eget landbrug, og Rankin fik tid til at hellige sig skrivningen. Hans store gennembrud kom i 1997 med den ottende bog i serien om den knotne og kyniske antihelt, politimanden John Rebus. ”Black and blue” (”Fortids synder”, 2000) modtog bl.a. den prestigefyldte krimipris Diamond Dagger og blev derudover indspillet som den første episode af TV-serien ”Inspector Rebus”.
I februar 1999 lå hele otte af Rankins titler på den skotske bestsellerliste, hvilket gav Rankin en plads i Guinness Rekordbog som den bedst sælgende forfatter. Ud over kriminalromanerne har han også skrevet en graphic novel, en libretto, et radiospil for BBC, litteraturkritik og tre thrillere under pseudonymet Jack Harvey.