Tahar Ben Jelloun kom til verden den 1. december 1944 i Fès i Marokko. Familien, der bestod af forældre og fire børn, boede i en lille lejlighed i den gamle del af Fès. Faderen havde en lille butik i souk’en, hvor han solgte krydderier, og senere blev han skrædder. Som fem-årig kom Jelloun i koranskole og lærte at recitere koranvers. To år senere kom han i en tosproget fransk-arabisk skole. Fès var nemlig en del af det franske protektorat, da Frankrig var kolonimagt i Marokko.
Som 18-årig begyndte han at studere filosofi ved Mohammed V Universitetet i Rabat. I midten af 1960’erne var han med til at drive det litterære magasin Souffles, og han skrev en del kulturjournalistik. I samme periode var han involveret i studenteroprøret mod det undertrykkende og voldelige marokkanske politi, og som straf blev han sendt i militærlejr i 1966. Under sit fangenskab havde han lov til at få en bog hver tredje måned, så han bad sin bror komme med den tykkeste paperback, han kunne finde. Det blev James Joyces ”Ulysses”, og Jelloun blev fascineret af forfatterens frihed. I løbet af sine 18 måneder i militærlejr skrev han sine første digte, og fem år senere – i 1971 – blev hans første digte udgivet i ”Hommes sous linceul de silence”. Kort efter flyttede han til Paris i Frankrig, da han var blevet lamslået af militærets undertrykkelse og vold i forbindelse med studenteroprøret, og samtidig som reaktion på, at magasinet Souffles var blevet lukket af myndighederne. I Paris studerede Jelloun på Sorbonne, hvorfra han fik en doktorgrad i psykoterapi i 1975.
I 1973 udkom Jellouns første roman ”Harrouda”, men først i 1985 fik han sit litterære gennembrud med romanen ”Sandbarnet”. To år efter fik han – som den første nordafrikanske forfatter – den prestigefyldte pris Prix Goncourt for sin roman ”Den hellige nat”. Jelloun er i øvrigt også flere gange blevet shortlistet til Nobelprisen i litteratur.
Jelloun bor i en forstad til Paris sammen med sin kone Ayesha og deres fire børn. Ved siden af sit forfatterskab skriver Jelloun for tre centrale sydeuropæiske aviser, nemlig El País i Madrid, Corriere della Sera i Rom og Le Monde i Paris.