Klaus Thorvald Rifbjerg blev født den 15. december 1931 på Amager. Her voksede han op i et borgerligt hjem præget af tryghed og sikkerhed, og som samtidig var frisindet og åbent. Begge forældre var lærere, og to storesøstre og en husassistent sørgede for at forkæle husets yngste medlem – altså Klaus. Det havde han i øvrigt også brug for, da han ofte var syg.
Som 11-årig forlod han den såkaldte barneskole og begyndte på Vestre Borgerdydskole. En stor del af skoletiden faldt i øvrigt sammen med besættelsesårene under 2. Verdenskrig. I gymnasieårene begyndte Rifbjerg for alvor at skrive litterært og var blandt andet involveret i revyer i gymnasieforeningen sammen med andre senere forfattere som Niels Barfoed og Villy Sørensen.
Klaus Rifbjerg blev student i 1950 og rejste et år til USA, hvor han studerede ved Princeton University. Da han vendte hjem til Danmark, startede han på Humaniora på Københavns Universitet, hvor han læste litteraturvidenskab, dansk og engelsk. Hans første publicerede digt stod i Hvedekorn i 1952, og fire år senere udkom den første digtsamling ”Under vejr med mig selv”.
Rifbjerg har sat et markant præg på dansk litteratur. Fra 1957 til 1959 anmeldte han film, teater, radio, bøger og TV i Dagbladet Information, og i perioden 1959 til 1971 skrev han hyppigt anmeldelser af litteratur, film og teater i Politiken. I 1960’erne redigerede han tidsskriftet Vindrosen sammen med Villy Sørensen, og i årene 1984 til 1991 var han skønlitterær direktør på forlaget Gyldendal. I 1986 blev han adjungeret professor ved Danmarks Lærerhøjskole, og i 2003 adjungeret professor ved Copenhagen Business School. Desuden var han medlem af Det Danske Akademi fra 1967 til 2002. I 2006 blev Rifbjerg en del af den danske kulturkanon med novellesamlingen ”Og andre historier”.
Rifbjerg har også spillet en vigtig rolle som samfundsrevser. Ikke mindst vakte det opsigt, da han i 1970 – sammen med blandt andet Ebbe Kløvedal Reich – røg hash på kulturministeriets trappe i protest mod, at teatergruppen Secret Service fik frataget støtten. I 2002 vendte de tilbage for at protestere mod bebudede nedskæringer i biblioteksafgiften – denne gang dog uden hashpiber.
Rifbjerg var gift med oversætter Inge Rifbjerg fra 1955 og frem til sin død, og sammen fik de tre børn.