Paul Antschel blev født den 23. november 1920 i byen Czernowitz i det daværende Rumænien, som i dag er beliggende i Ukraine. Han blev født ind i en jødisk familie som søn af Leo Antschel og hans hustru Fritzi. Barnet Paul lærte hebraisk på sin jødiske skole, mens sproget i hjemmet var tysk, da Pauls mor var en ivrig læser af tysk litteratur. Han talte derudover flere andre sprog som rumænsk og fransk. I 1938 rejste den unge Paul til den franske by Tours for at læse medicin. Efter at have været hjemme på sommerferie blev han dog i 1939 nægtet indrejse til den franske by, fordi han var jøde. Da Anden Verdenskrig blev en realitet, ændredes alt for familien. Forældrene blev sendt til koncentrationslejren Michailowka, hvor de begge omkom i 1942 – faderen døde af tyfus, mens moren blev skudt. Paul undslap udryddelseslejren, da han var på besøg hos en ven, da forældrene blev hentet, men han blev siden deporteret til en rumænsk arbejdslejr, hvor han var interneret fra 1942-44.
Efter krigen stod den unge Paul alene og uden noget at vende hjem til. Han rejste derfor til Bukarest, hvor han arbejdede som oversætter og begyndte at skrive digte. Han tog herefter til Wien og videre til Paris – og tog samtidig det franskklingende efternavn Celan. Fra 1948 arbejdede Paul Celan som sproglærer i Paris. Det var ligeledes i 1948, at han debuterede som forfatter med digtsamlingen ”Der Sand aus den Urnen”. I 1951 mødte Paul Celan den franske grafiker og billedkunstner Gisèle de Lestrange, som han året efter giftede sig med. De fik i 1953 sønnen Francois, som til deres store sorg døde umiddelbart efter fødslen. I 1955 blev sønnen Eric født, og Paul Celan blev samme år tildelt fransk statsborgerskab.
Fra 1954 og frem til sin død havde Paul Celan en tæt korrespondance med den tyske lyriker og nobelprismodtager Nelly Sachs, der ligesom ham var tysksproglig jøde med et skrøbeligt sind. Paul Celan havde ligeledes ad flere omgange et kærlighedsforhold til kollegaen Ingeborg Bachmann. Fra 1967 til sin død tre år senere levede Paul Celan og hans hustru hver for sig. Paul Celan begik selvmord i 1970 ved at kaste sig i Seinen i Paris. Han blev 49 år. Han er begravet på kirkegården Cimetière parisien de Thiais i Paris.