Józef Teodor Konrad Korzeniowski blev født ind i en fattig polsk adelsfamilie i Berdyczów i Ukraine. Faderen, Apollo Korzeniowski, skrev politisk ladede skuespil og oversatte Alfred de Vigny, Victor Hugo, Charles Dickens og William Shakespeare fra fransk og engelsk. I 1861 blev Apollo arresteret af de russiske myndigheder for at have været med til at organisere det, der blev til Januaropstanden i 1863-1864. Han blev sendt i eksil i Rusland, og hans kone Ewelina og den dengang fireårige Józef fulgte med. På grund af Ewelinas svage helbred fik Apollo i 1865 lov at flytte med familien tilbage til Ukraine, hvor Ewalina efter få uger døde af tuberkulose. Faderen døde fire år senere, og Józef blev forældreløs i en alder af 11 år.
Han kom i pleje hos sin morbror i Kraków, Polen, og som 16-årig tog han til Frankrig for at blive sømand efter at være blevet nægtet statsborgerskab i Østrig-Ungarn og dømt til 25 års tvungen militærtjeneste i den russiske hær. I 1878 tog Józef arbejde på et britisk skib med Konstantinopel som bestemmelsessted. Da skibet vendte tilbage til Lowestoft i England, gik han for første gang i land i Storbritannien.
Knap en måned efter at være ankommet til England påbegyndte han den første af seks ture fra Lowestoft til Newcastle, og her begyndte han at lære engelsk fra besætningen. I 1886 fik han certifikat som koffardikaptajn, blev britisk statsborger og ændrede officielt sit navn til Joseph Conrad.
I 1891 blev Conrad førstestyrmand på skibet Torrens. Tre år efter forlod han søen og begyndte sin litterære karriere, efter at have skrevet sin første roman, ”Almayers Folly” (”Almayers dårskab”), om bord på Torrens. Romanen foregår på østkysten af Borneo og blev udgivet i 1895.
I 1896 giftede Conrad sig med en engelsk 16 år yngre kvinde fra arbejderklassen, Jessie George, som han fik sønnerne John og Borys med. Bortset fra adskillige ferier i Frankrig og Italien, en tur til Polen i 1914 og et besøg i USA i 1923 boede Conrad resten af sit liv i England.
Selvom Conrads talent hurtigt blev anerkendt af den engelske intellektuelle elite, fik han først folkelig succes i 1913 med udgivelsen af ”Chance” (Tilfældet).
Conrad døde den 3. august 1924 af et hjerteslag og ligger begravet i Canterbury, England, under sit oprindelige polske efternavn, Korzeniowski.