Joseph Roth blev født i 1894 i Galicien i den østlige del af det Østrig-Ungarske rige i byen Brody. Roth kendte ikke sin far, Nachum Roth, men fortalte mange forskellige historier om hans oprindelse. Sandheden var, at han var tysk kornhandler, der kort efter ægteskabet med Roths mor, Maria Grübel, blev indlagt på en psykiatrisk institution, hvor han forblev til sin død. Roth voksede op hos moren og hendes familie, som var velhavende jødiske handelsmænd. I Galicien, hvor hovedsproget var polsk, gik Roth både i folkeskole og på gymnasium, hvor han modtog undervisning på tysk.
Mestringen af tysk skulle åbne verden for Roth, og han søgte efter at have færdiggjort gymnasiet ind på universitetet i Wien i 1914, hvor han bl.a. studerede tysk litteratur. Ved Første Verdenskrigs udbrud i 1914 anlagde Roth til at starte med en pacifistisk holdning, indtil han i 1916 meldte sig til tjeneste, som han udtjente i Galicien. Roth begyndte at skrive føljetoner og reportager i aviser og tidsskrifter. Efter krigen var han nødsaget til at droppe sine studier, og fortsatte med at virke som journalist og forfatter, og han blev en del af Wiens litterære miljø, hvor han også mødte sin kommende hustru Friederike i 1919. Sammen rejste de til Berlin i 1920, hvor han blev tilknyttet Frankfurter Zeitung som journalist. I 1925 blev han deres udsendte reporter i Paris, en by han straks forelskede sig i. Her oplevede han i en periode at være Europas bedst betalte journalist. Han blev dog erstattet med en anden i 1926, og skrev i stedet en serie rejsereportager fra bl.a. Sovjetunionen.
I 1930 fik Roth sit store gennembrud som forfatter med romanen ”Job”. To år senere kom Roths hovedværk ”Radetskymarch”. I mellemtiden blev hans hustru Friederike i 1930 indlagt på en psykiatrisk institution. Hun tilbragte resten af sit liv på institutioner, til hun blev dræbt i nazisternes gaskamre i 1940. Hendes tilstand sendte Roth i dyb personlig og finansiel krise, og han blev alkoholiker. Efter Hitlers magtovertagelse i 1933 flygtede Roth til Frankrig. På stamcafeen i Paris holdt han hof og skrev videre, dybt alkoholiseret. Han døde i 1939, 44 år gammel, af alkoholdelirium.