James Baldwin blev født i 1924 i Harlem. Hans mor, Emma Berdis Jones, forlod hans biologiske far og giftede sig med James Baldwin, der var prædikant i Baptistkirken, og som hun fik otte børn med, som han behandlede bedre end James Baldwin, som på trods af dette kaldte ham far. I mange år troede Baldwin, at han ligesom sin far skulle være prædikant i kirken. Baldwin var sort og fattig, men han var også klog og god til at gå i skole. Han gik på DeWitt Clinton High School, og hans atletikveninde introducerede ham for billedkunstneren Beauford Delaney, som boede i Greenwich Village, New Yorks store kunstnerkvarter dengang. Af ham lærte Baldwin, at man også som sort kunne blive kunstner. Baldwin blev i de år også venner med skuespilleren Marlon Brando.
Som 24-årig var Baldwin blevet træt af homofobien og racismen, der overskyggede alting i New York for ham. Han emigrerede til Paris, hvor han blev en del af Rive Gauche-bevægelsen af progressive intellektuelle og kunstnere. Selvom han vendte tilbage til USA, skulle han også senere købe et hus Saint-Paul-de-Vence i Sydfrankrig, som han endte med at tilbringe størstedelen af sine sene leveår i.
Baldwin vendte i 1957 tilbage til USA, hvor borgerrettighedsbevægelsen netop var ved at tage form. Baldwin var tidlig til at genkende vigtigheden i denne kamp, og han begyndte at skrive om og rapportere fra den. Blandt andet i det boglange essay ”Down at the Cross,” der udkom første gang i to forlængede udgaver af The New Yorker, og som siden blev til bogen ”The Fire Next Time” (1963. ”Næste gang”, 1963), hvor Baldwin møder lederen af Nation of Islam, Elijah Muhammed. Baldwin blev venner med Martin Luther King og Malcolm X, og han var klarsynet nok til at se, at den del og hersk-strategi, det hvide USA prøvede at føre igennem, ikke gjorde de to skikkelser til modsætninger, men bare forskellige udtryk for den samme kamp: den militante og den formidlende. Baldwin så aldrig sig selv som en borgerrettighedsaktivist. Han havde en dyb sorg over ikke at organisere lokalt, men kunne også se vigtigheden i hans egen opgave, nemlig at formidle det sorte Amerikas vilkår og kampe til det Hvide.
Baldwin døde af kræft i maven i sit hus i Sydfrankrig i 1987.