Charles Bukowski blev født som Heinrich Karl Bukowski den 16. august 1920 i Andernach i Tyskland. Hans far, Heinrich Karl senior, var en tysk-amerikansk soldat udstationeret i Tyskland efter Første Verdenskrigs afslutning og hans mor, Katharina Fett, var en lokal tysk kvinde. Familien rejste til Amerika i 1922 og slog sig ned i Los Angeles, Californien. Bukowski voksede op under Amerikas store økonomiske depression i 1930’erne, og hans hverdag var præget af vold og isolation. Hans far var ofte arbejdsløs, og han lod sin bitterhed og afmagt gå ud over sin søn gennem regelmæssige tæsk.
Som teenager blev Bukowski ramt af en hudsygdom, der dækkede hele hans krop med store betændte bylder. Han havde i forvejen problemer med at kommunikere med andre mennesker, og sygdommen forstærkede blot hans følelse af at være fremmedgjort i forhold til resten af samfundet. Derfor begyndte Bukowski tidligt at drikke sig fuld, da alkoholen tilsyneladende var det eneste, der kunne dulme hans smerte og ensomhed. I løbet af sine skoleår brugte Bukowski meget tid på det lokale bibliotek, hvor især Ernest Hemingway og John Steinbeck stod for de største læseoplevelser. Efter at have taget studentereksamen fra Los Angeles High School i 1939 begyndte Bukowski at studere litteratur og journalistik på Los Angeles City College med henblik på at blive forfatter. Da Bukowskis far opdagede sønnens litterære ambitioner, blev han så rasende, at han smed ham på porten. Der var ikke plads til forfatterspirer under faderens tag. Kort tid efter droppede Bukowski ud af Los Angeles City College.
Da Amerika gik ind i Anden Verdenskrig i 1941, blev Bukowski fundet uegnet til militærtjeneste. Venner og familie opfordrede ham til at melde sig frivilligt, men han havde ingen intentioner om at deltage i en krig, der ikke vedkom ham. I stedet valgte Bukowski et liv som omvandrende vagabond. I løbet af denne periode brugte han en del tid på at rejse gennem USA på må og få. For at overleve tog han alle former for småjobs og boede alene på små lurvede hotelværelser i slumkvartererne.
Efter flere afslag fik Bukowski i 1944 trykt novellen ”Aftermath of a Lengthy Rejection Slip” i bladet Story Magazine. Han blev dog hurtigt desillusioneret med udgivelsesprocessen og skrev næsten intet i de næste ti år af sit liv. I stedet brugte Bukowski sin tid på offentlige biblioteker, hvor han læste stakkevis af bøger. Her opdagede han forfatteren John Fante, der fik stor indflydelse på hans senere værker.
I 1946 mødte Bukowski den ti år ældre Jane Cooney Baker, der var lige så alkoholiseret som han selv. Deres stormfulde forhold varede i næsten ti år, og hun blev hans første store kærlighed.
Bukowski blev i 1952 ansat som juleafløser hos postvæsenet i Los Angeles, men han sagde op efter to og et halvt år. I 1955 blev han indlagt på hospitalet med et blødende mavesår, der næsten tog livet af ham. Han fik at vide, at han aldrig måtte drikke igen, men samme dag han blev udskrevet vendte han tilbage til flasken. Efter at Bukowski forlod hospitalet, begyndte han igen at skrive, men denne gang koncentrerede han sig om poesi.