Jim Højberg er født i Fredensborg, men da han var et halvt år flyttede familien til Rønde på Djursland. Videre flyttede de til Koldby i Thy, da Jim var 7 år, og han betragter sig i dag som Thybo, skønt han flyttede derfra efter sin studentereksamen.
Jims far var lærer på Koldby skole. Og han var en storslået fortæller og en stor inspiration for Jim. Mange af hans elever husker stadig hans fortællinger, blandt andre den om, hvordan han under besættelsen kørte rundt med Winston Churchill i en kiste bag i en rustvogn. Jim Højbergs far blev stoppet af tyskerne, der undrede sig over, at der kom røg ud af kisten. Churchill lå selvfølgelig og røg sin uundværlige cigar i kisten. Faren kunne til understøttelse af historiens sandhed fremvise et ar, hvor han blev ramt af tyskerne under sin flugt. Historien er blandt inspirationskilderne til Med kisten fuld af agenter.
Som spejder var Jim Højberg den, der fortalte de andre spejdere historier i soveposen, gerne spøgelseshistorier. Senere fortalte han gennem 10 år om Agent 3-2-1-Bang i Radio Fyn.
Jim Højberg er ordblind. Det var således en kamp for ham at komme i gymnasiet. Et 6-tal i diktat sikrede ham adgangen. En lavere karakter ville have sendt ham ud på en helt anden livsbane. Jim Højberg har været bibliotekar i Højby ved Odense, Egebjerg på Sydfyn og fra 1994 i Vejle.
Det kunstneriske og poetiske menneske er centralt for Jim Højberg. Han har i Vejle opbygget Det Musiske Børnebibliotek, hvor der blandt mange andre initiativer har været ansat en danser. Han var i foråret 2004 ansat som forfatter af kommunen og udlånes til skoler og institutioner.