Som nævnt udkastede J.P. Jacobsen tidligt arbejdsplanen for romanen Atheisten , der også skulle fortælle hans eget livs historie, men først i 1880 udkom romanen, der fik navn efter sin hovedperson Niels Lyhne . I sin komposition ligner Niels Lyhne en dannelsesroman: helten begynder og slutter sit liv på den fædrene gård. Men i modsætning til dannelsesromanen udvikler helten sig ikke og går til grunde på den ateisme, han nok kan tænke sig til, men ikke leve på. Niels Lyhne er derfor kun på overfladen naturalistisk programlitteratur. Selv om den behandler ateismens problem tematisk, handler den i mere fundamental betydning om tab og meningsløshed.
Romanens komposition er løs, og består af en række stemningsfortættede tableauer, hvor bipersonerne passerer revy. Et aspekt, Georg Brandes også har øje for i sin anmeldelse: “Niels Lyhne føres ganske som Heltinden i den tidligere Roman gennem en Allé af Bipersoner.” Jacobsen har med vilje tidsforskudt romanens ateisme-problematik en generation tilbage, for romanen handler netop om ‘dårlige ateister’, dvs. førstegenerationsateister, der tvivler på deres standpunkt. Romanens handling foregår i perioden 1828-1864 og koncentreres om knudepunkter i Niels´ liv: hans barndom, studentertid, trekantsdramaet med Erik og Fennimore, hans ægteskab og til slut tre dødsfald: Hans hustrus, hans søns og hans eget.
Det, der gør Niels Lyhne til en moderne figur, er, at han mangler greb i livet: “ Hvor han misundte dem de Andre, Smaa og Store, som, hvor de saa greb hen i Tilværelsen, altid fik fat i en eller anden Hank! - for han kunne slet ingen Hanke finde. ” Niels Lyhne er en resignationens rytter, der som type er karakteristisk for sin tid og har en række slægtninge i den europæiske litteratur. Han er stemningsdyrkende og veg, men samtidig sensibel. Han kan ikke slå rod noget sted og lider nederlag i forsøgene på at knytte sig til andre mennesker. Sit eget liv oplever han som tomt.
Rent abstrakt gør Niels Lyhne sig til talsmand for den ny tids filosofi, ateismen, men eksistentielt viser han sig udygtig til at leve efter den. Hans liv former sig som en lang række af tab, og skønt han kommer vidt omkring, er han ensom blandt mennesker. Han har intet klart livsmål, underlægges ikke afgørende sociale bindinger, og da han langt om længe finder hjem, tages alt det vundne fra ham. Hans unge hustru svigter ham på dødslejet til fordel for sin barnetro, hans søn dør af feberkramper trods bønner til den Gud, han ikke tror på, og selv dør Niels Lyhne af sine sår i slaget ved Dybbøl.