Első házasságát Komlósy Rózával kötötte, második felesége Gömöryné sz. Gömöry Emma 1888-ban fiatalon meghalt, harmadik felesége Novotny Laura. Gyermekei a biztosan az első házasságból született György , valamint Gyula, Aranka és Emma. Halála után sógora,György-X124   a két fiút  örökbe fogadta. (A lányok 1917-ben eredeti családnevükkel szerepelnek Novotny "nagybátyjuk!" gyászjelentésén.) Második felesége 1878-ban megkísérelte megmérgezni. A bírósági tárgyaláson feleségét ugyan kimentette a gyilkossági kísérlet vádja alól, de 1883-ban elvált tőle.