Жена 22.01.1867
гр. Елизавета Андреевна Шувалова * 1845 † 1924
Дети
гр. Иван Илларионович * 29.04.1868 † 8.12.1897
гр. Александра Илларионовна * 25.08.1869 † 11.07.1959
гр. Софья Илларионовна * 9.08.1870 † 16.04.1953
гр. Мария Илларионовна * 1871 † 1927
гр. Ирина Илларионовна * 2.12.1872 † 3.01.1959
гр. Роман Илларионович * 1874 † 1893
гр. Илларион Илларионович * 12.05.1877 † 20.04.1932
гр. Александр Илларионович * 10.04.1881 † 4.10.1938

Старшая сестра
гр. Ирина Ивановна * 1835 † 1919

ген-л.; 1881-97, министр Имп. Двора; с 1881 главнокомандующий Государственным коннозаводством; личный друг Александра III, начальник его охраны, интересны его письма императору; в Ново-Томниково (Тамбов. губ.) всемирно известный конный завод ; с.Алексеевское Хвалынского у.