Его крестным отцом, по некоторым данным, был Милий Балакирев, выдающийся русский композитор. Артиллерийский офицер, А.А. Оленин в период гражданской войны оказался в частях Врангеля и вместе с Южной армией, отступал через Крым, через Севастополь и далее в Константинополь, в Париж, из Парижа в Прагу. В Праге в 1939-ом году он пишет свои воспоминания о походе Белой гвардии под названием "Первая школьная батарея" ("Записки капитана Добровольческой армии 1920-1921 г.г."). В Праге же Алексей Оленин занимается историей своего рода и тех фамилий, которые с ним связаны. Как часть архива Алексея Оленина, эти материалы были пересланы в Россию его третьей женой Л.И. Олениной-Масаковой, и сейчас они хранятся в Приютине. В Приютине была выставка "Алексей Оленин. Возвращение в Россию".