От первого Брака Андрей Панин воспитывал дочь Надю, которая потом уехала в Америку, но связь он с ней поддерживал. Вторая жена Наталья Рогожкина родила ему двух сыновей. По одной из версий, перед смертью Панин как раз расстался с Рогожкиной, но многие его знакомые утверждают, что это не так. Но супругу актера так и не пустили в квартиру, где лежало тело ее мужа, она так и просидела в машине у подъезда и не видела того, что творилось в квартире. Напомним, что, по информации СМИ, дети Андрея Панина до сих пор не знают, что их отца нет в живых.