四大退魔家族里明确说过在现代社会下没落的，只有浅神家和七夜家。巫净家设定太少，虽然琥珀和翡翠是很惨，但这俩姐妹设定里是被逐出家门然后才被远野家收养的，不能作为巫净家没落的证据。
而退魔家族之所以会没落，设定里都写明白了：随着人类文明的发展，神秘严重衰退，现代日本不像古时一样常有妖怪恶鬼出没，社会安定后普通人也就不再需要退魔家族了。而且和退魔家族一起残存到现代的鬼种家族，在人类社会中混得却要比退魔家族好，不仅完美适应了人类社会的生活，还涉足到了日本的政界中，并用“文明”的手段对对退魔家族采取各种打压（比如远野家灭七夜家，一开始远野慎久是不断派出身为人类的黑帮和雇佣兵来不停地消耗七夜家）。
两仪家之所以没有没落，是因为两仪家和那些鬼种家族一样，积极地融入现代社会，成功找到了不依靠传统技艺来生存的新门道（注：在二世冒险里出场的日本魔术家族——夜劫家族，设定里是和两仪家族有亲缘关系，其家业非常庞大，明面身份就是日本非常有名的大黑帮，名下有很多土地、酒店、佛寺、景区……）。而浅神和七夜因为没能成功转型家族业务（其实对他们来说也很难，毕竟浅神和七夜的家传异能是高度依赖先天血脉的。两仪和巫净就刚好相反，更注重后天培养），所以一方面因为没活干、家境日渐窘迫，另一方面面临着鬼种的打压，最后自然就没落了。
