Takashi Tanaka a effectué des recherches sur leur généalogie[6]. La position de Grand Prêtre du sanctuaire Aso est héréditaire et se transmet de génération en génération, le membre masculin le plus âgé de la famille devenant le nouveau chef du sanctuaire. La famille Aso possède la deuxième plus ancienne lignée enregistrée au Japon après la famille impériale[7],[1]. La famille est elle-même dite descendante de Takeiwatatsu-no-Mikoto[1].
Dans l'histoire enregistrée, la famille a commencé comme représentants impériaux appelés Kuni no miyatsuko. Ils s'occupaient des activités de culte dans leur région. Au fur et à mesure qu'ils gagnaient en pouvoir, ils sont devenus les leaders du district d'Aso. Pendant cette période, ils étaient très puissants[4].
Déclin pendant la période Nanboku-chō
Durant la période Nanboku-chō, la famille Aso est confrontée à des problèmes[4]. Ils ont fortement soutenu la Cour du Sud[2],[4]. Ce choix, conjugué aux désaccords familiaux, affaiblit leur pouvoir. De puissantes familles militaires comme Shimazu et Omura sont également devenues de puissants concurrents. Cependant, la famille Aso a toujours eu un chef, connu sous le nom de Daiguji. Mais de nombreux membres de la famille ont été confrontés à des difficultés. Beaucoup sont morts, d’autres sont partis et certains se sont cachés dans les montagnes[4].
Changements dans la période Tensho
Pendant la période Tensho, Toyotomi Hideyoshi envahit Satsuma. Le chef de la famille Aso, le Daiguji Aso Koremitsu(en), était alors un jeune enfant. Ils tardèrent à accueillir Hideyoshi[4] et il fut assassiné en 1593 à l'âge de 12 ans[8]. Sous l’ère Keicho (1596-1614), la situation s’améliore pour la famille Aso. Kato Kiyomasa prend le contrôle de la province de Higo et aide la famille Aso. Il a ramené d'anciennes traditions et a soutenu les vieilles familles sacerdotales(en). Mais le Daiguji n’est pas redevenu un magnat territorial[4].
La famille Aso était des prêtres mais a également acquis du pouvoir en tant que puissant clan de samouraïs au XIesiècle. Ils sont restés en évidence jusqu'au XVIesiècle, leur seigneur féodal continuant de régner sur la moitié de ce qui est aujourd'hui connu sous le nom de préfecture de Kumamoto. Cela a contribué économiquement à la famille et au sanctuaire, leur permettant de reconstruire les bâtiments du sanctuaire et d'organiser des festivals. Cela leur a également permis d'établir des branches du sanctuaire Aso dans d'autres lieux. Certains de ces sanctuaires existent toujours, jusqu'à 500 emplacements à ce jour. Koreyuki Aso (Aso Koreyuki dans l'ordre des noms japonais) était le 91e Grand Prêtre du sanctuaire Aso, son fils étant le 92e[1].