这一切还要从汉武帝派霍去病带兵攻打匈奴和南溪古寨金氏家族始祖金日磾的故事说起。
霍去病是大将军卫青姐姐的儿子,平时寡言少语,胆气过人。元朔六年(公元前123年),年仅十八岁的霍去病受汉武帝宠爱,被任命为侍中,善于骑马射箭,曾两次随卫青出征匈奴,后被封为剽骑校尉。他作战勇敢,亲自率领800名轻骑兵,驰骋几百里,杀敌2028人,杀死匈奴单于祖父辈的籍若侯产,活捉单于叔父罗姑比,武帝大喜,封霍去病为冠军侯,赐1600户。
元狩二年(公元前121年),汉武帝命霍去病为骠骑将军,率一万骑兵,从陇西出发北击匈奴,转战六天,杀折兰王,破卢胡王,还俘虏了浑邪王的儿子及匈奴的相国、都尉,歼灭8000人,并俘获休屠王的祭天金人。休屠族是匈奴部落中地位极为重要的一支,专门负责制作和保护整个匈奴民族的祭天金人,祭天金人相当于匈奴人的正统祖传神器,其神圣程度类似于后来蒙古族人中的土尔扈特人,专门保存蒙古族英雄成吉思汗战神旗一样神圣;也与犹太人与耶鲁撒冷哭墙的重要关系一样神圣。
同年夏,霍去病再攻匈奴,越过居延泽,经过小月氏攻到祁连山俘虏卢涂王,杀敌3万,俘虏了5个匈奴小王及其妻儿老小59人。同年秋,休屠王因被霍去病打败,又丢了匈奴民族最为神圣的祭天金人,怕受到单于的惩罚,就与浑邪王共谋降汉,霍去病奉命领兵一万人,前去迎接。中途,休屠王变卦,被浑邪王杀死,其子日磾(音同密敌)及阏氏被俘虏,随浑邪王与休屠王两部落约七万人归汉。