据寺院现有碑文推测观音寺始建于我国南北朝时期北齐,兴盛于盛唐:在现原址之北,寺院僧众数百人,房屋二三百间,占地数百亩,分前东院西院,后东院西院,四院僧众恪守“上下均力”、“一日不作,一日不食”之规,僧众应饮食随宜,务于勤俭,各院僧众各种地一百二十五亩,全体僧众均出坡劳动。时之,庙宇规模宏大,殿堂雄伟,香火鼎盛。寺内出家僧众云集,每天诵经念佛,严持戒律,弘扬佛法,利益一方众生,别有名胜古刹之风貌。至今新郑还有“万僧岗、和尚坡”之地名。唐朝继续沿袭前朝僧官制度,管理寺院僧尼,观音寺便有“世袭替代僧官”之始。据传,新郑有士子,德才兼备,高中状元,当朝皇帝下诏封为僧官,驻地观音寺,统管所有大小寺院及违犯国法的僧尼,并派遣少林寺武僧、相国寺文僧辅佐新科状元一同治理,“重犯者刑于西红丼”其时,观音寺及其苑林“仪观雄伟”,远近闻名者纷至沓来,社会名流“皆乐游其地”。