绿围书院，据《绿围伍氏族谱》记载，始创建于清乾隆已卯年间，光绪三年岁次丁酉春冬月重修绿围书院，按《绿围伍氏族谱》中的图示，绿围书院和别墅的占地面积合计约为2690.56平方米，规模宏大，足见绿围书院当年的鼎盛与辉煌。之所以称“书院”而不叫“祠堂”，是因为它的主要作用是一座学府，是专供两广伍氏子弟来广州赴考时居住和读书之用。作为学府，只要是姓伍的子弟来广州赴考，就可以免费入住，而且还有奖学金。可见先祖为了教育好后代，齐心齐力，不惜血本，用心之良苦。
经过时代的洗礼，绿围书院1955年收归政府代管理，1992年被非法拆除，祖屋虽然被拆除，但此地盘是我伍氏先祖之遗产，其使用权仍属两广伍氏子孙。