黄山遗址分布在高出地面 27 米的小山丘上， 东西长 600 米，南北宽 500 米，面积 30 万平方米。1956年春天，原南阳县在进行文物调查时就发现了这处遗址，收集到石斧、陶器等遗物，确定其为新石器时代遗址。

    1959年1月，原河南省文化局文物工作队为配合焦枝铁路建设，在遗址西南部和北部进行了试掘，发掘面积1600平方米。试掘过程为了考虑保护文化遗址而未清理到底，但依然发现房基3处，不同时期的房屋10间。其中有一处屋群略呈方形，每边通长 9~10 米，有 6 间房屋交错相连 在一起。它们有的独成一室，自开门户，设置烧灶; 有的两间互通而以隔墙分开，共设一灶; 还有单独的长方形套间房屋，屋中间都有隔壁层，辟为一大一小两间，每间中部都有灶坑。 还发现墓葬 87 座，其中成人墓 44 座，儿童瓮棺葬 17 座，长方竖穴墓 26 座等，全部埋在灰 层中，均无随葬品。黄山的文化遗存相当丰富，出土了鼎、钵、壶、盆、罐、豆、碗、盘、杯、器座、环、纺轮等各种陶器，除陶器外还出土骨器57件，石器67件。其中石器有斧、铲、镰、 凿、砺石等;玉器有铲、凿、璜;骨器有镞、簪、针、锥环、匕等;陶器有鼎、钵甑、罐、 碗、杯、盆、纺轮、弹丸等。制法均以手制为主，兼有轮制。

    2013年3月5日，黄山遗址被国务院核定公布为第七批全国重点文物保护单位。