虽然在1612年幕府敕封棋家时排名靠后，但到了四大家争棋的后期，井上家的人才数量和质量都已不逊于安井家，十九世纪初更是与本因坊家之间就名人棋所之位展开了激烈的争夺。而且，井上家还是日本围棋四大家中维持时间最长久的，最后一代掌门人十七世津田因硕于1963年去世。
　　除了初代掌门人中村道硕外，历代掌门人都名因硕。井上家出过两位名人，即中村道硕和三世井上道节因硕。除了两位名人之外，井上家在围棋史上值得一书的人物还有幻庵因硕：他以一己之力与四代本因坊家当主苦苦争夺棋所之位，奈何在他的棋士生涯中先后碰上了本因坊家接连出了丈和、秀和与秀策三位不世出的天才，幻庵终其一生也只能升到八段准名人，名人棋所的无上荣誉对于他、对于井上家来说，只能是吞之不下的遗恨了。
　　
　　谱系
　　元祖　中村道硕（1582-1630）二世名人 　　
　　一世　井上因硕（井上玄觉因硕、1605-1673） 　　
　　二世　井上道砂因硕（-1679）（本因坊道策的弟弟） 　　
　　三世　井上道节因硕（1646-1719）五世名人 　　
　　四世　井上策云因硕（1672-1735） 　　
　　五世　井上春硕因硕（1707-1772） 　　
　　六世　井上春达因硕（1728-1792） 　　
　　七世　井上因达因硕（1747-1805） 　　
　　八世　井上春策因硕（1774-1810） 　　
　　九世　井上因砂因硕（1785-1829） 　　
　　十世、十一世　井上幻庵因硕（1798-1859） 　　
　　十二世　井上节山因硕（1820-1856）（本因坊丈和的长子） 　　
　　十三世　井上松本因硕（松本锦四郎、1826-1891） 　　
　　十四世　井上大冢因硕（大冢龟太郎、1831-1904） 　　
　　十五世　井上田渊因硕（田渊米藏、1871-1917） 　　
　　十六世　井上惠下田因硕（惠下田荣芳、1890-1961） 　　
　　十七世 井上津田因硕（津田孝义、1896-1983）
　　
　　起源
　　井上家始自中村道硕，中村道硕在1612年幕府敕封棋家时名列第四，享50石俸禄。中村道硕是初代名人本因坊算砂的高徒，一般认为道硕的棋艺要高于其师算砂。 　　
　　采用井上家的名义，不是始于道硕这一代，而是始于道硕的弟子玄觉因硕，即一世井上因硕。 　　
　　也许是因为井上家祖师道硕是本因坊算砂的弟子，所以本因坊家和井上家关系一直很密切。二世井上道砂因硕就是本因坊道策的亲弟弟。而本因坊道策临终前还将本因坊家迹目道知托付给三世井上道节因硕。 　　
　　尽管道节后来违背道策的遗嘱自己当上了五世名人兼棋所，但道节培养本因坊道知的功绩毕竟不能抹杀。而且道策“让道知成为棋所，而不许道节有此愿望。”的遗嘱多少也太过不近人情了些。 　　
　　道节的伟大贡献还在于他编写了一部围棋诘棋名著《发阳论》，这部书至今仍被视为专业棋手必读的经典。 　
　　道节以后，井上家最有名的掌门人当数井上幻庵因硕，幻庵与本因坊丈和、本因坊秀和以及本因坊家的迹目秀策围绕名人棋所的斗争在日本棋史上是相当重要的事件。幻庵为后人称道，不仅因赞其艺之高、也不仅为惜其运之蹇，或许最主要的是敬其人之豪迈正直吧。 　　
　　幻庵因硕以后，井上家传至十六世惠下田因硕断绝。但后来又有津田孝义受同门推荐袭名十七世井上因硕，虽遭到前代遗孀惠下田美根反对，但经大阪地方法院裁决，津田获得胜诉。
　　
　　外家和门人
　　井上家的外家是服部家，其创始人是服部因淑，七世井上春达因硕的弟子，本名因彻，后升至上手（七段）。因淑还在使用因彻这个名字的时候，世人就称他为鬼因彻而名噪棋界。因淑在晚年担任井上家的教练，负责培养同门弟子，幻庵、雄节、正彻均出其手下。 　　
　　服部因淑于文化6年立桥本立彻为养子，立彻就是后来鼎鼎有名的井上幻庵因硕，但立彻于文政2年给九世井上因砂因硕要去当迹目。因淑又立另一徒弟黑川立卓为养子，改其名为服部雄节，是为服部家二世，晚年晋升七段。服部家三世是服部正彻，本姓加藤，是幻庵的内弟子，后过继给服部家，安政6年晋升七段。服部正彻有一个弟子黑田俊节，明治12年五段时曾向方圆社社长村濑秀甫（本因坊秀甫）挑战十番棋，名气不小，后来在方圆社升至六段。 　　
　　幻庵因硕的门下有中川顺节，他在大阪地区有许多弟子，所以井上家在关西地区的根基比较深厚。