据考证，中国最早的会馆可上溯到明朝永乐年间。最初的会馆，主要为客居异地乡人的聚会场所。山西人在异地建立会馆，最早的始于明朝隆万年间。据《藤荫杂记》卷六《东城》记载，明朝隆万年间，一个叫做贾仁元的山西万泉人，当时为兵部左侍郎。他把自己宅院南边的部分辟为三晋会馆，这是最早有文字记载的三晋会馆发端。

    当时贾仁元所创的三晋会馆规模较小，其功能也只是供在京的山西籍做官的人聚会，为来山西赶考的举子提供住宿。自从明代实施开中法以来，晋商渐渐成为明代最有势力的商人群体。而京城是全国政治、经济、文化中心，晋商因为需要在京城活动，于是在京城设商会馆。《晋冀会馆碑记》记述了第一家山西商会馆的设立。为了山西人集体祭祀方便，过节日逢喜事聚会有地方，以及联络感情互相交往有固定的场所，在山西的商人最终经过商议，在北京的布巷之东小蒋家胡同，购得房院一所，全部拆除后重新盖起屋舍，成为第一家山西商会馆。

    山西会馆其实经过一个这样的转化。它最初的功能，主要是为各地在京的官绅提供一个聚会的场所，为进京赶考的试子提供一个暂居之地，有人把这称之为“官绅会馆”或“科举会馆”。而商人由于地位低下，排在士、农、工、商“四民”之尾，他们是没有资格进入这些会馆的。不过，随着明朝中叶商业的迅速发展，商人们的地位提高，商会馆便出现了。而且，商人们的会馆与“官绅会馆”和“科举会馆”最大的不同在于，他们的置建会馆不仅仅在京城里，而是发展到全国各地的商业中心和边远地区的商业集镇，成为专门服务于商业的会馆。而“海内最富”、踪迹无处不到的山西商人的会馆，更是遍布全国各地。

    有文字可考的晋商会馆全国约有400多座，西藏、新疆等地也有晋商会馆存在。现存晋商会馆，最东面到达山东聊城（山陕会馆），东南面至江苏苏州（全晋会馆）；最西面抵甘肃张掖（山西会馆）；西南面为云南晋宁（二街圣宫）；最北面则为辽宁海城（山西会馆）；而保存最完整的是河南省社旗县的山陕会馆。