据史料记载：德国强租胶州湾后，于1899年9月23日，开筑铁路工程，由青岛、胶州同时并举。至1901年4月8日，胶济铁路由青岛修至胶州并通车。

最早的胶州火车站因系胶州府所在地命名为胶州站。南京国民政府第一次管理时期，废州存县，于1936年8月改为胶县站。

1945年8月17日，八路军攻克胶县，收复胶县站，后几经扩建才形成现在火车站的规模，胶州站运营至今。

建国后，1988年12月恢复胶州站名称。目前这个二等车站仍然是青岛市接送八方来客的重要关口。