仙台师团的前身是仙台镇台（又称东北镇台），而东北镇台是1873年1月设置的，当时的大本营在仙台，第二大本营（分部）在青森。甲午战争的时候，第二师团参加了威海卫攻坚战。而日俄战争的时候所属于黑木为桢大将的第一军，转战于九连城、辽阳、沙河以及奉天。

1931年夏天被调去满洲驻屯，然而被派去没多久就爆发了九一八事变。作为九一八事变的导火线，第二师团作为主力攻击了东北军在奉天的北大营，之后转战于长春、吉林、齐齐哈尔和哈尔滨。1933年暂时被派回国整编。于1937年4月再次被派往满州，驻屯在以哈尔滨为中心的松花江区域。

七七事变爆发，第二师团的第16步兵连队被抽调出来参加了察哈尔作战和徐州会战。1940年秋天再次回国接受整编和补充新兵，原下辖的第30联队调出并和第3，36联队组建第28师团。另以第二师团留守部队和预备役部队为基础，重建第13师团。在日军中，第二师团和熊本的第六师团一起被认为是战斗力最强的部队。

太平洋战争爆发后，第二师团立即被配属给今村均中将的第16军。1942年在日军攻陷爪哇之  九一八事变之后第二师团凯旋回国后，第二师团被命令在当地执行警备和扫荡任务。于是，第二师团被卷进了与其命运相关的所罗门群岛的战役。1942年8月开始的瓜岛攻坚战，才是第二师团恶梦的开始。为了夺下瓜岛的飞机场，作为先遣队，第二师团派出了以步兵第4联队为基干而组成的那须支队(支队长那须弓雄少将)。为了与此相配合，川口支队(支队长川口清健少将，福冈的第35旅团为基础)和那须支队一同在瓜岛登陆。

9月2日，第一次瓜岛机场争夺战以日军的失败而告终。10月初，第二师团主力在瓜岛成功登陆，于24日和25日进行  瓜岛争夺战战场上日军伤亡的惨状了第二次总攻击。然而得到的又是惨败，并且以那须少将为首，步兵第16和29联队两个联队长都战死。雪上加霜的是11月3日，步兵第4联队联队长又战死了。

这就意味着在瓜岛的第二师团失去了他们所有的步兵指挥官。再加上食物和弹药的补给已经完全被切断。“瓜”岛变成了“饿”岛(日语中，“瓜”的发音和“饿”的发音相同)，不断有士兵饿死和逃走。日军大本营终于决定中止瓜岛争夺战，1942年下令撤退，而瓜岛的第二师团的残余部队直到1943年2月才全体正式撤离。

之后，第二师团在菲律宾被重建。1943年9月开始第二师团被任命担任印度尼西亚、马来西亚和新加坡的警备工作。1944年，第二师团被投入到缅甸战场，驻守仰光。1945年2月，第二师团被英军赶出缅甸，最后在越南西贡向盟军投降。