1936年2月21日，根据中共西蒙工委和乌兰夫的指示，中共地下组织领导“蒙古地方自治政务委员会”的保安队千余人，在绥远的百灵庙举行武装起义。起义后，部队被国民党军包围缴械。

在全国人民的声援下，国民党被迫将他们改编为蒙旗保安总队（后改编为蒙旗独立旅、新编第三师），乌兰夫任代理政治部主任、中共党委书记，成为一支抗日民族武装力量。 

1936年2月22日凌晨4时30分，参加抗日武装暴动的爱国官兵800多人，在云继先、朱实夫和云蔚的率领下离开了百灵庙，脱离了投靠日寇的德王，向大青山以南的土默川进发了。

1937年1月26日，各路起义军胜利完成任务后，想一齐奔赴陕北与红军汇合，但他们还没有摆脱敌人的追击，就被驻绥远的国民党军队包围缴械。由于全国人民的声援，国民党才没有消灭他们，被迫将他们改编为蒙旗独立旅。

在这样的历史紧要关头，乌兰夫领导发动了百灵庙武装暴动，举起了内蒙古人民抗日救亡的义旗，沉重地打击了日本帝国主义推行"征服中国必先征服满蒙"的罪恶企图。

由此，百灵庙这个名不见经传的草原小镇，一夜之间名闻遐迩，鼓舞了全国人民御侮救亡的斗志。毛泽东所评价这是"可贵的草原抗日第一枪"。

2006年，国务院发出《关于核定并公布第六批全国重点文物保护单位的通知》，公布了文化部确定的1080处第六批全国重点文物保护单位，百灵庙起义旧址在列。