哈尔滨市清真寺原分东寺、西寺和女寺。东寺建于光绪二十三年（1897年），原为5间民房，20世纪30年代重建，为阿拉伯式典型建筑。

    阿拉伯建筑独辟蹊径，自成一派，与历史上任何民族的任何建筑都不相同。阿拉伯式建筑普遍采用券拱结构，这样就决定了它特殊的外形；喜欢贴彩色陶板或琉璃面砖做外装饰，具有强烈的装饰效果。阿拉伯建筑在中世纪就已经达到了辉煌的高度，清真寺便是最能代表阿拉伯建筑的主要建筑样式和风格。

    阿拉伯艺术本身就是一种装饰艺术，这种艺术集中表现在伊斯兰教的建筑上。因此，哈尔滨市清真寺建筑极为珍贵，从中使我们欣赏到阿拉伯建筑的艺术特色，它是我市建筑艺术中一朵绚丽的奇花。

    哈尔滨清真寺礼拜堂面积为426平方米，高度为13米。礼拜堂内可供五、六百人作礼拜。在殿顶上有5个隆起的蓝绿色圆顶，1大4小，竖有月牙。

    1958年，东寺与西寺、女寺合并，开放东寺，称哈尔滨市清真寺。1979年，由政府拨款修复了清真寺。重新开放以来接待了伊朗、巴基斯坦、叙利亚、利比亚、埃及、毛里塔尼亚等29个国家的外宾近千人次，其中有大使、将军、专家、学者等。

    2004年，清真寺又一次重新修缮扩建。并在清真寺前辟建了穆斯林广场，十分壮观。