清真寺的建筑构成，无论殿堂式的还是阿拉伯式的，一般都有礼拜殿，殿内西壁有窟龛，窟龛前有“敏拜尔”(一个有阶梯和扶手的讲台)，以为宣讲教义之用；有水房子(沐室)，礼拜前在这里作小净。作为一个清真寺至少要有以上这两部分建筑。此外，有的清真寺在寺前建有较高的塔式建筑，叫宣礼楼。有的清真寺在寺内辟有经室，存放经典；还有供阿訇和学员办公、学习和休息、住宿的地方。清真寺内绝对没有任何偶像，其内外装饰也多以阿拉伯文字、几何纹和花卉纹等组成的抽象性图案为主，没有任何人形和动物形组成的图案。
宋元时期内地的几座著名的清真寺，例如广州怀圣寺、泉州清净寺、杭州真教寺、扬州礼拜寺，史志、碑文都载有修建人名字及修建始末，当属私家建筑无疑。但是，当地穆斯林可以到这里来作礼拜及进行其他非宗教性活动。明朝敕修(官修)清真寺增多。此后，清真寺大概由私人修建为主转变为官方修建或一坊教众集资修建为主。
中国清真寺与外国礼拜寺的作用不尽相同。中国清真寺不仅是礼拜的场所，而且是穆斯林群众性活动和集会的场所，是穆斯林举行婚丧仪式和宰牲以及处理民事纠纷的场所。
