红帽子回回原来是维吾尔族，清乾隆皇帝选新疆维吾尔族美女入北京宫中，封为香妃。香妃思念故乡，乾隆乃渝大臣，收一部分维吾尔族男女老少迁居皇宫附近，在长安街南侧居住，并修建清真寺。香妃想家时，则让她登上中南海中的望乡楼，举目南望，维吾尔装束的男女在“回回营”载歌载舞， 一派新疆景色。香妃乡愁暂解。这部分维吾尔族人就留下来繁衍生息，因维族喜欢戴以红色为基色的礼帽，故有红帽子回回之称。北京月坛附近的红茂沟，就是红帽子回回的坟地，当时名为红帽沟。

　　在河南开封东关一带，有—种不吃猪肉，也不信仰伊斯兰教的居民。原来这部分人是宋朝来华经商的犹太人后裔，他们被称为蓝帽回回，其实从来源上看他们既不算回回民族，也不是伊斯兰教徒。只是经过漫长的历史变迁，这部分犹太人的宗教与民族特性 逐步淡化，早已融入中华民族的大家庭。由于他们在生活习俗(突出表现是不吃猪肉)上与回回相近，所以历史上又被称为蓝帽回回，其中也有一部分人融入了回族之中。