关于“疍家”起源有多种说法，其中一种说法来源于早前他们居住的舟楫外形酷似蛋壳漂浮于水面；另一种说法是因为这些水上人家长年累月生活在海上，像浮于海面的鸡蛋，所以被称为“疍民”。而疍家人自己则认为，他们常年与风浪搏斗，生命难以得到保障，如同蛋壳一般脆弱，故称为“疍家”。

有研究学者认为“疍民”是古越族的后代，被人称为中国古代最伟大的航海家；解放前他们因为常年漂泊海上，又被称为海上的“吉卜赛”人。对于疍家人的来历，学术界一直没有定论，大部分研究者认为疍家人是原居于陆地的汉人，秦朝时被官军所迫，逃入江海河上居住，以捕鱼为生，此后世代传承。

从元朝到清朝很长的一段时间里，疍民备受欺凌，他们没有部落，没有田地，以海为生。岸上的原住居民规定“疍民”不准上岸居住，不准读书识字，不准与岸上人家通婚，科举的名册中也从来没有“疍民”的名字。官府也不把流动渔民入册，是没户籍的  。新中国成立后，疍民才陆续上岸定居。