賽夏人是以地域和親屬關係之圖騰氏族為社會組織的基本構成單位，三五同姓（同圖騰）家族聚居為一聚落並形成一基本地域團體，也是與氏族祭團一致單元。 若干毗鄰的聚落聯合成一個村落，村落中的同姓家族則組成各姓之氏族祭團，是為各姓共有耕地，漁區互助之單位。再次則若干個同區域的部聯合成一個部落聯盟，也就是現在所稱的南賽夏或北賽夏群。
