居民主要为汉族，占99．64%。祁阳有29个民族，汉族为主。少数民族28个，有瑶、蒙、回、藏、苗、壮、满、白、傣、黎、水、布依、侗、土家、哈尼、拉祜、仫佬、布朗、彝族等。1998年底统计，全县少数民族共4301人，占全县总人口96.6万人的0.44%。少数民族中，瑶族最多，1998年3900人，占全县总人口的0.4%，占少数民族总人口的90.6%，为县内少数民族之最。其他少数民族一族只几十人，少则几人，甚至1人。