香港特殊學校議會由本港各類別的特殊學校組成，所有本地註冊認可的特殊學校，皆可成為會員學校。現時，本港所有特殊學校皆為議會的會員學校。

香港特殊學校議會成立的宗旨，是為促進香港特殊學校與特殊教育的發展，關注特殊學校，包括其學生及教職員的權益。此外，議會亦擔任特殊學校與教育局，以致會員學校之間的溝通橋樑，並舉辦各類型有助促進專業發展及合作的活動。

香港特殊學校議會的執行委員會，由各個特殊學校類別互選一至三名該類別學校的校長組成，每屆任期為兩年。