落合集落は、東祖谷のほぼ中央、祖谷川と落合川の合流点より山の斜面にそって広がる集落である。集落の起源は明らかになっていないが、平家の落人伝説や開拓伝承などが祖谷地方には残っている。集落内の高低差は約３９０ｍにも及び急傾斜地に集落を形成している。
江戸中期から昭和初期に建てられた民家や、一つひとつ積み上げた石垣と畑などの光景は、なつかしい山村の原風景を醸し出している。
平成17年に国の重要伝統的建造物群保存地区に選定された。