Desa Kalirejo merupakan tempat persembunyian Pangeran Bei Joyokusumo yang notabene adalah pengawal kepercayaan Pangeran Diponegoro dalam rangka menyelamatkan diri dari kejaran tentara Belanda.

Dalam usaha menangkap Pangeran Bei Joyokusumo, Belanda membuat sayembara bagi siapa saja yang dapat membunuh beliau akan diberikan hadiah. Pada akhirnya seseorang berhasil membunuh Pangeran Bei Joyokusumo dan kepala beliau dipenggal sebagai bukti untuk mengambil hadiah sayembara dari pihak Belanda. Sedangkan badan Pangeran Bei Joyokusumo dimakamkan di dusun Sengir, desa Kalirejo, Kabupaten Kulonprogo.