Berdirinya Desa Kemadang diawali dari sebuah cerita, konon katanya Priyagung dari Majapahit, Prabu Brawijaya, ingin mencari ketenteraman hidup dengan menetap sementara di sebuah desa. Setelah merasa senang akhirnya ia meninggalkan desa itu, sehingga warga sekitar banyak dikatakan "rumongso wis mad anggone kekadang". Maka dari itu desa tersebut dinamakan Desa Kemadang.