Kadıköy ilçe merkezine uzaklığı 35 km dir. Köy halkı adını köyde mezarı bulunduğu söylenen kadı isimli bir şahıstan almıştır. Köyde hale ayakta olan ve Rumlardan kaldığı söylenen bir kilise mevcuttur. Kilisenin içinin bir bölümü bakımlı bir bölümü bakımsızdır. kilisenin ne zaman ve kimin tarafından yaptırıldığı bilinmemekle beraber XIX.yüzyıla ait olduğu sanılmaktadır.
Kadıköy kilisesi, günümüze kadar sağlam olarak gelmiştir. Kesme taştan yapılan kilisenin, giriş kapısı bezemeleriyle dikkat çeker. Kapıdaki atkı taşı üzerinde kabartma olarak işlenmiş haç motifi bulunmaktadır. Kilisenin içinde, duvar resimlerinin izleri mevcuttur. Apsisin önünde, ağaçtan yapılmış ince bir işçiliğe sahip bezemeli pano vardır.