Tavşanlı’ya ilk yerleşen Yörüklerin yerleştikleri saha Kavaklı Cami ve çevresi olup burada yaptırdıkları ilk ibadet mekanıdır.
Tavşanlı, Germiyanlıların 1260 yılında Kütahya’ya gelmelerinden çok önce (1118 yılı öncesinde) Yörüklerin gelip yerleştiği bir yerleşim yeridir. Tavşanlı’nın en eski Camisi olduğu ve hayırsever bir Yörük tarafından yaptırıldığı bilinen Kavaklı Camisinin yapım kitabesinde Hicri 511 yılı,yani miladi 1118 yılı okunmaktadır.
Cami duvarında sene 511 (M. 1118) tarihi yazılıdır. Cami, Osmanlı döneminde, 1798’de esaslı bir onarım görmüş ve bugünkü şeklini almıştır. En son onarım ise 1946 yılında yapılmıştır. Cami, kesme taştan yapılmış olup, dış cephede derz araları sıva ile belirginleştirilmiştir.