​Aslen Ankara Çubuklu olan Ayhan Yılmaz 1963 yılında Altındağ’da doğdu. İlk, orta ve lise öğrenimini Ankara’da tamamladı. 1979 yılında lisans eğitimi için Mısır’a gitti. el-Ezher Üniversitesinde İslam Hukuku alanında öğrenim gördü. Ardından Medine İslam Üniversitesine geçiş yaptı ancak mücbir sebeplerden dolayı eğitimini tamamlayamadan zorunlu dönüş yaptı. Lise yıllarında Milli Türk Talebe Birliği’nde görev alan Ayhan Yılmaz, çeşitli sivil toplum kuruluşlarında aktif görevler aldı. Siyasi hayatına Refah Partisi’nde başlayan Yılmaz sırasıyla, Refah Partisi İl Yönetim Kurulu üyesi, Fazilet Partisi İl Başkan Yardımcısı, Ankara Büyükşehir Belediyesi FP Grup Başkan Vekili, 3 dönem Ankara Büyükşehir Belediyesi Ak Parti Grup Başkan Vekili, 2 dönem Ak Parti Ankara İl Başkan Yardımcısı, 5 seçimde Ankara İl SKM başkanı olarak görev aldı. Evli ve 4 çocuk babası olan Ayhan Yılmaz iyi derece Arapça bilmektedir ve ticaret ile uğraşmaktadır.

7 Haziran 2015 Genel Seçimleri Adalet ve Kalkınma Partisi 25. Dönem milletvekili adayıdır.