Yılmaz, 1953 Yeşilyuva doğumludur. İlk ve ortaokulu Aydın ili İncirliova ilçesinde, Sağlık Kolejini Ankara’ da tamamladıktan sonra 1972 yılında Sağlık Bakanlığının Çeşitli Hastanelerinde Röntgen teknisyeni olarak görev yaptı.

Adana İktisadi ve Ticari İlimler Akademisi Maliye ve Muhasebe Bölümünü ve İstanbul Üniversitesi Hukuk Fakültesini bitirdi. Aydın Sağlık Müdürlüğünde Şube Müdürlükleri ve Nazilli ve Söke Sağlık Meslek Liselerinde Öğretmenlik yaptı. 1996 yılından bu yana Büyük Birlik Partisinin çeşitli kademelerinde görev yapmıştır. Evli ve üç çocuk babasıdır.

7 Haziran 2015 Genel Seçimleri Saadet Partisi 25. Dönem milletvekili adayıdır.