Yılmaz, İzmit Mehmet Ali Paşa Mahallesi 27Mayıs İlkokulunda okudu. Sakarya Üniversitesi İlahiyatFakültesinden mezun oldu. Aynı üniversite de yüksek lisansınıtamamladı. 

Marmara Üniversitesi İslam Tarihi bölümünde DoktoraEğitimine devam etmektedir.

BekirpaşaVakıf İlköğretim Okulu, Başiskele Misak-ı Milli İlköğretimokullarında Din Kültürü ve Ahlak Bilgisi Öğretmenliklerigörevinde bulundu. 2006 yılında merkezi Kocaeli’de bulunanManevi ve İktisadi Kalkınma Vakfı Yönetim Kurulu Başkanlığıyaptı.

İzmitMehmet Ali Paşa Milli Gençlik Vakfı Başkanlığı, Kocaeli MGV ilYönetim Kurulu Üyeliği, Sakarya MGV Üniversite Birim Sorumluluğu,Sakarya Üniversitesi Öğrenci Derneği Başkanlığı, KocaeliBüyükşehir Belediyesi Yaygın Eğitim Şube Müdürlüğündeçeşitli görevler yaptı.

Almanca ve Arapça bilen Yılmaz, evli ve iki çocuk babasıdır.

7 Haziran 2015 Genel Seçimleri Adalet ve Kalkınma Partisi 25. Dönem milletvekili adayıdır.