1963 Kastamonu doğumlu. Ankara Üniversitesi Hukuk Fakültesi’nden mezun oldu.
Yılmaz, Siirt-Şirvan, Aksaray-Gülağaç, Uşak-Banas, Hatay-İskenderun Cumhuriyet Savcısı görevini yürüttü.
Afyonkarahisar-Dinar, Mardin (2006-2011), İstanbul-Pendik Cumhuriyet Başsavcısı görevini yürüttü.
2012 yılında emekli olan Fehmi Yılmaz, Kastamonu’da serbest avukatlık yapıyor.
Evli ve 2 çocuk babası
7 Haziran 2015 Genel Seçimleri Milliyetçi Hareket Partisi 25. Dönem milletvekili adayıdır.