6 Kasım 1947 tarihinde İstanbul'da doğdu. Ortaöğretimine Avusturya Lisesi'nde başladı ve İstanbul Erkek Lisesi'nde bitirdi. 1971 yılında Ankara Üniversitesi Siyasal Bilgiler Fakültesi Maliye ve İktisat Bölümü'nden mezun oldu. 1972-1974 yılları arasında Almanya'nın Köln Üniversitesi İktisadi ve Sosyal Bilimler Fakültesi'nde yüksek lisans çalışması yaptı. 1975-1983 yılları arasında kimya, tekstil ve ulaştırma sektörlerinde, çeşitli özel şirketlerde yönetici olarak görev aldı.
1983 yılının Mayıs ayında kurulan Anavatan Partisi'nde kurucu üye ve Genel Başkan yardımcısı oldu. Aynı yıl Kasım ayında yapılan genel seçimde Rize milletvekili seçildi. Birinci Turgut Özal hükümetinde Bilgilendirmeden Sorumlu Devlet Bakanlığı'na atandı ve hükümet sözcülüğü yaptı. 1986 yılında Kültür ve Turizm Bakanı oldu. Bu dönemde Türkiye-Federal Almanya ve Türkiye-Yugoslavya ekonomi karma komisyonlarının başkanlıklarını yürüttü. 1986 yılında ANAP içerisinde yaşanan Turgut Özal ile Bedrettin Dalan arasındaki ayrışmada Dalan tarafında olsa da Özal'ı karşısına almamıştır.
29 Kasım 1987 seçimlerinde yeniden Rize milletvekili seçildi. İkinci Özal hükümetinde Dışişleri Bakanlığı'na atandı. 1988 yılından sonra Avrupa Demokrasi Birliği genel başkan yardımcılığı yaptı. Yılmaz, Akbulut Hükümeti'nde de üstlendiği bu görevden 20 Şubat 1990'da istifa etti.
15 Haziran 1991 tarihinde yapılan Anavatan Partisi Büyük Kongresi'nde genel başkanlığa seçildi. Kurduğu hükümet 5 Temmuz 1991 günü TBMM Genel Kurulu'nda güvenoyu aldı. 20 Ekim 1991 günü yapılan genel seçimlerden sonra ana muhalefet partisi lideri olarak çalışmalarını sürdürdü.
24 Aralık 1995'te yapılan genel seçimler sonrası Anavatan Partisi ile Doğru Yol Partisi tarafından oluşturulan 53. hükümetin başbakanı olarak görev yaptı.
28 Şubat sürecinde mecliste muhalefet milletvekilleri azınlıkta olmasına rağmen, Cumhurbaşkanı Süleyman Demirel tarafından hükümeti kurmakla görevlendirildi ve Demirel'in eski partisi DYP'den kendine yakın milletvekillerini istifa ettirerek onları Demokrat Türkiye Partisi adı altında toplayıp ANAP-DSP-DTP koalisyonuna (ANASOL-D hükümeti, 55. hükümet) sokmasıyla 20 Haziran 1997'de üçüncü kez başbakan oldu. 25 Kasım 1998'de, Cumhuriyet Halk Partisi'nin (CHP) kendisi ve devlet bakanı Güneş Taner için verdiği gensoru önergelerinin TBMM'de kabul edilmesinden sonra istifa etti. 18 Nisan 1999 tarihinde yapılan genel seçimlerde partisinin büyük oy kaybına rağmen DSP-MHP-ANAP koalisyonunda yer alarak Devlet Bakanı ve Başbakan Yardımcısı oldu.
3 Kasım 2002 seçimlerinde partisinin %5 oy oranı ile barajın altında kalmasından sonra görevinden istifa etti. Rize'den milletvekili seçilecek oy oranına ulaşmasına rağmen lideri olduğu ANAP %10'luk barajın altında kaldığından milletvekili seçilememiştir.
25 Mayıs 2007'de Rize'den bağımsız milletvekilliği adaylığını açıkladı. 22 Temmuz 2007 tarihinde yapılan genel seçimlerde Rize'den bağımsız milletvekili olarak meclise girmeye hak kazandı. 2009 yılında Anavatan Partisi ile Doğru Yol Partisi'nin birleşmeleri sonucu kurulan Demokrat Parti'ye 31 Ekim 2009'da geçti. 15 Ocak 2011 tarihinde Namık Kemal Zeybek'in genel başkan seçilmesinin ardından Demokrat Parti'den 18 Ocak'ta istifa etti.
Almanca ve İngilizce bilen Mesut Yılmaz, aslen Hemşinli olup Rize ilinin Çayeli ilçesinin Çataldere köyündendir. 1975 yılında Berna Hanım ile tanışan ve 1976 yılında evlenen Mesut Yılmaz'ın bu evlilikten Yavuz ve Hasan adlarında iki çocuğu oldu.
Yaklaşık 2 yıl boyunca akciğer kanseri sebebiyle tedavi gören Mesut Yılmaz, Mayıs 2020'de beyin sapında tümör saptandı. Tümör nedeniyle de ameliyata alınan Yılmaz'ın o tarihten itibaren tedavisi devam etti. 2 yıl boyunca kanserle mücadele eden 72 yaşındaki Yılmaz, gelişen tıbbi durumlar nedeniyle 30 Ekim 2020 tarihinde hayatını kaybetti.01 Kasım Pazar günü toprağa verildi. Türk Milletinin başı sağ olsun.