Yeşilce belediyesi, 1950 yılında alınan danıştay kararı ile kurulmuştur. Belediyenin kuruluş tarihinde beldenin nüfusu 2000`in üzerindedir.
1 Aralık 1959 tarihli bakanlar kurulu kararıyla Yeşilce bucak merkezi haline getirilmiştir. Yeşilce bucağına; Beyağaç, Yevelli, Gülpınar, Celal, Armutkolu, Yağmurlar, Sarıyayla ve Konacık köyleri bağlanmıştır. Konacık dışında bu köyler halen Yeşilceye bağlı bulunmaktadır.
Yeşilce uzun süre Şebinkarahisar`a bağlı bir köy olarak kalmıştır. 1805`de Şebinkarahisar`a bağlılığı kalkarak Trabzon iline bağlanan Yeşilce 1871 yılında ise Sivas`a bağlanmıştır. Pazar yeri olarak kullanılan Mesudiye ilçe olduktan sonra Yeşilce Mesudiye`ye bağlanmıştır.
Yeşilce`nin hangi tarihte kurulduğu kesin olarak bilinmemektedir ancak 1500`lü yıllarda buraya gelen üç kardeş tarafından kurulduğu söylenmektedir. Bu üç kardeş eski caminin bulunduğu yere gelerek o zaman orman içinde bir alan olan bu yeri, yerleşme alanı olarak seçmişlerdir. Hasan, Mehmet Çavuş ve Kara Ahmet adındaki bu üç kardeş köyün kurucuları sayılmaktadır. Bu kişilerin isimlerini taşıyan yerler günümüzde de vardır.
Bu üç kardeşin dışında Yeşilce`ye sonradan Celal Köyünden Celaloğulları, Tokat`tan Ağcaoğulları, Ulubey`den Cenikoğulları, Çavdar Köyünden Çavdarlıgil ve Zara`dan Abazaoğulları gelerek yerleşmişlerdir.
Türkler`in Yeşilce bölgesine yerleşmesinden önce bölgede Rumlar, Ermeniler yerleşik durumdadır. Bunlardan kalma kalıntılar halâ varlığını korumaktadır. "Kilise Boğazı" ve "Kilise" bunlardan bazılarıdır. Daha önce yaşamış ve tarihi henüz belirlenememiş Uygarlık kalıntılarına da rastlanmaktadır. Bunlardan Konacık Kaya Mezarları, Kale Köyü Kalesi, Sarayderesi ve Eğircesudaki Saraycık, insanlar tarafından işlendiği söylenen Sofukırık mağarası ve Çataloluk yöresindeki Delik-taş bunlar arasındadır.