Kulüp, Ziraat Bankası memuru İbrahim Yekta, Numune Mektebi öğretmeni İbrahim Bigam, Tahmil Tahliye memuru Edip Buran, memur İhsan Dağıstan, 23. Alay yaveri Üsteğmen Hasan Tahsin, ticarethane sahibi Hamit Abey, tüccar Hakkı Cemal Üçer, tüccar Hayri Güntekin, gümrük memuru Rauf Süleymaniyeli, gümrük memuru Sami İstanbullu, posta memuru Semih Can, tüccar Ömer Cevdet Türkmenelili, iskele memuru Asım Güler, tüccar Fevzi Serdengeçti, vapur kumpanyası sahibi Kazım Kırzade, Ticaret Odası memuru Lütfi Resimci, tüccar Muhammer Yeğin, 23. Alay İaşe Subayı Mustafa Lütfü, Muhasip Muhip Batıbeki ve Gümrük memuru Necati Salim tarafından 16 Ağustos 1925 Perşembe günü Mersin'de kurulmuştur. İbrahim Yekta ve arkadaşlarının kulübü kurmalarındaki amaç Türk gençliğinin, fizik ve moral kabiliyetlerini ulusal ve devrimci amaçlara yöneltmek, yurt müdafaası amaçlarını geliştirmek, beden terbiyesi ve spor yapmasını temin etmekti.

İLK YILLAR ve PROFESYONELLİĞE GEÇİŞ
Mersin İdman Yurdu, ilk başta Mersin Gençlerbirliği adıyla, renkleri kırmızı-beyaz olarak kurulmasına rağmen daha sonraki yıllarda kulüp Çukurova İdman Yurdu ile birleşmiş ve kulübün adı Mersin İdman Yurdu, renkleri ise kırmızı-lacivert olarak değiştirilmiştir.
Kuruluşundan itibaren 1949 yılına kadar bölge birinciliğini kimseye kaptırmayan Mersin İdman Yurdu, 1944 yılında Ankara'da yapılan Türkiye Futbol Şampiyonası'nda üçüncü olma başarısı göstermiştir. 1963-64 sezonunda şampiyon olarak 2. Lig'e çıkan Mersin İdman Yurdu, 2. Lig'deki üçüncü senesinde profesyonel bir kadro oluşturarak şampiyon olmuş ve ilk kez o yıl (1966-67) Lefter Küçükandonyadis öncülüğünde Türkiye 1. Ligi'ne çıkmıştır.

Kulüp, tarihinin ilk anlamlı kupası olan Başbakanlık Kupası'nı da aynı yıl Amatör Küme şampiyonu olan İzmir Denizgücü'nü 2-0 yenerek dönemin başbakanı Bülent Ecevit'ten almıştır. 1967 yılından itibaren aralıksız 7 yıl süreyle 1. Lig'de oynayan Mersin İdman Yurdu'nun bu dönemdeki en büyük başarısı 1969-70 sezonunu evinde oynadığı maçlarda yenilgi yüzü görmeden ligi 4. sırada bitirmesidir. Takım 1973-74 sezonunda 2. Lig'e düşmüş, 1975-76 sezonunda ise tekrar yükseldiği 1. Lig'de toplam 11 sezon boyunca mücadele etmiştir. Mersin İdman Yurdu, 1982-83 sezonunda evinde oynadığı 17 maçta kalesinde sadece 1 gol görerek bir sezonda kendi evinde en az gol yiyen takım olmuştur.

AVRUPA'DA İDMAN YURDU
Kulübün tarihindeki en büyük başarılarından biri de Türkiye'yi UEFA Kupa Galipleri Kupası'nda temsil etmiş olmasıdır. 1982-83 yılında Türkiye Kupası finalinde Fenerbahçe'ye 2-0 yenilerek kupayı alamamasına rağmen, Fenerbahçe'nin aynı yıl şampiyon olması ile Avrupa kupalarında mücadele hakkı kazanmıştır. Eleme maçında Spartak Varna takımı ile Mersin'de 0-0 berabere kalan İdman Yurdu deplasmanda 1-0'lık skorlarla elenmiştir.

Türkiye futbolunun en üst düzey ligi olan Süper Lig'de bugüne kadar toplamda 15 sezon boy gösteren İdman Yurdu bu ligde en son 2015-2016 sezonunda sahne almıştır. Yükseldiği Süper Lig'de tutunamayan takımımız gerek sportif başarısızlık gerekse de ödeyemediği borçları nedeniyle aldığı cezalarla üç yılda beş küme birden düşerek amatör lige kadar gerilemiştir. Bu aşamadan sonra yeniden yapılanmaya giden kulübümüz kentimizin bir başka takımı İçelspor ile birleşme yoluna gitmiştir. Bu yapılanma ile Mersin İdman Yurdu tarihinde birleşen kulüp sayısı iki (2) olmuştur. Bu sayede tarihi birikime ve Efsane Mersin İdman Yurdu ruhuna sahip çıkılmıştır. Mersin İdman Yurdu bugün çektiği onca cefadan sonra kentin birleştirici gücü olmaya devam etmekte ve mücadelesini TFF 3.Lig'te devam ettirmektedir.