Terowongan Ijo dibangun pada kurun waktu 1885-1886 oleh perusahaan kereta api negara, Staatssporwegen (SS).
Pembangunan terowongan ini masuk ke dalam proyek pembangunan jalur kereta api Yogyakarta-Cilacap dengan panjang 184,8 kilometer.
Pada saat itu, terowongan ini dibangun dengan cara menggali tanah secara bersamaan pada setiap sisi barat dan timur mulut terowongan.
Di mana, cara ini pun dilakukan dalam pembangunan Terowongan Lampengan pada lintas Bogor-Cianjur.
Dan pada 20 Juli 1887, Terowongan Ijo ini pun dibuka untuk umum bersamaan dengan peresmian jalur kereta api Yogyakarta-Cilacap.
Di awal pengoperasiannya, Terowongan Ijo digunakan sebagai sarana penumpang serta pengangkutan komoditas ekspor seperti gula, kopi, indigo di Yogyakarta, Kedu, dan Banyumas serta pengangkutan hasil pertanian sehari-hari.
Hasil komoditas ini pun dibawa ke Pelabuhan Cilacap untuk selanjutnya dikapalkan menuju Eropa.
Saat ini, terowongan yang berada di bawah Daerah Operasi V Purwokerto itu dilewati oleh kereta api jarak jauh yang melintas jalur selatan, melayani kereta api jurusan Jakarta-Yogyakarta-Surabaya ataupun sebaliknya.
Kini Terowongan Ijo yang digunakan adalah terowongan baru yang dibangun di sebelah utara terowongan lama.
Akan tetapi, Terowongan Ijo lama itu pun tetap dipertahankan sebagai salah satu heritage.
Terowongan Ijo yang baru memiliki panjang 581 meter dengan lebar sembilan meter, berupa jalur ganda kereta api, sehingga terowongan pun dapat dilewati dua kereta api sekaligus.
Terowongan yang dibangun pada 2017-2020 ini menembus bukit kapur Gunung Malang, sama seperti terowongan lama.
Terowongan ini juga merupakan yang pertama dibangun dengan metode slab track.
Jalur di dalam terowongan baru itu diikat dengan bantalan beton dan ditanam dalam landasan beton cor tanpa ada kricak.
Peresmian terowongan baru ini dilakukan bersamaan dengan diaktifkannya jalur ganda Kroya-Kutoarjo.