Kata “madrasah” dalam bahasa Arab adalah bentuk kata “keterangan tempat” (zharaf makan) dari akar kata “darasa“. Secara harfiah “madrasah” diartikan sebagai “tempat belajar para pelajar”, atau “tempat untuk memberikan pelajaran”. Dari akar kata “darasa” juga bisa diturunkan kata “midras” yang mempunyai arti “buku yang dipelajari” atau “tempat belajar”; kata “al-midras” juga diartikan sebagai “rumah untuk mempelajari kitabTaurat’.

Kata “madrasah” juga ditemukan dalam bahasa Hebrew atau Aramy, dari akar kata yang sama yaitu “darasa”, yang berarti “membaca dan belajar” atau “tempat duduk untuk belajar”. Dari kedua bahasa tersebut, kata “madrasah” mempunyai arti yang sama: “tempat belajar”. Jika diterjemahkan ke dalam bahasa Indonesia, kata “madrasah” memiliki arti “sekolah” kendati pada mulanya kata “sekolah” itu sendiri bukan berasal dari bahasa Indonesia, melainkan dari bahasa asing, yaitu school atau scola.

Sungguhpun secara teknis, yakni dalam proses belajar-mengajarnya secara formal, madrasah tidak berbeda dengan sekolah, namun di Indonesia madrasah tidak lantas dipahami sebagai sekolah, melainkan diberi konotasi yang lebih spesifik lagi, yakni “sekolah agama”, tempat di mana anak-anak didik memperoleh pembelajaran hal-ihwal atau seluk-beluk agama dan keagamaan (dalam hal ini agama Islam).

Dalam prakteknya memang ada madrasah yang di samping mengajarkan ilmu-ilmu keagamaan (al-’ulum al-diniyyah), juga mengajarkan ilmu-ilmu yang diajarkan di sekolah-sekolah umum. Selain itu ada madrasah yang hanya mengkhususkan diri pada pelajaran ilmu-ilmu agama, yang biasa disebut madrasah diniyyah. Kenyataan bahwa kata “madrasah” berasal dari bahasa Arab, dan tidak diterjemahkan ke dalam bahasa Indonesia, menyebabkan masyarakat lebih memahami “madrasah” sebagai lembaga pendidikan Islam, yakni “tempat untuk belajar agama” atau “tempat untuk memberikan pelajaran agama dan keagamaan”.

Para ahli sejarah pendidikan seperti A.L.Tibawi dan Mehdi Nakosteen, mengatakan bahwa madrasah (bahasa Arab) merujuk pada lembaga pendidikan tinggi yang luas di dunia Islam (klasik) pra-modern. Artinya, secara istilah madrasah di masa klasik Islam tidak sama terminologinya dengan madrasah dalam pengertian bahasa Indonesia. Para peneliti sejarah pendidikan Islam menulis kata tersebut secara bervariasi misalnya, schule Nakosteen menerjemahkan madrasah dengan kata university (universitas). la juga menjelaskan bahwa madrasah-madrasah di masa klasik Islam itu didirikan oleh para penguasa Islam ketika itu untuk membebaskan masjid dari beban-beban pendidikan sekuler-sektarian. Sebab sebelum ada madrasah, masjid ketika itu memang telah digunakan sebagai lembaga pendidikan umum. Tujuan pendidikan menghendaki adanya aktivitas sehingga menimbulkan hiruk-pikuk, sementara beribadat di dalam masjid menghendaki ketenangan dan kekhusukan beribadah. Itulah sebabnya, kata Nakosteen, pertentangan antara tujuan pendidikan dan tujuan agama di dalam masjid hampir-hampir tidak dapat diperoleh titik temu. Maka dicarilah lembaga pendidikan alternatif untuk mengembangkan ilmu pengetahuan dan pendidikan umum, dengan tetap berpijak pada motif keagamaan. Lembaga itu ialah madrasah.

George Makdisi berpendapat bahwa terjemahan kata “madrasah” dapat disimpulkan dengan tiga perbedaan mendasar yaitu: Pertama, kata universitas, dalam pengertiannya yang paling awal, merujuk pada komunitas atau sekelompok sarjana dan mahasiswa, Kedua; merujuk pada sebuah bangunan tempat kegiatan pendidikan setelah pendidikan dasar (pendidikan tinggi) berlangsung. Ketiga; izin mengajar (ijazah al-tadris, licentia docendi) pada madrasah diberikan oleh syaikh secara personal tanpa kaitan apa-apa dengan pemerintahan.