Berdasarkan Anggaran Dasar dan Anggaran Rumah Tangga (AD/ART) ke-33 NU Bab V Pasal 17 huruf c, disebutkan bahwa RMI PBNU bertugas melaksanakan kebijakan Nahdlatul Ulama di bidang pengembangan pondok pesantren dan pendidikan keagamaan.  Di sinilah RMI berfungsi, yaitu sebagai katalisator, dinamisator, dan fasilitator bagi pondok pesantren untuk menuju tradisi kemandirian yang beroientasi menggali berbagai solusi kreatif untuk negeri. Lembaga ini berpijak pada upaya pengembangan kapasitas lembaga, penyiapan kader-kader bangsa yang bermutu, serta pengembangan masyarakat.  RMI memiliki nilai-nilai yang sudah menjadi budaya di dalamnya, yaitu kreatif, harmonis, responsif, ientelek, sederhana, mandiri, dan aktif. Disingkat KHARISMA.  Dengan nama Ittihad al-Ma’ahid al-Islamiyah yang dibidani oleh KH. Achmad Syaichu dan KH. Idham Kholid, lembaga ini berdiri sejak 20 Mei 1954.  Bermula dari usulan tiga orang kiai, yaitu Kiai A. Sa’doellah bersama Kiai Achmad Jufri Besuk Pasuruan dan Kiai Achmad Shiddiq Jember yang menginginan agar seluruh pondok pesantren terafilisai dalam satu wadah organisasi. Diskusi ketiga kiai ini kemudian memunculkan nama Ittihad Ma’had Islami (Persatuan Pondok Pesantren Islam).  Selanjutnya, organisasi ini diajukan kepada PBNU agar memperoleh pengesahan. Usulan ini disambut baik oleh baik oleh Kiai Abdul Wahab Chasbullah, Rois Aam PBNU saat itu. Tidak hanya itu, ia juga menyetujui bergambungnya Ittihad Ma’had Islami di bawah naungan NU.  Berikutnya, pada konferensi (1950-an) di kediaman Kiai Achmad Shiddiq Jember, Kiai Abdul Wahab Chasbullah kembali merespons baik keberadaan Ittihad Ma’had Islami. Kiai Wahab lalu mengusulkan agar namanya diganti menjadi Rabithah Ma’ahid Islamiyah (RMI). Alasannya, nama tersebut merujuk pada surat Ali Imran ayat 200, yaitu,  يَٰٓأَيُّهَا ٱلَّذِينَ ءَامَنُواْ ٱصۡبِرُواْ وَصَابِرُواْ وَرَابِطُواْ وَٱتَّقُواْ ٱللَّهَ لَعَلَّكُمۡ تُفۡلِحُونَ   Artinya, “Hai orang-orang yang beriman, bersabarlah kamu dan kuatkanlah kesabaranmu dan tetaplah bersiap siaga (di perbatasan negerimu) dan bertakwalah kepada Allah, supaya kamu beruntung.” (QS. Ali Imran [3]: 200)  Usulan ini diterima dan sampai saat ini RMI menjadi salah satu lembaga di bawah PBNU.