Jauh sebelum tahun 1900, sudah berjalan lama pengajian di Surau Jembatan besi Padang Panjang di bawah asuhan Syekh Abdullah, merupakan salah satu di antara pengajian-pengajian cara lama yang banyak tersebar di Minangkabau. (Catatan : Pada mulanya terdapat di tempat itu hanya jembatan kayu yang pakai atap, kemudian diganti dengan jembatan besi. Itulah pertama kali adanya jembatan besi di Padang Panjang dan terkenal Surau Jembatan Besi , yang kemudian menjadi pusat pertumbuhan Ulama dan Zuama Islam yang bertebaran ke seluruh Indonesia).
Pada tahun 1907 Syekh Abdullah pindah mengajar ke Padang, dan pimpinan pengajian Surau Jembatan Besi pindah kepada Syekh Daud Rasjidi (ayahanda dati H.M.D. Dt. Palimo Kayo) dan murid-murid pengajian bertambah-tambah mendapat kunjungan dari negeri-negeri sekelilingnya dan pelajaran kitab-kitab Arab meningkat. Berhubung dengan keberangkatan Syekh Daud Rasjidi ke Makkah al Mukarramah untuk memperdalam pengetahuannya dengan Syekh Ahmad Chatib, sementara digantikan oleh kakak beliau Syekh Abdul Lathif Rasjidi (ayahanda H. Mukhtar Luthfi). Tidak lama kemudian pada tahun 1911 pimpinan Surau Jembatan Besi pindah ke tangan Syekh Abdul Karim Amarullah yang waktu itu terkenal dengan sebutan Inyiak Haji Rasul (ayahanda dari HAMKA).
Di bawah asuhan Syekh Abdul Karim Amarullah, pengajian Surau Jembatan Besi bertambah maju, pelajaran kitab-kitab Arab bertambah meningkat, penuntut-penuntut ilmu agama (yang wktu itu terkenal dengan sebutan orang siak) bertambah banyak berdatangan dari sekeliling Minangkabau dan juga dari daerah-daerah lain, Tapanuli, Aceh, Bengkulu, Malaya, Siam, dll.
Pada tahun 1911 jiwa ber-organisasi bertiup kencang menghidupkan kebathinan penuntut-penuntut ilmu Surau Jembatan Besi, maka terbentuklah satu organisasi dari guru-guru dan pelajar pengajian Surau Jembatan Besi, mulanya bernama SUMATERA THUWAILIB dan kemudian bernama Sumatera Thawalib.
Organisasi tersebut pada tahun 1914 telah berubah bentuk , pengajian Surau Jembatan Besi mendekati bentuk Sekolah, terdiri atas tujuh kelas, dengan kitab-kitab yang lebih teratur untuk setiap kelas dengan Pimpinan Guru Besar Syekh Abdul Karim Amarullah dan Tuangku Mudo Abdul Hamid Hakim selaku wakil Guru Besar dan dibantu oleh guru-guru dibawahannya, dan pengawasan dari Pengurus Sumatera Thawalib yang ketika itu diketuai oleh Engku Hasjim Tiku dan dibimbing oleh Zainuddin Labay El Junusy yang baru saja pulang dari Padang Panjang. Pengajian Surau Jembatan Besi semakin maju dan ramai, walaupun masih duduk bersela di kelas masing-masing.
Pada 1918, setahun pasca lawatan Haji Rasul ke Jawa yakni bertemu dengan Kiyai Ahmad Dahlan, Sumatera Thawalib membangun gedung baru. Ruang-ruang kelas dilengkapi bangku dan meja, serupa dengan sekolah “modern” yang dikelola Belanda. Agaknya Haji Rasul terinspirasi ketika melihat Ahmad Dahlan mengajar agama Islam di Kweekschool Gouvernement di Yogyakarta.
Semenjak itu, menurut sejarawan Taufik Abdullah dalam School and Politics, The Kaum Muda Movement in West Sumatera 1927-1933, meski sebelumnya sudah ada kurikulum berjenjang kelas, kegiatan belajar mengajar di Sumatera Thawalib tidak lagi halaqah (duduk bersila; murid melingkar guru). Dengan sistim pendidikan yang menggunakan ruangan kelas yang dilengkapi bangku dan meja, maka Perguruan Thawalib menjadi pelopor sekolah Islam modern pada zaman Hindia Belanda waktu itu.
Pada tahun 1918 Sumatera Thawalib Padang Panjang melangkah maju lagi ke depan, di samping meningkatkan pelajaran dalam Perguruan Thawalib, juga mulai mengadakan penerbitan Majalah Al Munir dipimpin oleh Zainuddin Labay El Junusy dibantu oleh Tuangku Mudo Abdul Hamid Hakim, memuat karangan- karangan yang berisi : Pelajaran atau nasehat Agama, menjawab pertanyaan- pertanyaan, memberantas khurafat, tahkyul dan bid’ah, serta sejarah dll.
Pada tahun 1920 semangat persatuan dan perjuangan mukin meningkat, maka terjadilah suatu permusyawaratan antara Sumatera Thawalib dari berbagai tempat yang berlangsung di Padang Panjang, yang telah menghasilkan satu keputusan yang sangat berharga, yaitu : Mempersatukan seluruh Perguruan Islam Thawalib dengan pimpinan pengurus besar yang pertama , terdiri dari : H. Djalaluddin Thaib, Voorzitter, dan Thaher by Secretaris teven Penningmeester, serta beberapa orang Commissarisen. Itulah hari bersejarah yang sangat penting dalam mewujudkan persatuan. Perguruan-perguruan Islam yang kelak menjadi promoter perjuangan Ummat Islam khususnya di Minangkabau ini.
Pada tahun 1921 Sumatera Thawalib Padang Panjang mulai melangkah melatih diri dalam bidang koperasi dan perekonomian pada umumnya. Pertama kali menyediakan minuman kopi/ teh dan kue-kue untuk pelajar-pelajar Sumatera Thawalib yang sudah berjumlah lebih dari 1000 orang dalam bentuk sebuah nama “Buffet Merah” dimana disediakan juga alat-alat kepentingan pelajar- pelajar berupa pena, pensil, bulu-buku tulis, singlet, benang, penjahit dsb. Kemudian mengadakan juga perusahaan dobi, rumah pangkas semata-mata untuk kepentingan pelajar.
Pada tahun 1926 di saat-saat Sumatera Thawalib sedang memuncak kehebatannya, Padang Panjang ditimpa musibah gempa bumi yang amat dahsyat sekali. Sehingga Sumatera Thawalib menghadapi dua persoalan besar :
1. Guru Besar Syekh Abdul Karim Amarullah pulang ke kampungnya di Sungai Batang Maninjau, dan pimpinan tertinggi Perguruan Islam Sumatera Thawalib pindah kepada Tuangku Mudo Abdul Hamid Hakim dibantu oleh guru-guru yang lain. Alhamdulillah Sumatera Thawalib berjalan baik dan semakin maju.
Pada tahun 1946 didirikan Yayasan Thawalib Padang Panjang diketuai oleh guru besar Tuangku Mudo Abdul Hamid Hakim, dan seluruh milik dan kekuasaan Thawalib Padang Panjang jatuhlah menjadi hak milik dan kekuasaan Yayasan tersebut dengan Akte Notaris.
Pada tahun 1963 dengan tenaga berdikit-dikit dari beberapa orang pecinta Perguruan Islam Thawalib, dimulai meneruskan kembali. Langkah pertama ialah melengkapkanPengurus Yayasan, terdiri dari : 1.H. Mansur Daud Datuk Palimo Kayo, 2.Adam Sutan Tjaniago, 3. Mawardi Muhammad, 4. H. Kamili, 5. H. Datuk Tumamad, dan beberapa pembantu yang lain-lain.
Maka dibukalah kembali Perguruan Islam Thawalib Padang Panjang dengan murid sebanyak 23 orang, di gedung Thawalib yang sudah bobrok itu. Dimana kalau hari hujan anak-anak belajar bagai orang berteduh di bawah rumpun betung, amat menyedihkan.
Ketekunan guru-guru Thawalib di bawah pimpinan Buya Mawardi Muhammad dibantu oleh guru-guru yang lain yang tidak memandang keuntungan benda (gaji), sungguh-sungguh menjadi modal pertama bagi pembukaan kembali Perguruan Islam Thawalib Padang Panjang. Karena itu murid-murid bertambah, dari tempat yang jauh-jauh berangsur datang.
Buya H. Mawardi Muhammad memimpin Perguruan Thawalib sampai tahun 1994 dengan jumlah santri ribuan orang dari seluruh Indonesia. Pada tahun 1989 dibuka pendidikan untuk perempuan dengan nama Thawalib Putri.
Semenjak tahun 2002/2003 Perguruan Thawalib membuka sekolah Taman Kanak-kanak al-Qur’an. Tahun ajaran 2004/2005 Perguruan Thawalib Padang Panjang membuka Madrasah Ibtidaiyyah Unggul Terpadu (MIUT) yang memadukan kurikulum Depag dan Diknas disamping mempunyai program unggulan berupa kurikulum asli Thawalib yang ditambah dengan program keterampilan.
Pada 24 Juli 2019, Dewan Pembina Yayasan Thawalib Padang Panjang melantik Pengurus Yayasan Thawalib periode 2017-2022 dengan meletakan Visi Yayasan Thawalib adalah : Sebagai Lembaga Pendidikan Pencetak Kader Kader Pemimpin Umat yang Tafaqquh Fiddien dengan Pengetahuan Luas, Berakhlakul Karimah dan Memiliki Jiwa Kemandirian.
Sedangkan Misi yang diemban yakni Membentuk generasi khairul ummah yang unggul dalam pengetahuan agama. Dan mendidik dan mengembangkan generasi akhlakul karimah dengan berkepribadian mandiri, berkhidmat kepada masyarakat sehingga terwujudnya pemimpin umat yang intelek
Target lulusan Thawalib Padang Panjang yang diletakan oleh Pengurus Yayasan Thawalib adalah bagaimana lulusan Thawalib dari semua tingkatan pendidikan yang ada merupakan sosok yang berakhlakul karimah, baik dalam beribadah, menguasai bahasa Arab/Inggris, hafal al-Quran, mampu membaca kitab dan siap bersaing dalam dunia pendidikan.
Saat ini jumlah keseluruhan santri Thawalib mulai dari TK, SD, Tsanawiyah dan Aliyah lebih kurang 1.300 orang yang berasal selain Padang Panjang, Batipuh X Koto, wilayah Sumbar sampai daerah daerah lain di Indonesia.
Lokasi pendidikan Perguruan Thawalib saat ini ada di tiga lokasi. Lokasi di Jalan Abd Hamid Hakim No 12 Kelurahan Pasar Usang, Kec Padang Panjang Barat adalah untuk santri putra. Kemudian di Jalan H. Agus Salim No 19 Kelurahan Guguk Melintang, Kec Padang Panjang Timur untuk santri perempuan.
