Tahun 1930 an, Imam Zarkasyi datang dari daerah kecil di Jawa Timur bagian selatan yakni Ponorogo untuk belajar ke Thawalib. Keinginan belajar tersebut tidak terlepas dari motivasi dan pesan yang disampaikan guru beliau ketika mondok di Solo, Jawa Tengah.
Kata guru beliau kalau ingin belajar ke Mesir tidak perlu pergi ke Mesir sebab berbagai pengetahuan yang diajarkan di Mesir sudah dibawa oleh para alim ulama yang ada di Sumatera Thawalib Padang Panjang.
Kedatangan Imam Zarkasyi ke Thawalib setelah terjadi gempa dasyat Padang Panjang tahun 1926. Gempa tersebut mengakibatkan bangunan Sumatera Thawalib di Jembatan Besi Padang Panjang luluh lantak. Sehingga tempat belajar pada waktu itu tidak bisa dipergunakan.
Pada saat gempa tersebut kepemimpinan Sumatera Thawalib beralih dari Syekh Abdul Karim Amrullah (Ayah Buya Hamka) kepada Tuanku Mudo Abdul Hamid Hakim.
Pada tahun 1926 Syekh Abdul Karim Amrullah pulang ke kampung beliau di Sungai Batang Maninjau setelah memimpin Thawalib sejak tahun 1911.
Tuanku Mudo Abdul Hamid Hakim sebagai pimpinan baru tidak diragukan keilmuannya. Beliau adalah salah seorang murid Syekh Abdul Karim Amrullah yang brilian.
Ketika Sumatera Thawalib dipimpin Tuanku Mudo Abdul Hakim lokasi sekolah sudah pindah yang awalnya di Jembatan Besi ke daerah dekat Lubuk Mata Kucing atau lokasi sekolah saat ini. Kepindahan lokasi sekolah karena akibat gempa dasyat Padang Panjang.
