Sumatera Utara lahir tanggal 15 April 1948 dengan wilayah mencakup tiga keresidenan, yaitu, Aceh, Sumatera Timur, dan Tapanuli. Ibu kotanya waktu itu belum di Medan, melainkan di Kutaraja, sekarang Banda Aceh. Gubernur Sumatera Utara yang pertama dijabat oleh Mr. S.M. Amin.
Berdasarkan penemuan arkeologi,
Sumatera Utara diketahui dihuni sejak zaman Mesolitikum. Penghuninya disebut sebagai orang Austro Melanesoid, banyak mendiami daerah muara sungai. Pada tahun 2000 SM, Sumatera Utara mulai dihuni oleh orang Proto Melayu dan kemudian dihuni pula oleh orang Deutro Melayu yang berasal dari daerah bagian selatan Cina.
Pada awal tarikh Masehi, penghuni Sumatera Utara sudah menjalin hubungan dagang dengan orang-orang dari India dan Cina. Sekitar tahun 775 Masehi, Sumatera Utara termasuk dalam wilayah kekuasaan Kerajaan Sriwijaya. Pemerintahan dengan system Kerajaan di Sumatera Utara muncul pada abad 15, yaitu dengan munculnya Kerajaan Nagur, Aru, Panai, dan Batangiou. Pada suatu ketika, terjadi peperangan antara Kerajaan Nagur dan Kerajaa Batangiou yang dimenangkan oleh Kerajaan Nagur.
Karena kemenangan dalam peperangan tersebut, Kerajaan Nagur menjadi penguasa seluruh Simalungun. Pada abad 16, di Tapanuli muncul suatu kerajaan yang didirikan oleh keturunan Sisingamangaraja, yaitu Kerajaan Batak. Kerajaan ini kemudian mencakup seluruh Tapanuli, sampai ke Angloka, Mandailing, dan Dairi. Sementara itu, di daerah pesisir timur Sumatera Utara terdapat sebuah kerajaan besar bernama Kerajaan Aru. Wilayahnya meliputi daerah yang sangat luas, dari perbatasan Aceh sampai ke muara sungai Barumun, meliputi daerah Langkat, Deli Serdang, Asahan, dan Labuhan Batu.
Karena kemenangan dalam peperangan tersebut, Kerajaan Nagur menjadi penguasa seluruh Simalungun. Pada abad 16, di Tapanuli muncul suatu kerajaan yang didirikan oleh keturunan Sisingamangaraja, yaitu Kerajaan Batak. Kerajaan ini kemudian mencakup seluruh Tapanuli, sampai ke Angloka, Mandailing, dan Dairi. Sementara itu, di daerah pesisir timur Sumatera Utara terdapat sebuah kerajaan besar bernama Kerajaan Aru. Wilayahnya meliputi daerah yang sangat luas, dari perbatasan Aceh sampai ke muara sungai Barumun, meliputi daerah Langkat, Deli Serdang, Asahan, dan Labuhan Batu.
Ketiga kerajaan di atas, yaitu, Nagur, Batak, dan Aru terus menerus terlibat persaingan memperebutkan hegemoni di wilayah Sumatera Utara. Kekuasaan Kerajaan Nagur semakin luas, meliputi daerah pedalaman Asahan, Serdang Hulu, Tanah Karo sampai ke daerah Gayo atas, meliputi seluruh daerah pedalaman bagian utara Sumatera Utara. Sementara itu Kerajaan Batak (Sisingamangaraja) memperluah pengaruhnya ke seluruh Tapanuli, beberapa daerah di tanah Karo, bahkan kemudian merebut wilayah Simalungun yang sebelumnya di bawah kekuasaan Kerajaan Nagur. Sedangkan Kerajaan Aru, ketika itu mendapat ancaman dari tiga kekuasaan bedar di Selat Malaka, yaitu, Aceh, Portugis, dan Johor. Untuk menghindari ancaman itu, pusat Kerajaan Aru dipindah ke daerah pedalaman, yaitu di Deli Tua, sekarang wilayahnya sekitar sepuluh kilometer dari Medan.
Pengaruh Aceh ke Sumatera Utara masuk pada abad 17. Seorang Panglima Aceh bernama Gocah Pahlawan dating ke Deli Tua dan menikah dengan putrid Wan Baluan dari Sunggal. Gocah Pahlawan inilah yang menurunkan raja-raja Deli dan raja-raja Serdang. Pada tahun 1669, beberapa daerah pesisir timur Sumatera Utara direbut oleh Siak. Siak kemudian menyusun pemerintahan berdasarkan aturan Minangkabau.
Masuknya pengaruh Penjajahan,
Pada abad 19, pengaruh Belanda mulai masuk. pada tanggal 1 Februari 1859, Siak menandatangani penjanjian penting dengan Belanda. Isinya adalah pengakuan dari penguasa Siak bahwa daerahnya termasuk dalam kekuasaan Belanda. Belanda juga diizinkan membangun pangkalan di Bengkalis dan daerah yang yang dirasa perlu. Belanda juga diizinkan, bila perlu, mengutip pajak di daerah-daerah kekuasaan Siak. Belanda kemudian mengangkat seorang Asisten Residen di Siak. Kekuasaan Belanda ketika itu meliputi seluruh daerah jajahan Siak, yaitu daerah pesisir timur Sumatera. Sementara itu, di wilayah pesisir barat Sumatera Utara, kekuasaan Belanda mulai masuk sejak berakhirnya perang Paderi di Sumatera Barat. Untuk wilayah tanah batak pedalaman, cengkraman kekuasaan Belanda ditandai dengan adanya "perjanjian tembaga". Penjanjian tersebut berisi permintaan bantuan raja Gedombang dari Mandailing terhadap Belanda untuk menghadapi Paderi. Dengan adanya perjanjian tersebut, Belanda mulai menancapkan pengaruhnya di pedalaman Sumatera Utara. Selain itu, Belanda juga menyerang dan memduduki Pulau Nias pada tahun 1863. Pada tahun 1834, Belanda mendirikan Keresidenan Tapanuli. Pusat keresidenan berada di Sibolga dan menguasai empat daerah afdeling, yaitu, Sibolga en Omstreken, Angkola en Sipirok, Batakladen, dan Nias. Pada tanggal 1 Maret 1887, Belanda membentuk keresidenan di daerah Sumatera Timur.
Masuknya pengaruh Penjajahan,
Pada abad 19, pengaruh Belanda mulai masuk. pada tanggal 1 Februari 1859, Siak menandatangani penjanjian penting dengan Belanda. Isinya adalah pengakuan dari penguasa Siak bahwa daerahnya termasuk dalam kekuasaan Belanda. Belanda juga diizinkan membangun pangkalan di Bengkalis dan daerah yang yang dirasa perlu. Belanda juga diizinkan, bila perlu, mengutip pajak di daerah-daerah kekuasaan Siak. Belanda kemudian mengangkat seorang Asisten Residen di Siak. Kekuasaan Belanda ketika itu meliputi seluruh daerah jajahan Siak, yaitu daerah pesisir timur Sumatera. Sementara itu, di wilayah pesisir barat Sumatera Utara, kekuasaan Belanda mulai masuk sejak berakhirnya perang Paderi di Sumatera Barat. Untuk wilayah tanah batak pedalaman, cengkraman kekuasaan Belanda ditandai dengan adanya "perjanjian tembaga". Penjanjian tersebut berisi permintaan bantuan raja Gedombang dari Mandailing terhadap Belanda untuk menghadapi Paderi. Dengan adanya perjanjian tersebut, Belanda mulai menancapkan pengaruhnya di pedalaman Sumatera Utara. Selain itu, Belanda juga menyerang dan memduduki Pulau Nias pada tahun 1863. Pada tahun 1834, Belanda mendirikan Keresidenan Tapanuli. Pusat keresidenan berada di Sibolga dan menguasai empat daerah afdeling, yaitu, Sibolga en Omstreken, Angkola en Sipirok, Batakladen, dan Nias. Pada tanggal 1 Maret 1887, Belanda membentuk keresidenan di daerah Sumatera Timur.
Keresidenan Sumatera Timur berpusat di Medan, terdiri atas empat daerah afdeling, yaitu, Deli Serdang, Simalungun dan Karolanden, Langkat, dan Asahan.
Perluasan kekuasaan Belanda itu, banyak menimbulkan perlawanan rakyat. Namun, semua perlawanan tersebut tidak diorganisir dengan baik dan selalu dalam kekuatan yang kecil sehingga Belanda dapat meredam semua perlawanan tersebut. Perlawanan sengit baru terlihat ketika Belanda memperluas kekuasaannya ke daerah pedalaman, yaitu, tanah Batak. Perlawanan dipimpin oleh Sisingamangaraja XII. Perlawanan tersebut tersebar luas, selain di Toba, juga mencapai daerah kekuasaan Sisingamangaraja lainnya seperti Aceh Tenggara, Dairi, Pakpak, Karo, Simalungun, dan Toba sebelah selatan. Perlawanan Sisingamangaraja berlangsung 30 tahun, yaitu dari tahun 1877 sampai 1907.
Setelah mematahkan perlawanan Sisingamangaraja ini, berarti Belanda sudah menguasai Sumatera Utara secara penuh.
Perlawanan terhadap Belanda mulai muncul kembali pada awal abad 20. Kali ini pergerakan lebih secara politik dan digerakan oleh tokoh-tokoh yang berpendidikan seperti Tan Malaka, Dr. Pirngadi dan Adenan Nur Lubis. Pada saat itu, banyak bermunculan organisasi-organisasi politik yang sebagian diantaranya merupakan cabang dari organisai yang berpusat di Jakarta. Mereka adalah Syarikat Ilam, PNI, Gerindo, Partindo, Al Jami'atul Washliyah, NU, Muhammadiyah, dan organiasi-organiasi pergerakan lain.
Di Tapanuli terdapat pula organisasi keagamaan, khususnya gerejani yang masuk ke daerah ini sejak abad 19. Pengaruh nasionalisme mulai terasa dalam gereja sekitar tahun 1930. Sejumlah orang Batak yang tergabung dalam perkumpulan Hatopan Kristen Batak mengkritik gereja yang masih dipimpin oleh bangsa asing.
Pada tanggal 13 Maret 1942, Tentara Jepang memasuki Medan.
Mereka kemudian menduduki Mesjid Raya untuk dijadikan benteng. Dalam waktu ingkat, pasukan Jepang dapat menduduki kota-kota penting di Sumatera Utara. Raja-raja di Sumatera Utara kemudian diperintah untuk membantu pelaksanaan berbagai kebijakan pemerintah Jepang. Jepang memerintah di Sumatera Utara secara sewenang-wenang, dan menyengsarakan rakyat. Diantara kebijakan yang menyengsarakan rakyat adalah Romusha. Romusha bertujuan memobilisasi seluruh rakyat untuk membantu Jepang dalam pembangunan pertahanan di kawasan Asia Tenggara.
Banyak diantara para romusha ini dikirim ke luar negeri seperti Birma, Thailand dan tempat lain untuk dipekerjakan secara paksa dan tidak manusiawi.
Dua hari setelah Jepang menyerah kepada sekutu, yaitu pada17 Agustus 1945, bangsa Indonesia memproklamasikan kemerdekaannya. Di awal kemerdekaan ini, Sumatera Utara termasuk dalam wilayah provinsi Sumatera. Seperti diuraikan di atas, pada tanggal 15 April 1948, Sumatera Utara terbentuk dengan wilayah mencakup tiga keresidenan, yaitu, Aceh, Sumatera Timur, dan Tapanuli.
Pada tanggal 3 Oktober 1945, Dr. F. Lumbantobing diangkat sebagai residen Tapanuli. Selanjutnya dilakukan pembentukan KNI di seluruh wilayah yang disertai dengan pembentukan Pemuda Republik Indonesia (PRI). Dalam memperingati tiga bulan proklamasi kemerdekaan, tapatnya tanggal 17 Oktober 1945, di Tarutung dilakukan rapat umum yang dihariri oleh seluruh rakyat setempat. Dalam kesempatan itu, rakyat mengucapkan ikrar setia kepada pemerintah Republik Indonesia.
Pada era RIS, identitas Sumatera Utara hilang karena wilayahnya masuk dalam Negara Sumatera Timur. Pada tanggal 15 Agustus 1950, pasca kembalinya RI dari bentuk RIS ke NKRI, provinsi Sumatera Utara kembali terbentuk dengan wilayah mencakup tiga keresidenan, yaitu, Aceh, Sumatera Timur, dan Tapanuli dengan Medan ditetapkan sebagai Ibukotanya. Gubernur definitif pertamanya adalah A. Hakim yang kemudian pada tahun 1953 diganti oleh Mr. S.M. Amin. Pada tahun 1956, Aceh berdiri sendiri sebagai provinsi, dengan demikian wilayah Sumatera Utara hanya mencakup wilayah Sumatera Timur dan Tapanuli. Kondisi wilayah ini tetap sampai sekarang. Pada tahun 1956 ini SM. Amin diganti oleh St. Kumala Pontas yang menjabat gubernur sampai tahun 1960.
Sampai awal terbentuknya rezim Orde Baru, Sumatera Utara masih disibukan dengan konflik-konflik baik vertical ataupu horizontal. Akibat konflik tersebut, empat gubernur berikutnya tidak bisa melakukan pembangunan.
Mereka adalah Raja Junjungan Lubis (1960-1963), Eny Karim (1963-1963), Ulung Sitepu (1963-1965), dan P.R. Telaumbanua (1965-1967).
Pembangunan daerah baru bias dilakukan di era Orde Baru. Gubernur yang menjabat pertama di era Orde Baru adalah Brigjen Marah Halim Harahap (1967-1978).
Gubernur berikutnya adalah Mayjen E.W.P. Tambunan (1978-1983), Mayjen Kaharuddin Nasution (1983-1988), Mayjen Raja Inal Siregar (1988-1998), Mayjen Teungku Rizal Nurdin (1998-2005), Rudolf Pardede (2005-2008), dan Syamsul Arifin (2008-2013).