1915 m. baigė Veiverių mokytojų seminariją.
Mokytojavo Vilniaus dviklasėje lietuvių pradinėje mokykloje.
1917 m. Vilniaus konferencijos (Lietuvių konferencija) narys.
Nuo 1918 m. Vilniaus ir apskrities pradinių mokyklų inspektorius, Švietimo ministerijos referentas.
1920-1924 m. studijavo Fribūro universitete (Šveicarija). Įgijo filosofijos daktaro laipsnį.
1925-1935 m. žurnalo „Lietuvos mokykla“ redaktorius.
1926 m. studentų ateitininkų sąjungos vadovas.
1926-1932 m. S. Daukanto mokytojų seminarijos Kaune direktorius.
1926-1936 m. Lietuvių katalikų mokytojų sąjungos pirmininkas.
1933 m. įsteigė M. Pečkauskaitės gimnaziją Kaune, iki 1935 m. jai vadovavo.
1933-1935 m. dėstė Kauno konservatorijoje.
1935-1941 m. dėstė Klaipėdos pedagoginiame institute (Klaipėdoje, Panevėžyje, Vilniuje). Buvo instituto bibliotekos direktorius.
1936-1940 m. dėstė Lietuvos žemės ūkio akademijoje.
1939-1941 m. Lietuvos švietimo tarybos narys.
1940 m. Vilniuje rengtų lituanistikos ir pedagogikos kursų mokytojo cenzą turintiems lietuviams vilniečiams vadovas.
1941 m. ištremtas į Sibirą (Altajaus kraštas, Rusija).
1942 m. perkeltas į Jakutiją (Rusija).
1956 m. grįžo iš tremties.
Bendradarbiavo katalikiškoje spaudoje. Redagavo žurnalo „Lietuvos mokykla“ priedą „Mūsų kalba“ (1925-1927 m.).
Išleido vokiečių kalba knygą „Tolstojaus pedagoginis mokslas“ (1924 m.).
Buvo vienas iš kanklininkų draugijos ir „Žinijos” bendrijos steigėjų.
Dirbdamas Klaipėdoje propagavo neotomizmą, tautinio ugdymo idėjas, vokiečių pedagogo A. Fröbelio ugdymo doktriną.
Lietuvos didžiojo kunigaikščio Gedimino ordinas (1935 m.).
1. Juozas Kudirka. Veiverių mokytojų seminarija (1866-1918), Vilnius, 1970, p. 77
2. https://www.vle.lt/straipsnis/klemensas-ruginis
3. https://www.mke.lt/Klemensas_Ruginis
4. https://www.mle.lt/straipsniai/klemensas-ruginis
5. http://www.lietuviaisibire.lt/lt/tremties-vietos/location/1985
6. http://www.lzs.lt/lt/naujienos/zurnalistikos_istorija/archive/p17/julius_norkevicius_lietuvos_respublikos_simtmeciui._pedagogine_spauda_-_kaip_ziburiai_tamsoje.html