741（天平13）年、聖武天皇が諸国に勅して国分寺、国分尼寺の詔を発す。
当若林のものは日本最北の官寺で東大寺式伽藍配置。東西240ｍの方形の規模。869（貞観11）年陸奥の国大地震で倒壊、陸奥国修復府を設けて復興。

1189（文治5）年奥州合戦（平泉藤原氏が榴ケ岡、宮城野原で頼朝と戦う）で焼失。