Pierwszy kościół w Krerowie zbudował prawdopodobnie w 1344 roku Jan IV z Kępy. W tym też okresie (pomiędzy 1324 a 1330 rokiem) została założna krerowska parafia. Obecna późnogotycka świątynia pochodzi z XVI wieku. Kościół otacza mur ceglany z XVIII lub XIX w. W drugiej połowie XIX w. kościół został powiększony o zakrystię i kruchtę, powstała także drewniana dzwonnica. Z końca XIX wieku pochodzi plebania. W czasie okupacji hitlerowskiej, podczas II wojny światowej, kościół zamieniono na magazyn, a 22.01.1945r. świątynia została przez Niemców spalona. Odbudowę zakończono w 1960 roku. W 1985 roku pomiędzy plebanią a kościołem wybudowany został dom katechetyczny - wszystkie trzy obiekty połączono psudokrużgankiem. Nie zachowało się dawne wyposażenie kościoła. Obecny ołtarz zawiera 5 scen z życia św. Jana Chrzciciela.