Die Kirche in Rimlingen kann wohl als eines der ältesten Gotteshäuser unserer Region bezeichnet werden. Ein Zeugnis davon gibt der alte romanische Glockenturm, der auch heute den ältesten Teil des Rimlinger Gotteshauses darstellt. Die Ursprünge liegen wohl im 11. bis 13. Jahrhundert. 

Seit dieser Zeit ist diese Kirche auch dem Heiligen Kreuz (heute: Kreuzerhöhung) geweiht und seit dem Jahr 1569 Filiale bzw. Pfarrvikarie von Losheim gewesen. 

Bereits im Jahr 1873/74 erfolgte eine Erweiterung der Kirche, von der jedoch heute nichts mehr zu sehen ist. Jene erweiterte Kirche erlitt durch die Wirren des 2. Weltkrieges einigen Schaden. Die Bevölkerung machte sich jedoch schnell daran, ihr Gotteshaus wieder herzustellen. 

In den 60er Jahren erfolgte dann die letzte Erweiterung der Rimlinger Kirche, die auch bis heute noch prägend für sie ist. Zudem passte man die Kirche den Gegebenheiten des 2. Vatikanischen Konzils an. Am 7. Mai 1961 konnte die erweiterte Kirche geweiht und somit ihrer Bestimmung übergeben werden. Dieser Umbau wurde vorläufig 1972 mit der Anschaffung der Orgel abgeschlossen, ehe 1986 der heutige Altar, der Ambo und der Tabernakel ihren Platz in der Kirche erhielten. Gerade der Tabernakel verdient eine besondere Würdigung, da er auf den Außentüren die Kreuzerhöhung und die Kreuzauffindung thematisiert und somit das Patronat der Kirche darstellt.