Die heutige Kirche St. Pankratius erscheint als Saalbau mit nördlichem Seitenschiff und fünfgeschossigem Ostturm aus verputzem Bruchsteinmauerwerk. Ihre Anfänge lassen sich weit zurück verfolgen. Aus der Mitte des 10. Jhd liegt eine Urkunde vor, in der der Trierer Erzbischof Egilbert von Ortenburg die Kirche „in Berge“ und ihren Zehnten der Abtei Eucharius/St. Matthias bei Trier schenkt. 1217/18 erfolgt dann die Eingliederung durch Erzbischof Theoderich II zur Abtei St. Matthias. Im Jahre 1556 überträgt Erzbischof Johann V. von Isenburg die Seelsorge den Augustiner-Eremiten zu Mülheim im Tal (dem heutigen Ehrenbreitstein).
Leider ist aus den Urkunden nichts zu der Baugeschichte der Pfarrkirche zu entnehmen, erst im Jahre 1740 wird berichtet, dass der Bau in einem sehr schlechten Zustand ist, und im Jahre 1744 wird mit dem Neubau der Kirche begonnen. Bei der Belagerung der Festung 1795 gehen sowohl das Dorf, wie auch die Kirche von Niederberg in Flammen auf. Erst 1806 gelingt die Wiederherstellung der Kirche als Saalbau.
Fast 150 Jahre später, in den Jahren 1946 und 47, werden die Kriegsschäden, die die Kirche erlitten hat, behoben. Die nächste größere Baumaßnahme wurde in den Jahren 1959-60 durchgeführt, als an der Kirche das nördliche Seitenschiff und die neue Sakristei angebaut wurden. Eine umfassende Innenrenovierung folgte 1980. Dabei wurden auch die an den Chorbögen freigelegten ornamentalen Malereien vom Anfang des 19. Jhd restauriert und der alte Altarraum völlig neu gestaltet. Am 5. Oktober 1982 wurde der neue Zelebrationsaltar, der eine Reliquie des Hl. Simeon enthält, von Weihbischof Leo Schwarz eingeweiht.
Die letzte größere Baumaßnahme wurde im Jahr 2004 abgeschlossen. Auf Wunsch der Gemeinde wurde der bis dahin lange vernachlässigte und als Abstellraum genutzte Erdgeschossraum im Turm, die alte Sakristei, zu einem Gebets- und Meditationsraum umgestaltet. In Anlehnung an den Hl. Sergius, dessen Reliquie zusammen mit der der Hl. Engelinda dort in einem Schrein aufbewahrt wird, wurde der Name Sergiusraum dafür gewählt.