Der Berg hat seinen Namen von der früheren Leinwandherstellung. An und in den Teichen um den Berg bleichte man auf Gestellen, die man Weifen nannte, die aus Leinfasern (Flachs) gesponnene Garne.
Die geografische Lage des Berges ist 14°52′ nördliche Breite. Die Höhe des Berges beträgt 478 m. Der Turm ist 37 m und die Aussichtplattform ist 32 m hoch. Der Betrachter der Landschaft befindet sich damit 510 m über dem Meeresspiegel.
Der besondere Reiz der Aussicht von diesem Berg besteht in dem Wechsel zwischen der wilden Felsenzenerie des Elbsandsteingebirges vor dem Kamm des Osterzgebirges und den Kegelbergen des Böhmischen Mittelgebirges sowie des Kreibitzer Gebirges.
Der Blickwinkel umfasst etwa 270°. Aus dem Lausitzer Gebirge grüßt im Norden der Zschorneboh, im Nordosten der Bismarkturm bei Neugersdorf un im Osten die Lausche. Dahinter zwischen der Wolfsbergspitze und der Lausche erkennen wi bei guter Sicht im Osten das Isergebirge und das Riesengebirge. Rechts von der Lausche ist sogar der Sendemast vom Jeschke zu sehen.
Im Südosten schließt sich das Kreibitzer Gebirge an, in dem der Tannenberg und der Kaltenberg dominieren. Im Süden erscheint der mächtige Rosenberg und links dahinter sogar der ferne Geltsch. Auch der Milleschauer, die höchste Erhebung des Böhmischen Mittelgebirges ist sichtbar. Im Südwesten ist in de Ferne der Kahleberg zu sehen. Im Westen erblicken wir den Triebenberg, die höchste Erhebung von Dresden. Dem schließt sich die Schöne Höhe bei Dittersbach an. Im Nordwesten sehen wir über den Wachberg den Sendemast vom Unger blinken. Der steinerne Aussichtsturm vom Tanzplan schließt den Blickwinkel ab.
Mit dem Weifbergturm erhielt Hinterhermsdorf eine neue, einzigartige touristische Attraktion. Die Besteigung des Turmes und der Besuch der wildromantischen Oberen Schleuse in der Kirnitzschklamm sind die Sternstunden eines Ferienaufenthaltes in der Hinteren Sächsischen Schweiz.