Valberget var opprinnelig et tretårn. Det ble bygget i 1658 som en del av forsvarsanleggene i tilfelle angrep fra England. I toppen ble det plassert en stormklokke av bronse, for å kunne varsle brann eller angrep fra fiender. Alle borgere og huseiere måtte være med å gå brannvakt. Etter hvert ble det mulig å betale for en avløser, og gradvis førte dette i 1690-årene til etablering av en ordning med fast ansatte vektere. I perioden 1850 til 1853 ble det bygget et nytt tårn hugget i stein. Den endelige byggekostnaden var på 9000 speciedaler, noe som mer enn byens samlede budsjett i 1852. Tårnet i dag inneholder et vektermuseum som forteller historien til tårnet og vekterne i Stavanger.
