La Guardia de la Noche mantiene diecinueve castillos a lo largo del Muro. En realidad simplemente son conjuntos de barracones, establos, almacenes, torres y otros edificios auxiliares; ya que no tienen murallas y por lo tanto no pueden ser considerados como castillos "verdaderos". Fueron construidos de esta manera a propósito para que así la Guardia pudiera dedicarse al Muro en sí y defenderse de las amenazas del norte, pero no ser capaces de repeler ataques del sur, en el caso de que la Guardia se rebelara.

Las patrullas entre los castillos solían ser regulares, pero el número decreciente de hermanos hizo imposible la tarea de mantener esta regularidad. La Guardia optó por usar mulas entrenadas para caminar sobre el Muro por aquellos senderos que no han sido usados por mucho tiempo. Las mulas son criadas en Guardiaoriente del Mar especialmente para esta tarea