El castillo de Eltz se alza sobre el arroyo Eltzbach, cerca de Wierschem, en las colinas boscosas que se extienden entre el Mosela y el Maifeld. El entorno forma parte de la experiencia: el camino atraviesa un valle estrecho antes de que aparezcan los edificios sobre un espolón rocoso. Su perfil irregular responde a una construcción adaptada a un espacio limitado. La historia oficial de la familia sitúa la primera mención documentada en 1157, cuando Rudolf de Eltz fue testigo de un documento del emperador Federico I Barbarroja. No surgió como un monumento terminado de una sola vez: creció durante siglos y su patio reúne distintas etapas y residencias familiares.
En 1268, los descendientes de Rudolf repartieron el castillo y las propiedades entre tres ramas, que continuaron viviendo juntas como coherederas. Esta comunidad compartida, llamada Ganerben, condicionó la arquitectura: varias casas y torres ocuparon el poco espacio disponible, mientras acuerdos formales regulaban la convivencia y el mantenimiento. El resultado no es un palacio simétrico, sino un conjunto compacto de torres, entramados de madera y tejados. El visitante observa tanto el registro material de un hogar complejo como una fortaleza, con edificios ampliados a medida que cada rama necesitaba más dependencias.