Der Lilienstein befindet sich 15 Kilometer östlich von Pirna und 5 Kilometer westlich von Bad Schandau, in dessen Stadtgebiet er liegt. Direkt am Fuß befinden sich im Osten das zu Bad Schandau gehörende Einzelgut Sellnitz, in dem die Jugendbildungsstätte des Nationalparks Sächsische Schweiz untergebracht ist, und im Süden die kleine Ansiedlung Ebenheit, die zur Stadt Königstein gehört. Deren Zentrum liegt auf dem anderen Elbufer, wo sich auch die markante Festung Königstein befindet, die größte Bergfestung Europas. An drei Seiten wird der Lilienstein von der Elbe umflossen, die hier eine 180°-Schleife beschreibt.