Falkos lovag volt a vár ura, ki a várat saját nevéről nevezte el, arra utalva, hogy a fülei mindig meghallják, ha valahol mulatozásra, vadászatra nyílik alkalom. Egy vadászaton sikerült becserkésznie egy pompás szarvasbikát, íjával azonban csak megsebesítenie sikerült. A bika rárontott, és rúgta, döfte. A lovag védekezvén kését a vad szívébe szúrta. A szolgák egymás mellett találták a lovag és a szarvas vérben ázó testét. A súlyos sebesültet egy közeli kunyhóba vitték, ahol az öreg Sámson gazda szépséges leánya, Erzsébet vette ápolásba. Két hét múlva felépült Falkos, akinek megtetszett a lány, és Erzsébetnek sem volt közömbös a vitéz. Falkos a várába akarta vitetni a lányt, Erzsébet azonban húzódzkodott, s csak a parancsnak engedett. Tudta, hogy nem lehet egy ilyen nagyúr hites párja, Falkos nem volt hajlandó feleségül venni. A lány apja, ezért bánatában és szégyenében  levetette magát egy szikláról, és szörnyethalt. Erzsébet elől eltitkolták apja halálát. A lány drágaköveket, ékszereket követelt fizetségül. Falkos annyira belehabarodott, hogy rabolt, fosztogatott, hamis pénzt veretett, hogy csillapíthatatlan vágyait kielégítse. Amikor rablásai kiderültek, Béla király magához hívatta, és megvallotta bűneit. Arra ítélték, hogy ruha nélkül vívjon meg egy páncélos lovaggal. Ha győz kegyelmet kap, ha meghal, azzal bűnhődik. Falkos nem jelent meg a párbajon, s mikor a nádor emberei Füleken kereste, csak Erzsébetet találta a várban. Neki azt hazudta, hogy felmentették a küzdelem alól. Hiába próbálták, nem tudták elfogni, csak Erzsébetet vihették a király elé, aki kolostorban való vezeklésre ítélte. Látszólag elfogadta az ítéletet, azonban hirtelen kidobta a drágaköveket az ablakon, majd ő is utána vetette magát. Harminc évvel később egy közeli kolostor mellett egy remete kihűlt testére bukkantak a pásztorok, kezében egy ezüstláncon függő érmét szorongatott. Ezek voltak rávésve: Erzsébet, a halálomig tiéd vagyok.

A vár a város közepén, egy bazalt kúpon áll. Épségben maradt a tornya, bástyái, falai. A török időkben az oszmán birodalom legészakibb szandzsák székhelye volt.  A 17. században a falak között tartották Nógrád, Pest és Heves vármegye gyűléseit. 1682-ben a vár falai alatt kiáltották ki Thököly Imrét az ország királyává. A vár falairól szép panoráma nyílik a kevésbé szép városra.