Začal klášter navštěvovat častěji. Zpočátku to byly jen letmé pohledy a náhodná setkání v klášterní zahradě. Později si začali vyměňovat dopisy. Kateřina, stejně jako Albrecht, toužila po svobodě a jiném životě.  "Jsem zde uvězněna proti své vůli," psala mu. "Mé srdce touží po svobodě a lásce."  Jejich tajný vztah nezůstal dlouho utajen. Klášterní komunita začala šeptat, Šlechta se pohoršovala. Albrecht, místo aby vztah ukončil, začal plánovat Kateřinin únos. Jedné zimní noci roku 1618 skutečně došlo k únosu. Albrecht osobně přijel s několika věrnými služebníky a Kateřinu z kláštera odvezl. Byl to skandál, který otřásl celou zemí.  "Smiřický unesl nevěstu Kristovu!"  Šířily se zprávy. Katolická církev zuřila, ale i protestantští spojenci se od něj začali odvracet. Tento incident významně oslabil jeho politickou pozici v době, kdy ji nejvíce potřeboval. Někteří historici spekulují, že právě tato aféra přispěla k jeho předčasné smrti - ať už způsobeno stresem, nebo možná i jedem od politických odpůrců.  "Láska je mocnější než rozum," měl říci krátce před smrtí. "Nelituji ničeho."  Co se stalo s Kateřinou po Albrechtově smrti, není zcela jasné. Některé prameny uvádějí, že skončila v jiném klášteře, jiné, že žila v ústraní na jednom z bývalých smiřických statků. Tento příběh se stal součástí legend o rodu Smiřických. Ukazuje Albrechta jako muže, který se nebál jít za svým srdcem i za cenu ztráty společenského postavení. Zároveň ale ilustruje, jak osobní život mohl ovlivnit politickou kariéru i v době před čtyřmi staletími.