Jak se bránit stav. úřadu ve věci tzv. černé stavby?

Koupil jsem objekt „zemědělskou stavbu“ včetně louky a orné půdy od podniku.Podotý­kám,že onen objekt je na tzv. zastavěné ploše a nádvoří takže jsem ho začal opravovat totiž přistavěl jsem mu z obou stran dřevěnou kůlnu bez základu vše na zastavěné ploše. Mezitím jsem se znelíbil místnímu občanu, který vyzval starostu, aby na mě poslal udání stavebnímu úřadu, Ten mi nařídil objekt buďto zbourat nebo zpracovat projekt. Po roce a půl, když už jsem měl vše hotovo mi bylo sděleno že dle územního plánu lze objekt používat jen jako tech. infrastrukturu např. jako trafostanici. Už nemám sil ani chuť se nechat drbat od primitivů s razítkem, a to nejen vzhledem k svému věku, ale i dnešní situaci v zemi a ve světě, kdy si už nemůžete být ničím jisti. Proto se ptám toho, kdo s tim ma jakoukoliv zkušenost, jak se lze úspěšně bránit nejlépe zdržovací taktikou nebo jinak. Rád budu, když mi pošle email, abych situaci mohl dopodrobna vylíčit, a byl bych mu velice zavázán.