Vivre dans un jardin ?

C'est possible ?

Je fais bientôt l'acquisition d'une petite parcelle de 324m2 pour un potager (non constructible donc), mais je me dis, quitte à avoir "autant" de place dans un endroit au calme, ce serait une bonne idée d'y mettre une p'tite cabane en bois pour du camping, genre avec un lit, deux trois meubles et un chiottes, j'ai le droit de faire ça ?

Légalement je veux dire, de vivre là bas une partie de l'année ?