家が建てられない土地だといわれました。

宅地建物取引業者から「家を建てる」目的で購入されたのですね？

購入者に「家を建てられない土地」を説明をせずに契約する事は宅建業法違反です。
重要事項説明書を宅建取引士から説明及び交付を受けられてないのでしょうか？
?市街化調整区域である事の説明。
?住宅を建てられない事の説明。
以上は最低限説明の義務があります。

契約解除という事は残代金の支払いはまだのようですので早急に専門家にご相談ください。
投稿の内容だけで判断すれば詐欺にあわれている可能性もあります。