私が建てたものではない塀が隣に一部はみだしています。

先方が何も言ってこないのならご相談者が懸念されている心配はないと思います。
今すぐやり直す事を言ってきたとしたらかなり強引な理論です。
その場合は先方の費用で先方の敷地内に新設するのが一般的です。

先方は境界明示が目的だったと思います。
ご相談者がそれも確認し了解されたのなら境界トラブルもなくなった訳ですね。

将来的には相談者が塀を新設にする場合は自分の費用で越境しないようにして頂く必要はあります。
ですから時が来た時にお互いどうするか協議すればよい事だと思います。

基本的には土地の境界は取引の時に説明義務もあります。
一度買われた時の宅地建物取引業者に連絡して相談してみてはいかがでしょうか？