Webフォントの設定を解除するには、サーバーパネルとWebフォントの適用先でそれぞれ設定を行う必要があります。詳細は下記をご参照ください。

WordPressプラグインでのご利用

https://support.xserver.ne.jp/manual/man_server_webfont_wp.php

HTML記述形式でのご利用

https://support.xserver.ne.jp/manual/man_server_webfont_html.php