「サイト自体のロード時間などが遅いため」コアアップデートで反映するというのは考えにくくて、ロード時間が遅い場合には以前から下がっていたと思うのでそこが根本的な原因ではないと思います。
表示の高速化ができるのであればやって頂くのに越した事は無いです。

あくまでもコアアップデートで順位が下がった場合にはコンテンツが改善できることが無いか。
「無い、コンテンツが完璧で他のサイトより優位性、独自性があって、ユーザーに伝わっていて沢山のユーザーが使っていました。」
という事が確認できるのであればそのまま運営して頂くのが良いと思います。

「ユーザーの為にコンテンツを作っていても順位が下がるじゃないか！」
という声も良く頂くんですが
それは、どんどん競合が増えているので。
大学受験と同じで
「一生懸命勉強しても落ちたじゃないか！⇒いや定員がありますので」
というように。
結局検索結果の上位と呼ばれているものが1位から10位までだとすると10個のページしか載らないので、
どんどん競合が増えていると、どんなに良いページを作っても必ずしも入れるとは限らないし、
勿論Googleが適切に評価できなくてそこに入らないこともあると思います。
必ずしも入れるとは限らないし僕等も保証はしていません。
それでも大事なのは「コンテンツが大事」だと信じる、というかコンテンツが大事なんです。
僕等はあくまでもユーザーが探していると思うコンテンツを一生懸命表示しようと思っているので
それが上手くできていない、という事が多々あるというだけで
「良いコンテンツを作っていても順位が上がらないじゃないか」
といってブラックな手法に行ってしまうのではなくて、
良いコンテンツを作り続ける事を行って頂けるといいかなと思います。

ただ検索トラフィックだけに頼っているとビジネスを続けられなくなってしまうのは理解できるので
何年も前からお伝えしていますが、検索だけに頼った施策は全くお勧めしていないですし、
常に検索からしかユーザーが来ないというのはちょっとサイトとしてどうなんだろうな、と思います。

例えば歯医者さんだとして「渋谷区　歯医者」だけからしかユーザーが来ないって危険だと思うんですね。
一回来た方は次からは歯医者さんの名前で検索して来ると思うので、そういった所はGoogleアナリティクスなどできちんと
トラッキングして多角的にユーザーを獲得する事を考えた方がいいなと思います。
ただ僕は専門家ではないので。。。
来たお客さんにリピートして貰う、というまっとうな事を意識して頂くと良いと思います。