キャッシュの話

昔、キャッシュで苦労したことを思い出して、記事にしようと思い立つ。

まず、キャッシュとは何ぞやという話から。

今日のコンピュータシステム、PCやスマホも含め、各々役割を持ったチップ間のデータ転送によって動いています。このうち、根幹を成す構成部品としてはCPU、メモリ、ストレージ（SSDやハードディスク）があり、例えば、特定のアプリケーションを実行しようとした場合、ストレージに沢山保存されているアプリケーションプログラムやデータの中から、必要なものをメモリにロードし、CPUがメモリからその瞬間に処理すべきコードを逐次読み込み、実行するという階層構造になっています。

つまり、ストレージは動作が遅いけども、プログラムやファイル等のデータを沢山保存できる。メモリはストレージほど沢山データを蓄えることはできないが、ストレージよりも高速に動作します。しかし電源を切ると内容は消えてしまう一時的な作業場のようなものです。CPUは高速にプログラムを実行したりデータを計算したりしますが、その瞬間に扱う位の小さなデータしか保持していられない。
この一連の流れを料理に例えるなら、ストレージは食材を保存しておく冷蔵庫、メモリは食材を調理するためのまな板、CPUはコックさんという感じです。


というわけで、CPU、メモリ、ストレージ間で、階層的なデータのやり取りがあるわけですが、その間には著しい動作速度の差があり、コンピュータシステム全体のパフォーマンスに大きく影響しています。どんなにCPUが高性能でもストレージが遅ければ、そこがボトルネックになってしまうわけです。

で、コンピュータは、これだけではなく、様々な速度差のある半導体の集合から成っており、各々の速度差を緩和しようという仕組みがキャッシュなわけです。具体的には、速度差をある程度、吸収する小さな一時記憶を設けるのです。

で、このキャッシュ。動作の仕方に大きく分けて２つの方式があり、今回はこれをまとめておこうという話です。


1. ライトスルー（Write Through）

データを転送する場合、書き込みと読み込みの２方向が発生します。この方式では、よく読み込まれるデータをより高速な記憶媒体に置き、書き込み方向の動作はキャッシュしません。キャッシュはキャッシュラインという単位で扱われ、一度アクセスがあったデータをキャッシュ領域に保持し、同じデータの読み込みがあったらキャッシュ領域から読み込むことで読み込みを高速化します。しかし、キャッシュ領域はより小さいので、使われないデータほど入れ替わっていきます。この入れ替わり方にもいくつかの方式があるのですが、それはまた今度まとめます。


２．ライトバック（Write Back）

この方式では、ライトスルーの動作に加え、書き込みもキャッシュされます。キャッシュラインに書き込み、どっかのタイミング（実装による）で非同期的に、実際の記憶域に書き込みが行われます。パフォーマンス的にはライトスルーよりも良いのですが、これが結構複雑な問題を生みます。つまり、書き込んだ側は、書き込みが終わったと思って処理を進めますが、書き込まれた側は、一時的に記憶しているだけです。実際の記憶域とのデータに差が生まれます。一対多の通信の場合、別の装置が同じ場所のデータを読み込んだ場合に不整合を処理する機構が必要になったり、（これをコヒーレンシとか言う）実際の記憶域に書き込む前に接続が切れたり、電源が落ちた場合に、データに不整合が生じます。なので、話はライトスルーよりも格段に複雑になり、トラブルも起こりやすいです。


今回は、こんなとこです。あと、インテルチップでライトコンバインとかのキャッシュ動作もあったりします。グラフィック系のデータで、一画面分とか、かなりまとまったデータを扱う場合に有効とかなんとか。次はもうちょっと突っ込んだ話を書きたいと思っています。