SRE とインシデント管理の分野で蓄積されてきた 30 以上の文献を横断し、インシデント対応の理論、実践、研究を体系的に構成した。 検知から緩和までのライフサイクル、指揮体系、調査手法、人的要因、組織設計、AI 支援を包括する。 ポストモーテム(事後振り返り)については姉妹編の「ポストモーテムの教科書」を参照されたい。
[!abstract] 概要 本文書は、SRE における SLI/SLO/SLA フレームワークを、基礎定義から組織的導入、応用領域まで網羅的にまとめた教科書である。SRE Book、SRE Workbook、SREcon 各年の発表、学術論文、国内実践事例など 49 件の文献を横断的に統合する。
SLI/SLO の概念はソフトウェアに固有のものではない。1984 年の米国高速道路管理では、(1) Asset Quality Index(路面のラフネスなど材料品質の絶対尺度)と (2) Customer Happiness Index(平均渋滞時間、平均車速、交通密度)という 2 種の指標が定義され、「Levels of Service」という用語で呼ばれていた。下水道管理でも同様に、パイプあたりのひび割れ数(資産品質)と水洗の稼働率(顧客満足)が区別されていた [1]。
wiki-lens は Obsidian の LLM wiki レイヤー(wiki/{sources,entities,concepts,questions}/)を可視化する読み取り専用プラグインである。健全性・構造・近傍・成長・多層性・間隙という6つの問いに、それぞれ専用のビューと軽量な古典的グラフアルゴリズムで答える設計になっている。本ノートは各機能を支えるアルゴリズムの知識を、教科書的な出自と採用理由の両面から整理する。
参照実装: .obsidian/plugins/wiki-lens/src/core/(cluster.ts, gap.ts ほか)、設計判断の記録は .obsidian/plugins/wiki-lens/docs/design.md および docs/implementation.md。
問題: 4000ページ・数万リンクのグラフに、人間が読める「テーマの塊」はあるか。
手法: Louvain法は、各ノードを「自分をどのコミュニティに属させればモジュラリティ(コミュニティ内の辺密度が偶然より高い度合いを表す指標)が最大化するか」という基準で貪欲に付け替え、収束したらコミュニティをひとつのノードに畳み込んで同じ操作を再帰する、という2段階を繰り返す手法である。計算量はほぼ線形で、数千ノード程度なら一瞬で終わる。
SRE for AI/HPC:数百〜1000基GPUクラスタでのSRE事例
LLMに代表される大規模なAI基盤モデルの分散並列学習は、多数の高性能GPU、高帯域・低遅延のインターコネクトネットワークや分散ストレージを統合した、HPC(高性能計算)分野のスーパーコンピュータ相当の計算機インフラを必要とします。さくらインターネットでは、主にAI学習向けに設計されたAIスパコン「さくらONE」をサービスとして提供しています。さくらONEは、世界スパコン性能ランキングTOP500にて、初号機が2025年6月世界49位、弐号機、参号機が同年11月に93位、136位にランクインしました。初号機はNVIDIA H100 GPU 800基、弐号機はH200 440基、3号機はB200 384基、4号機はB200 1000基以上で構成されています。
AIスパコンは、クラウド上のウェブアプリケーションとは異なる信頼性特性があります。ハードウェア障害の割合が大きいことや、ユーザーインターフェイスがジョブスケジューラであること、構成要素の一箇所の故障や劣化が、ジョブの停止や性能低下を引き起こすストラグラーを抱えやすい構造があります。そのため、障害パターンが異なる、あるいは、よく知られたSREのプラクティスやツールがそのまま適用できないケースが多々あります。AIスパコンは現在のAI開発の源泉となる重要なインフラですが、SREのコミュニティではその実態を知る機会はほとんどありません。
- 工学としてのSRE再訪
SREが普及するにつれて、システム管理のアプローチは技芸から工学(科学)へ移り変わっています。2010年発行の書籍ウェブオペレーションでは、「ウェブオペレーションは技芸であり、科学ではない。」と書かれています。システム管理の個別具体的な技術はコンピュータサイエンスに依るとしても、個別技術の集合体と人間が統合されたサービスを正常に稼働させ続けることは技芸の範疇にありました。SRE普及以後は、ユーザー視点に基づくエンドツーエンドの信頼性を定義・計測し、計測結果に基づいて、開発・運用の意思決定を行うようになりました。しかしながら、システム管理の分野を技芸から工学へと昇華させるための土台となる知識や過程、その精神は、現在のエンジニアコミュニティにはいまだ共有されていません。
そこで、本発表では、コンピュータサイエンス、ソフトウェア工学、信頼性工学、認知科学などの工学・科学分野がSREにどのように接続されているかを、歴史的な論文や書籍、SREcon、LISAなどのプレゼンテーションを基に、発表者の見解を交えながら、紐解いていきます。
| 最近の生成AIの興隆は、これまでの新しいソフトウェア技術の登場よりも、直感では非常に大きなインパクトを持っているように感じている。今この瞬間できることはまだまだといえばそうだが、研究者やエンジニアでない一般の人も実際に使えるようになり、認知が一気に拡大した。そうすると、お金と人材の二次的・三次的な流動があり、新しい技術やプロダクトの登場がより加速していく。 | |
| このような状況に対して、様々な考えをもつことができる。例えば次のようなものが挙げられる。 | |
| 1. 近年中にAGIが誕生し、シンギュラリティが起きる。AIに労働をすべてを任せ、AIに人間社会をコントロールしてもらう。 | |
| 1. AGIは今の生成AIの延長線上にある | |
| 2. AGIは生成AIとは根本的に異なるアーキテクチャから生まれる | |
| 2. AGIが誕生するが、AIに強い制限をかけ、人間社会に大きな影響を与えないようにする | |
| 3. AGIレベルには達せず、現状のChatGPTの少し賢い版のレベルにとどまるが、APIを通して広く様々な製品に浸透する。ツールとして便利に使えばいい。 | |
| 4. 倫理的・法的観点で、現状のChatGPTですら制約をかけられ、利用を大きく制限される。(実際にイタリアでは一次的に利用が禁止された) |
エンジニア向けSRE論文への招待
SREとその関連分野では、情報科学の他の分野と同様に、日々多数の論文が企業や大学から公開されています。これらの論文に書かれている内容が、目前のSREの業務に直結することは稀ですが、論文には必ず新しいことが書かれているため、知的な刺激を受けることができます。さらに、その論文のアイディアが社会実装されていないケースでは、エンジニアがそのアイディアを実装することでコミュニティへの貢献機会にもなり得ます。しかし、エンジニアコミュニティで共有されるブログ記事などとは異なり、機械学習など一部の分野を除いて、論文を発見するための導線が少なく、エンジニア向けの論文の読み方も共有されている例はありません。
そこで、本発表では、最先端のアイディアを発見・実装したいと考えるエンジニアに向けて、発表者の5年間のSRE研究と5年間のSRE業務の経験を踏まえて、SRE分野の論文の探し方・読み方を紹介します。探し方については、論文の種類やSRE分野に関連する国際会議、検索ツールの使い方などを、読み方については、単一の論文の下読み・精読方法と複数の論文を横断するシントピカルな読み方をそれぞれ概説します。