8,S.M.A.R.T.コンセンサスの仕組み ドライブ情報を分散マイニング

ホーム運用技術→運用技術について→8,S.M.A.R.T.コンセンサスの仕組み ドライブ情報の分散マイニング

8, S.M.A.R.T.コンセンサスの仕組み

■ 8a, 100枚のコイン

100枚のコインのうち、7枚、当たりが入っております。
A:このまま、1枚を取る。
B:あらかじめハズレと分かっている90枚を取り去り、残った10枚から、1枚を取る。
さてAとB、どちらが当たりを引く確率が高いでしょうか?

いわゆる、はじめにハズレを引くという作業に対する考察となります。分かりやすく100枚(※注1)にしました。
Aは100分の7に対し、Bは残った10枚から取るだけなので、10分の7ですね。
ハズレがあらかじめ分かっているいるならば、わざわざこの分を混ぜる必要はないですからね。
そして、このハズレを取り去る作業が、「分散マイニング」に相当いたします。

※ 注1:
3枚のうち、はじめに1枚を選ばせ、それからハズレを1枚取り、残った1枚と交換するかどうか・・・という有名な問題があります。 一見意味がなさそうな行為にみえますが、交換いたしますと、当たる確率が倍になります。

■ 8b, ハズレの考察
※ ドライブというものは・・最後まで頑張るのですが、状態への問いには沈黙を貫きます。

ドライブの状態は、S.M.A.R.T.を監視すれば瞬時に解決ですか?それは否です。
その論拠は、こちらの存在です。S.M.A.R.T.が正確に働くならば、すでにOSレベルで対応されていますよね(^^;。

この点については、復旧サービスにおいて多数のドライブを拝見いたしまして、その法則を導きました。
ドライブというものは・・最後まで頑張るのですが、状態への問いには沈黙を貫きます。簡単には口を割りません。
つまり、相手が出してきた情報には偽りが含まれることを前提としたロジックが必要となります。
また、全体の情報量は莫大となります。大部分が偽りゆえに、一点集中では処理できません。そこで、分散させます。

■ 8c, ノードの生成
※ マイニング用のノードを生成いたします。ここに、解析データ(ビッグデータ)を乗せていきます。

このような解析では、何をするにも「ノード」が出てきます。
たとえば、ファイルシステムの管理部分にも「ノード」が採用されております。

◇ 8ca, ヘッダ

ノードの整合性を守るためのシグネチャ、使用回数を記録する再利用カウンタ、ノードの所属を決定する属性、リンク、そしてオフセット&サイズ構造体を搭載いたします。

◇ 8cb, データ部

可変長のデータを扱うためのパラメタを先頭から順に持ちまして(ヘッダにあるオフセット順)、 最後に、この可変長のデータ部を一つ持ちます。これは、状況により解析させる情報量が大きく変動するためです。

◇ 8cc, 状態の投入

パソコンに接続されるドライブより、ドライブの状態を取得いたします。
順に、S.M.A.R.T.情報、不良セクタの種類、不良セクタの位置情報、不良セクタの再発性です。
また、可変長ゆえに複数のデータを乗せることができます。
基本的に一対一で全てを記録していきます。※ 上書きすると有用だったかもしれない古い解析情報を失います。

◇ 8cd, 生成

まず、以下の図1にあります左端に、「最終的な状態」(ボックス)を並べております。
※ この「最終的な状態」もノードです。属性はRoot、再利用カウンタは1固定となります。

次に、最も近いノードに、状態を乗せたノードを接続いたします。
※ とにかく近い場所です。ここで、計算はしません。この接続にCPUを使うと、時間を要してしまい、分散できません。
接続されると、その周辺を解析させる「コンセンサス」が自然発生いたします。 この「コンセンサス」のイメージをたとえると、「草稿」として散らばっている状態をまとめる役割を担う感覚となります。

◆ 図1:

■ 8d, ノードの性質

投入されたノードの性質を解析していきます。
※ ここでは、わかりやすい例として「S.M.A.R.T.解析前」「S.M.A.R.T.解析後」をみていきます。

◇ 8da, S.M.A.R.T.解析前

以下図2の状況が、解析前となります。また、集まりましたビッグデータの9割がこの状況です。
(上):ドライブが壊れかけの状態では、S.M.A.R.T.は正常値を示しております。
(下):逆に、ドライブが問題ない場合でも、異常値を示している場合も多々あります。
このため、S.M.A.R.T.が本当の意味で異常値を示した時には、 すでにビット腐敗(前章7,ビット腐敗の考察はこちら)を引き起こして、まともに読み出せない場合が多いのが現状です。
あるいは、正常値から一転する形で認識不能になる物理障害を引き起こしてしまいます。

◆ 図2:

S.M.A.R.T.下向き S.M.A.R.T.上向き

◇ 8db, S.M.A.R.T.解析後

以下図3の状況が、解析後となります。

図2と比較いたしますと、ちょうど良く論理がひっくり返っております。
これを導くには、集まりましたデータを地道に解析していく必要があります。
しかし、ビッグデータが十万を超えてくると、解析にとてもお時間を要してしまい、厳しくなります。
※ このため、解析結果を積み重ねる仕組みが「コンセンサス」で、このマイニングの結果を積めば、解析時間を短縮することができます。 マイニングを実施いたしますと、その場所に存在するノードが解読され、最短の場所に紐付けられます。これにより、解析回数を減らして時間短縮を図ります。 また、S.M.A.R.T.コンセンサスを実行されたパソコン上で、一度だけマイニングを実施いたします。そして、その対価として解析結果をお渡しするシステムとなります。

◆ 図3:

コンセンサス下向き コンセンサス上向き
■ 8e, セクタの振る舞い
※ ここでは概要といたします。次章にて、この振る舞いをさらに詳しく考察していきます。

S.M.A.R.T.の振る舞いを解くには、セクタの振る舞いに対する解析が必須です。
そこで、以下図4となります。
セクタの振る舞いに関するスキャンを実施いたしますと、弱っている部分が浮き出るように出てきます。
そして実は、このセクタの振る舞いについては、S.M.A.R.T.とは異なりまして「正直」です。
読み書きの中枢となりますので、正直に結果を渡す必要があるためです。

以下図4の詳細ついてです。
(上):セクタ代替が近づいているSSDとなります。一部が急激に低下しております。
※ SSDは突然、一部が連続して読めなくなります。
その要因の一つが代替失敗です。そして、この急激な変化はしっかり観察する必要があります。
(下):セクタ代替後のSSDとなります。しっかり、戻しています。

この場合、「コンセンサス」は両方のデータ(実際には分岐されたノードを含め多数)から、この場合は「正常」として、「正常ノード」に紐付けます。 すると、同じシリーズをご利用いただいたユーザ様は、すでに作られたこの道筋から、大量のデータの解析をせずに「結論」へ辿り着くことができます。

◆ 図4:

統計スキャン結果 統計レストレーション結果
■ 8f, 考察

はじめ、一点集中による解析を実施していた(2018年2月まではこちら)のですが、頓挫いたしました。
ドライブ解析の一つ一つは小さいとはいえ、ビッグデータの量は半端ではなく、分散させる見通しとなりました。
今後とも、何卒よろしくお願い申し上げます。

本ページをご覧頂きました方は、以下のページから参照しております。[自動集計 Ver5.0]
■ 集計中.....

■ 各機能のご紹介 ■

完全スキャン

■ [2010-0804] ハードディスク, SSDのメンテナンス

[全エディション対応]
全セクタを検査できる完全スキャンです。
不良セクタ検出および、ドライブの「動作安定度」を算出いたします。
新たな指標で危険なセクタを検出いたします。

統計スキャン

■ [2013-10] ドライブ故障統計を利用する誤差のない統計スキャン

[サポートエディション以上対応]
完全スキャンの誤差をドライブ故障統計から改善いたしました。
さらに、グラフの方も統計タイプに入れ替え、使い易さも大幅に向上させております。

不良セクタシミュレーション

■ [2010-0804] 不良セクタシミュレーション

[全エディション対応]
今までにないスキャンを実現いたしました。
近い将来発生する不良セクタを、先回りで検出いたします。
このような性質上、「故障前の事前的な予防交換」などに最適なスキャンです。

不良セクタレストレーション

■ [2010-0826] 不良セクタレストレーション

[全エディション対応]
大容量HDDに発生しがちな、軽微な不良セクタを修復することができます。
不良セクタシミュレーションをベースに開発したため、近い将来発生する不良セクタも修復対象です。

ヘッドレストレーション

■ [2011-0905] ヘッドレストレーション

[サポートエディション以上対応]
壊れかけHDDを制御し、新しいHDD/SSDへセクタイメージを転送します。
いわゆる、物理解析を実施できる機能です。

ベンチマーク

■ [2010-0804] ストレージベンチマーク

[全エディション対応]
接続されております各ストレージの速度を計測いたします。
同時計測・単独計測をサポートいたしております。

故障予測

■ [2010-1103] ストレージ故障予測

[全エディション対応]
S.M.A.R.T.および故障予測スキャンを自動化、万全な体制で予測を行います。
S.M.A.R.T.のみでは対応できない部分までしっかりサポートします。

バックアップ

■ [2010-1103] 緊急・定期バックアップ

[サポートエディション以上対応]
定期バックアップに加え、故障直前のデータも逃さない緊急バックアップを標準装備しております。
故障予測と併用し、メンテナンスフリーを確立します。

S.M.A.R.T.ビュー

■ [2010-0804] S.M.A.R.T.ビュー

[全エディション対応]
ドライブの情報を細部まで表示いたします。

故障予測ビュー

■ [2010-1103] 故障予測ビュー

[全エディション対応 制限モード(フリー)の場合は制限あり]
ドライブの故障予測情報を細部まで表示いたします。

故障予測スキャンモニタ

■ [2010-1103] 故障予測スキャンモニタ

[全エディション対応 制限モード(フリー)の場合は制限あり]
新しい「スキャン方式」の故障予測を実行いたします。

故障予測 S.M.A.R.T.情報モニタ

■ [2010-1103] 故障予測 S.M.A.R.T.情報モニタ

[全エディション対応]
従来のS.M.A.R.T.に対しまして、独自しきい値を採用した故障予測を提供いたします。

データ復旧

■ [2010-0804] 写真・画像データ復旧

[全エディション対応]
メンテナンス系に加え、データ復旧・修復機能をサポートいたします。
万一の場合も安心してご活用いただけます。

アドバンストデータ復旧

■ [2012-1017] アドバンストデータ復旧, 並列同時解析

[サポートエディション以上対応]
壊れたファイル構造からデータを復旧する論理解析を実施できます。
いわゆる、データ復旧ソフトウェアとなります。
万一の場合も安心してご活用いただけます。

つなぎ復旧

■ [2014-0722] つなぎ復旧

[サポートエディション以上対応]
物理障害の区間を上手く処理できる「つなぎ復旧」をサポートいたしました。
従来では先に進めなかった区間も、この機能で読めるようになります。

個人情報探索

■ [2014-0722] 個人情報探索, ファイル内部探索

[プロエディション対応]
個人情報を含むファイルを素早く内部まで探索いたします。
普段使われているパソコンの内部チェック、
または、これから持ち出すパソコンなどの内部状況把握にご利用ください。

ファイル名高速検索機能

■ [2014-0908] ファイル名高速探索機能, 頻度曖昧検索

[全エディション対応]
検索の度に検索用ツリーを生成し、高速検索いたします。
検索向けに、事前にキャッシュやインデックスを必要といたしません。
また、事前な仕掛け無しに、頻度を曖昧に検索する機能を追加しております。

エコモード

■ [2010-0804] エコモード (ATAコマンド制御)

[全エディション対応]
ATAコマンドを多数発行できるインターフェイスです。
補助サポートが多数付属し、簡単にご利用いただける環境を整えました。
お気軽にご活用いただけたら幸いです。

エコモード++

■ [2011-0905] エコモード++ (電力会社別管理&データ保護)

[全エディション対応]
電力会社別(電力需要)に合わせてHDD/SSDを制御し、節電とデータ保護を実現いたします。
お気軽にご活用いただけたら幸いです。

データ転送グラフ化機能

■ [2010-0804] 転送レートグラフ化機能

[全エディション対応]
ストレージの転送レートをグラフ化する機能です。
お気軽にご活用いただけたら幸いです。

データ転送グラフ化機能

■ [2010-0804] シミュレーション解析設定

[プロエディション対応]
シビアな状況をテストできる各シミュレーションを実行できます。
メーカ・型番別に細かくパターン化され、最適なテスト・検査を実施します。
※ シビアな条件を要求される法人様向けの機能です。