8,S.M.A.R.T.コンセンサスの仕組み ドライブ情報を分散マイニング

ホーム運用技術→運用技術について→8,S.M.A.R.T.コンセンサスの仕組み ドライブ情報の分散マイニング

8, S.M.A.R.T.コンセンサスの仕組み

■ 8a, ノードについて
※ マイニング用のノードを生成いたします。ここに、解析データ(ビッグデータ)を乗せていきます。

 ブロックチェーンを利用することになりましたので、現在、本ページは編集中です。 せかっくの機会ですので、ブロックチェーンのコンセンサスを利用いたします。 さらに、解析データの方も「leveldb」に連想で突っ込めるみたいですので、これにしようか悩んでいます。 もちろん、以下のようにヘッダ、データ部を丁寧に書いていく従来の方法でも大丈夫ですが……。

◇ 8a, ヘッダ

 ノードの整合性を守るためのシグネチャ、使用回数を記録する再利用カウンタ、ノードの所属を決定する属性、リンク、そしてオフセット&サイズ構造体を搭載いたします。

◇ 8b, データ部

 可変長のデータを扱うためのパラメタを先頭から順に持ちまして(ヘッダにあるオフセット順)、 最後に、この可変長のデータ部を一つ持ちます。これは、状況により解析させる情報量が大きく変動するためです。

◇ 8c, 状態の投入

 パソコンに接続されるドライブより、ドライブの状態を取得いたします。 順に、S.M.A.R.T.情報、不良セクタの種類、不良セクタの位置情報、不良セクタの再発性です。 また、可変長ゆえに複数のデータを乗せることができます。 基本的に一対一で全てを記録していきます。上書きすると有用だったかもしれない古い解析情報を失います。

◇ 8d, 生成

 まず、以下の図1にあります左端に、「最終的な状態」(ボックス)を並べております。 この「最終的な状態」もノードです。属性はRoot、再利用カウンタは1固定となります。

 次に、最も近いノードに、状態を乗せたノードを接続いたします。 とにかく近い場所です。ここで、計算はしません。この接続にCPUを使うと、時間を要してしまい、分散できません。 接続されると、その周辺を解析させる「コンセンサス」が自然発生いたします。 この「コンセンサス」のイメージをたとえると、「草稿」として散らばっている状態をまとめる役割を担う感覚となります。

◆ 図1:

■ 8d, ノードの性質

 投入されたノードの性質を解析していきます。 ここでは、わかりやすい例として「S.M.A.R.T.解析前」「S.M.A.R.T.解析後」をみていきます。

◇ 8da, S.M.A.R.T.解析前

 以下図2の状況が、解析前となります。 また、集まりましたビッグデータの9割がこの状況です。

(上):ドライブが壊れかけの状態では、S.M.A.R.T.は正常値を示しております。
(下):逆に、ドライブが問題ない場合でも、異常値を示している場合も多々あります。
 このため、S.M.A.R.T.が本当の意味で異常値を示した時には、 すでにビット腐敗(前章7,ビット腐敗の考察はこちら)を引き起こして、まともに読み出せない場合が多いのが現状です。 あるいは、正常値から一転する形で認識不能になる物理障害を引き起こしてしまいます。

◆ 図2:

S.M.A.R.T.下向き S.M.A.R.T.上向き

◇ 8db, S.M.A.R.T.解析後

 以下図3の状況が、解析後となります。

 図2と比較いたしますと、ちょうど良く論理がひっくり返っております。 これを導くには、集まりましたデータを地道に解析していく必要があります。 しかし、ビッグデータが十万を超えてくると、解析にとてもお時間を要してしまい、厳しくなります。 このため、解析結果を積み重ねる仕組みが「コンセンサス」で、このマイニングの結果を積めば、解析時間を短縮することができます。 マイニングを実施いたしますと、その場所に存在するノードが解読され、最短の場所に紐付けられます。これにより、解析回数を減らして時間短縮を図ります。 また、S.M.A.R.T.コンセンサスを実行されたパソコン上で、一度だけマイニングを実施いたします。そして、その対価として解析結果をお渡しするシステムとなります。

◆ 図3:

コンセンサス下向き コンセンサス上向き

■ 8e, セクタの振る舞い
ここでは概要といたします。次章にて、この振る舞いをさらに詳しく考察していきます。

 S.M.A.R.T.の振る舞いを解くには、セクタの振る舞いに対する解析が必須です。 そこで、以下図4となります。 セクタの振る舞いに関するスキャンを実施いたしますと、弱っている部分が浮き出るように出てきます。 そして実は、このセクタの振る舞いについては、S.M.A.R.T.とは異なりまして「正直」です。 読み書きの中枢となりますので、正直に結果を渡す必要があるためです。

 以下図4の詳細ついてです。

 (上):セクタ代替が近づいているSSDとなります。一部が急激に低下しております。 SSDは突然、一部が連続して読めなくなります。 その要因の一つが代替失敗です。そして、この急激な変化はしっかり観察する必要があります。
 (下):セクタ代替後のSSDとなります。しっかり、戻しています。 この場合、「コンセンサス」は両方のデータ(実際には分岐されたノードを含め多数)から、この場合は「正常」として、「正常ノード」に紐付けます。 すると、同じシリーズをご利用いただいたユーザ様は、すでに作られたこの道筋から、大量のデータの解析をせずに「結論」へ辿り着くことができます。

◆ 図4:

統計スキャン結果 統計レストレーション結果

■ 8f, 考察

 はじめ、一点集中による解析を実施していた(2018年2月まではこちら)のですが、頓挫いたしました。 ドライブ解析の一つ一つは小さいとはいえ、ビッグデータの量は半端ではなく、分散させる見通しとなりました。

■ 各機能のご紹介 ■

完全スキャン

■ [2010-0804] ハードディスク, SSDのメンテナンス

[全エディション対応]
全セクタを検査できる完全スキャンです。
不良セクタ検出および、ドライブの「動作安定度」を算出いたします。
新たな指標で危険なセクタを検出いたします。

統計スキャン

■ [2013-10] ドライブ故障統計を利用する誤差のない統計スキャン

[サポートエディション以上対応]
完全スキャンの誤差をドライブ故障統計から改善いたしました。
さらに、グラフの方も統計タイプに入れ替え、使い易さも大幅に向上させております。

不良セクタシミュレーション

■ [2010-0804] 不良セクタシミュレーション

[全エディション対応]
今までにないスキャンを実現いたしました。
近い将来発生する不良セクタを、先回りで検出いたします。
このような性質上、「故障前の事前的な予防交換」などに最適なスキャンです。

不良セクタレストレーション

■ [2010-0826] 不良セクタレストレーション

[全エディション対応]
大容量HDDに発生しがちな、軽微な不良セクタを修復することができます。
不良セクタシミュレーションをベースに開発したため、近い将来発生する不良セクタも修復対象です。

ヘッドレストレーション

■ [2011-0905] ヘッドレストレーション+SSD

[サポートエディション以上対応]
壊れかけHDD(SSD)を制御し、新しいHDD/SSDへセクタイメージを転送します。
いわゆる、物理解析を実施できる機能です。

ベンチマーク

■ [2010-0804] ストレージベンチマーク

[全エディション対応]
接続されております各ストレージの速度を計測いたします。
同時計測・単独計測をサポートいたしております。

S.M.A.R.T.ビュー

■ [2010-0804] S.M.A.R.T.ビュー

[全エディション対応]
ドライブの情報を細部まで表示いたします。

データ復旧

■ [2010-0804] 写真・画像データ復旧

[全エディション対応]
メンテナンス系に加え、データ復旧・修復機能をサポートいたします。
万一の場合も安心してご活用いただけます。

エコモード

■ [2010-0804] エコモード (ATAコマンド制御)

[全エディション対応]
ATAコマンドを多数発行できるインターフェイスです。
補助サポートが多数付属し、簡単にご利用いただける環境を整えました。
お気軽にご活用いただけたら幸いです。

データ転送グラフ化機能

■ [2010-0804] 転送レートグラフ化機能

[全エディション対応]
ストレージの転送レートをグラフ化する機能です。
お気軽にご活用いただけたら幸いです。

データ転送グラフ化機能

■ [2010-0804] シミュレーション解析設定

[プロエディション対応]
シビアな状況をテストできる各シミュレーションを実行できます。
メーカ・型番別に細かくパターン化され、最適なテスト・検査を実施します。
※ シビアな条件を要求される法人様向けの機能です。

故障予測ビュー

■ [2010-1103] 故障予測ビュー

[全エディション対応 制限モード(フリー)の場合は制限あり]
ドライブの故障予測情報を細部まで表示いたします。

故障予測スキャンモニタ

■ [2010-1103] 故障予測スキャンモニタ

[全エディション対応 制限モード(フリー)の場合は制限あり]
新しい「スキャン方式」の故障予測を実行いたします。

故障予測 S.M.A.R.T.情報モニタ

■ [2010-1103] 故障予測 S.M.A.R.T.情報モニタ

[全エディション対応]
従来のS.M.A.R.T.に対しまして、独自しきい値を採用した故障予測を提供いたします。

故障予測

■ [2010-1103] ストレージ故障予測

[全エディション対応]
S.M.A.R.T.および故障予測スキャンを自動化、万全な体制で予測を行います。
S.M.A.R.T.のみでは対応できない部分までしっかりサポートします。

バックアップ

■ [2010-1103] 緊急・定期バックアップ

[サポートエディション以上対応]
定期バックアップに加え、故障直前のデータも逃さない緊急バックアップを標準装備しております。
故障予測と併用し、メンテナンスフリーを確立します。

エコモード++

■ [2011-0905] エコモード++ (電力会社別管理&データ保護)

[全エディション対応]
電力会社別(電力需要)に合わせてHDD/SSDを制御し、節電とデータ保護を実現いたします。
お気軽にご活用いただけたら幸いです。

アドバンストデータ復旧

■ [2012-1017] アドバンストデータ復旧, 並列同時解析

[サポートエディション以上対応]
壊れたファイル構造からデータを復旧する論理解析を実施できます。
いわゆる、データ復旧ソフトウェアとなります。
万一の場合も安心してご活用いただけます。

■ [2013-0819] S.M.A.R.T.コンセンサス

[全エディション対応]
S.M.A.R.T.に、ドライブ故障予測のビッグデータ解析結果を適用いたします。
これにより精度の高い予測を実現いたします。

つなぎ復旧

■ [2014-0722] 不良セクタ危険予知

[サポートエディション以上対応]
物理障害の区間を上手く処理できる「不良セクタ危険予知」をサポートいたしました。
従来では先に進めなかった区間も、この機能で読めるようになります。

個人情報探索

■ [2014-0722] 個人情報探索, ファイル内部探索

[プロエディション対応]
個人情報を含むファイルを素早く内部まで探索いたします。
普段使われているパソコンの内部チェック、
または、これから持ち出すパソコンなどの内部状況把握にご利用ください。

ファイル名高速検索機能

■ [2014-0908] ファイル名高速探索機能, 頻度曖昧検索

[全エディション対応]
検索の度に検索用ツリーを生成し、高速検索いたします。
検索向けに、事前にキャッシュやインデックスを必要といたしません。
また、事前な仕掛け無しに、頻度を曖昧に検索する機能を追加しております。

■ [2016-0315] ホコリ前提復旧機能

[リカバリエディション以上対応]
動画サイトなどをみて、うっかり自分でドライブ(HDD)を開けてしまった・・ホコリ侵入前提のスキャン機能をご提供いたします。

■ [2016-0920] ベータ版 AI自動復旧機能

[サポートエディション以上対応]
データ復旧対象のドライブと、データの移転先をつなげるだけで自動的にデータ復旧が完了いたします。

■ [2020] 大幅に強化されたAI+BLOCKCHAIN 自動復旧機能

[サポートエディション以上対応]
データ復旧対象のドライブと、データの移転先をつなげるだけで自動的にデータ復旧が完了いたします。
自律的に稼働するブロックチェーンに、ドライブの状態を決める故障予測の情報を委ねます。
さらに、ブロックチェーンは世界中からドライブ故障に関する情報を集めてきますので、統計的にみても精度が大幅に向上する見込みです。

■ [2020] 大幅に強化されたヘッドレストレーション+SSD

[サポートエディション以上対応]
ドライブをセクタレベルで複製できる機能を大幅に強化いたします。
事前に壊れやすい区間が把握できれば、大幅に復旧率が向上することがわかっているため、ブロックチェーンを利用して、この制御を試みます。