[新技術 2011年秋以降] 小さい容量から2.0TB超えの大容量HDD, RAID, サーバまで難なく対応：並列同時解析の完成
手作業による技術開発(2001年)から、弊社のデータ復旧技術開発はスタートいたしました。
はじめ、精度を高めたDataScan＆Salvation技術,
RAIDに対応するData_Array＆Restoration技術,
プラッタ系統の損傷に対応するData_Platter&Investigation技術を開発、
コマンド入力による制御方式に移行し、当時(2004〜2005年)の容量では、これでも十分だったのです。
しかし、ハードディスクの容量が劇的に増加し始め、この方式では不十分な面が出てきてしまいました。
そこで、2005年後半より一つ一つの作業を"オブジェクト"(生成するだけで扱えるようになります)としてまとめ始め、
最終目標の一つとなります"同時解析"に向け、一歩一歩、地道に開発する事に決定いたしました。
まず、各作業の依存具合を調査し、継承関係(これを行いませんと、似たロジックをまとめられません)を調査する目的を含め、
まとめて制御を可能とする"DIRECTSCAN Ver1.x", "DIRECTSCAN Ver2.0", "DIRECTSCAN Ver3.0"を開発いたしました。
そして・・、DIRECTSCANや、その他必要とされていた細かい作業を並列化して同時進行させ、
従来では厳しい"重なり合った障害"を見抜いて速度と精度を高めた"並列同時解析"の完成(2011年9月)に至っております。
また、高い精度を保ちつつ、復旧優先度Ｓ＋、Ｓ、Ａ、Ｂ、Ｃを定め、コスト面においてもバランスを取りました。
[＞＞復旧優先度に関する詳細は、お見積の方で説明いたしております]
並列同時解析のご紹介・復旧事例に関しましては、以下ブログの方で紹介していきたい所存です。[2011年10月7日より開始]
[＞＞並列同時解析 開発資料]
[並列同時解析の特徴]
2005年後半より積み上げてきたロジックを並列処理いたします。
また、公開できるロジックに関しましては、
必ずソフトウェアの形(Windows版)で公開します。各リンク先をご参照ください。
| ロジック名 | ソフトウェア : 公開(リンク) / 非公開 | 説明 |
| 完全スキャン | 公開 [ ＞＞ 完全スキャン ] | 各セクタの状態を検査しつつ、該当セクタの情報を取得いたします。 |
| 不良セクタシミュレーション | 公開 [ ＞＞ 不良セクタシミュレーション ] |
スキャン中のセクタに対し、この先どう変化するか演算し、その結果を返します。 |
| 不良セクタレストレーション | 公開 [ ＞＞ 不良セクタレストレーション ] |
セクタの修復機能に加え、危ういセクタを先回りで修復し、ドミノ倒しのように壊れかけセクタが連鎖で壊れる現象を防ぎます。 |
| 高速リニアスキャン | 公開 [ ＞＞ 高速リニアスキャン ] | ヘッドの状態を高速にスキャンすることにより、判断いたします。 |
| SSD対応 完全スキャン | 公開 [ ＞＞ SSD対応 完全スキャン ] | 完全スキャンのSSDバージョンとなります。 |
| S.M.A.R.T.ビュー | 公開 [ ＞＞ S.M.A.R.T.ビュー ] | ドライブ情報を細部に渡り詳細に取得いたします。 |
| 故障予測ロジック | 公開 [ ＞＞ 故障予測ロジック ] | ドライブの僅かな変化を常時監視いたしまして、故障のタイミングを見極めます。 |
| 故障予測スキャン | 公開 [ ＞＞ 故障予測スキャン ] | ドライブを部分的にスキャンし、故障のタイミングを見極めます。 |
| 故障予測スキャンモニタ | 公開 [ ＞＞ 故障予測スキャンモニタ ] | スキャンによるドライブの変化を刻々と記録し、危ないタイミングを算出いたします。 |
| 故障予測ビュー | 公開 [ ＞＞ 故障予測ビュー ] | 各S.M.A.R.T.属性に関連付けられたスキャンの結果を解析・表示いたします。 |
| イメージバックアップ | 公開 [ ＞＞ イメージバックアップ ] | スキャン結果をイメージ化いたします。※ 公開バージョンの方では、イメージ化をバックアップに応用いたしております。 |
| 画像復旧ロジック | 公開 [ ＞＞ 画像復旧ロジック ] | 取り出せなくなった画像情報を復旧する機能となります。 |
| ヘッドレストレーション | 公開 [ ＞＞ ヘッドレストレーション ] | 状態が危ういヘッドを安定化制御いたします。 |
| SSDレストレーション | 公開待機中 [] | 状態が危ういSSDを安定化制御し、内部のセクタ情報を正常化いたします。 |
| ファームレストレーション | 公開待機中 [] | 壊れたファームウェア(軽微損傷)を修復いたします。 |
| アドバンストデータ復旧 | 公開待機中 [] | 破損した論理構造を、各ファイルシステム別に解析いたします。 |
| RAIDマスター | 公開待機中 [] | NAS, TeraStation, サーバなどに採用される「RAID構造」に対するデータ復旧を行います。実際には、連結処理のち、DIRECTSCANにその結果を渡す仕組みです。 |
| DIRECTSCAN Ver2.0 / Ver3.0 | 公開待機中 [] ※ ただし、公開はVer1.3 | 各ロジックの全体制御を行い、適切なスキャンおよび解析の指示を出します。 |
| 復旧優先度 | 非公開 | 各ロジックを動作させるスレッドの量を調整いたします。また、シンクロ(同期)もこちらが担当いたします。 |
| 他社診断解析 | 非公開 | 他社にて復旧キャンセルまたは復旧不能のケースにて、変化(悪化)してしまったドライブの状態を解析し、出来る限り元に戻します。 ※ 診断を依頼したにも関わらず、技術的な報告書が存在しないケースがあまりにも多いため、別途、ロジックとして開発いたしました。 |
[旧技術 2010年まで] ハードディスクの総容量が上昇中：新技術開発までの流れ・・
技術面が同一(旧のまま)であれば、ハードディスクの容量が上がるにつれ、
費用も高額化いたします。このままでは作業時間が単調に増加し、作業に関するコストがかさみます。
ところで、このような事実は既に4年も前(2006年)から分っている内容でした。
そこで、それに代わる新しい技術の確立が急がれました。
この期間、弊社ではDIRECTSCAN ベータ版, DIRECTSCAN Ver1.x・・を経て、DIRECTSCAN Ver2.0を完成させるに至り、
2010年2月より正式に採用いたしまして、お客様の大切なデータを復旧いたしております。
|
HGST製 2000GB(2.0TB)のハードディスクです。 |
[旧技術 2010年まで] 安全性を維持しつつ、最適なコストで大容量HDDへ対処
全てを新しく1から組み直すには、検証その他を含め、現実的ではありません。
現状にて上手く動作しているコードをなるべく流用し、上手く組み立てていく方法を優先いたしました。
それでも開発に1年、それから1年近い検証期間を必要といたしております。
※ あらゆるメーカ・色々な型番のハードディスク(ジャンク)を検証させていただきました。
※ 色々なところよりジャンクのハードディスクを買い漁っていたのは私(^^;(担当：矢野)です。
台数が多い場合、「一体何に使うんだ？(売り手)」みたいな雰囲気もありましたが、有効に活用させていただきました。
お時間を最も必要といたしまして、なおかつ復旧精度を決めるデータスキャン作業がございます。
この作業では、データを構成するセクタイメージの取得に力を入れており、必要不可欠な作業です。
先ほどの旧技術では、この部分の処理に関しましては、1から10まで指示を出す必要があります。
これがハードディスク容量上昇(プラッタ密度増加)と同時にコストアップへと繋がってしまいます。
新技術では、この部分を大幅に改善いたしまして、
今まで蓄積してまいりました技術ノウハウを全て注ぎ込み、大部分の自動化に成功いたしました。
また、この先の新しい媒体に関しましては、派生する等で対応可能になるよう設計いたしました。
HDD/SSDの構造が余程変わらない限り、DIRECTSCANを改良しこの先も対応可能な見込みです。
[旧技術 2010年まで] 本技術の詳細な紹介
大容量ハードディスクにて、作業時間の大幅増加が懸念されるデータスキャン作業および再構築作業がございます。
そのまま従来通りの技術では、価格が比例して上昇してしまう点は先ほどご紹介した通りです。
それを改善するため、以下のような仕組みを図りました。
左側の灰色ボックス内がカプセル化です。
DIRECTSCANと名付けまして、昔からの弊社パートナーさんにも配布いたしております。(現在 Ver 2.0)
各種アルゴリズムの動作および連携は、このボックス内部で全て処理されます。
外部からは何も意識する必要性がなく、作業ミスなどもありません。
このような指示を与えて結果を受け取る効率的なシステムを、３年の月日を費やし完成に至りました。
※ 本来、各アルゴリズムはバラバラですので、全て手作業でした。そしてこれが復旧サービスの高騰に繋がっていました。
※ その従来の復旧手法はこちらに公開いたしております。一つ一つの作業を行うため、どうしてもコストを要します。
※ 処理できないパターンでは例外が投げられ、手作業に移行できる安心なシステムです。
なお、この場合でもお見積は変わりません。
以下、本技術が正式稼動する前の旧技術となります。
旧といっても技術的には問題ありません。しかしながら、色々な面で要領が悪く、コストアップに繋がっていました。
それでも250GB, 500GB, ・・・1.0TBまでならば何とかなります。
でも、現実には既に2.0TBがリリースされておりまして、一時期よりも鈍くなったとはいえ容量は増加傾向です。
このような複雑化してしまった作業をまとめ、十分にテストを重ねております。
以下、基本的な３つの動作と、そのオプションとなります。
２で複雑な処理ができますので、この６種類だけでもそれなりに使えるものとなっております。
|
１、連続スキャン 指定された区間を連続してスキャン。指定なしの場合は0hより開始。 ２、非連続スキャン 指定された区間を非連続でスキャン。非連続パターンとアドレス指定が最低限必須。それ以外にもオプションを付けて使います。 ３、手動スキャン ごく限られた微小区間を、手動で確認しながらスキャンします。アドレス指定が必要。また、オプションＢを組み合わせます。 Ａ、アドレス反転 指定された区間を逆さにスキャンする命令。 Ｂ、訂正不能セクタを00hで処理 どうしても読み取れないセクタは00hと読む命令。 Ｃ、スキャン中断 一定の条件を満たした場合、スキャンを中断させる命令。 |
明らかに論理障害の場合、ウイルス活動による削除など、機械的に破損していないと断定できる場合は１のみで十分です。機械的に破損していない場合でも、イメージを取得してやり直しが利く方法で作業をしております。また、故障予測サービスにて「警告段階」のHDD/SSDよりデータを移転する場合にも利用いたします。
この場合、最後のセクタから頭に向かって逆さ読みします。外周部に損傷を負い、ヘッドの余力が僅かで開封する直前の場合には非常に有効です。このような媒体を頭から読み込もうとすると、最初の損傷部に当たってしまいヘッドクラッシュに発展する可能性が高いです。逆さ読みでも最後はヘッドクラッシュする場合がありますが、他の読み込める部分を既に取得していますのでデータ復旧は成功です。
＊逆さ読みの場合でも、ファイルシステムを司る主要部分は先に回収いたします。
さらにヘッド退避(スキャン中断)を付け加えたパターンです。エラーの生じている区間に達した際、動作がすぐに停止する条件を加えます。これによりヘッドを保護し、残った区間は３、手動スキャンで回収します。ヘッドの状態により工夫して使い分けております。
非連続スキャンとは指定された微小区間をゆっくりと積み重ねるイメージとなります。つまり、非連続だけで処理をすると時間が必要となります。エラーのない場合で1GBあたり平均25分必要となります(使用されているデータ量ではなく、全体の容量です)。エラーが存在する事を前提で非連続処理を行うのですから、さらに時間は増していきます。そこで、条件１により安全性の高い部分を連続スキャンで処理する事により、高速化を実現しております。ところで、非連続の場合はエラー部分(すなわち、損傷ヘッドに壊された区間)をスキャンしますので、損傷度合いが大きいと判断できている場合はヘッドを保護するようオプションＣを添えます。ただし、このオプションＣの条件により、動作が何度も停止してしまうようでは全く使い物になりませんので、オプションＣをある程度相殺するオプションＦを添えます。オプションＦとは漠然とした機能、すなわち白黒はっきりさせるようなものではなく、メーカや型番、状態などの条件を加えて上手く使い分ける必要があります。
データというものは、その中身と管理部分が分かれております。つまり、中身部分をスキャンしただけでは、ファイル名やディレクトリ構造が得られず、復旧されるファイルは全てバラバラの状態で摘出され、ファイル名すら失ってしまう事になります。確かにファイル自体は生きておりますのでデータ損失にはなりませんが、再度リネーム、ディレクトリ構築を行わないと運用できない為、非常に不便な結果を招いてしまいます。そこで、登場致しますのがオプションＧ〜Ｊとなります。各ファイルシステム専用となります。これは当然で、ファイルシステムにより重要な部分が変わる為です。また、使われていた容量や希望される容量が分かりますと精度が上昇致しますので、お申込書に「復旧希望の容量」という項目がございます。ただし、これらオプションは必ず必要という訳ではなく、媒体の状態に応じて使い分けております。
上２つの組み合わせです。
非連続のみで処理する必要があるパターンもあります。弊社にてプラッタ重度障害の診断結果、またはプラッタ障害などの診断結果で敬遠されがちな物件を扱う際に使用致します。とにかく時間を必要とする為、コスト的なものから敬遠される場合もあると思いますが、弊社では復旧可能性がある限りは、時間が必要となる旨をお伝えし、了解を得次第、長期お預かりしてデータ復旧を実施しております。地道に非連続で処理し、オプションＤによりスキャン続行、Ｆにより動作を安定させます。数日で完了可能な作業ではなく、状態によっては4GBを救い出すのに2ヶ月要した例もございます。しかし、その4GBが2度と撮影できないお写真と作業前に伺っておりましたので、お客様にはご満足頂け、こちらと致しましても嬉しい限りです。
＞＞Data_Platter&Investigation技術
２、スキャンが通常(レベル１〜２、クラスタ)レベルで可能か判断いたします。
３、２の過程で不可判定の場合、別の手法(セクタ単位レベル)を試します。
４、３の過程で不可判定の場合、クリーンルーム作業を検討します。
※ １の段階であっても、非常に危いと判断できる場合には、クリーンルーム作業検討となります。
データ復旧作業では、例外的な処理が多く、臨機応変に対応する必要性がございます。
※ ２、３は独自ソフトウェアにて素早く実施いたしております。
初期診断作業に関しましては、従来と同様の技術・手順を改良いたしております。
※ ２、３に関しまして、DIRECTSCAN Ver2.0の「初期診断アルゴリズム」に置き換わった形です。
これだけでも一度に処理できるため、確実かつ短時間で診断を完了できます。
１、[少しでも最良な条件を作る]：HDD/SSDに付着する埃をできる限り除去します。
２、[表面検査]：トップカバーの開封に着手し、プラッタ表面の状態を検査します。(スキャンに応用します)
３、[破損個所回収]：正常動作を阻害する直接的な要因を全て取り除きます。(例：吸着したヘッド等)
４、[剥離した磁性体除去]：内部の汚れている個所(削られた磁性体)を除去し、それらを回収します。
５、[内部部品交換]：破損した部品を全て取り除き、正常品から取り外したものと交換します。
６、[最終チェック]：全部品を再確認いたします。確認のち、トップカバーを閉じで作業完了です。
７、[ファームウェア修復]：状況によっては、ファームウェア系統の修復を実施します。
｜
 |  | ヘッドアンロード〜ＣＳＳに至る幅広い機種に対応できます。大きさも制限なし、基本的に何でもＯＫです。
|
内部の構造に関しましては、ハードディスクの容量とは無関係に共通です。
そのため、従来の技術と同様の手法にて対応いたします。
ここからがDIRECTSCAN Ver2.0 カプセル化(まとめられた技術)の本領発揮です。
今までは別々だったスキャンや各作業が、一つにまとめられ、自動的に最適なスキャンが次々と行われる仕組みです。
具体例を挙げてみます。
[重要]：以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, データスキャン区間決定アルゴリズムが実体化、4番で得られた調査結果をロードし、
2番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
6, データスキャンアルゴリズムへ、5番にて決定された区間を渡しまして、セクタイメージを取得させます。
7, NTFS 再構築アルゴリズムを実体化、6番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
8, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
9, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。
[重要]：以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, データスキャン区間決定アルゴリズムが実体化、4番で得られた調査結果をロードし、
2番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
6,[例外処理] Data_Platter&Investigation技術を呼び(dll)、その内部のスキャン関数を利用いたします。
この関数は引数にてスキャン区間に関するものを要求するため、5番で得られたものをそのまま渡します。
そのスキャン関数から得られたセクタの情報を、データスキャンアルゴリズムへ渡し、セクタイメージを生成させます。
7, NTFS 再構築アルゴリズムを実体化、6番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
8, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
9, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。
[重要]：以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, 論理障害の場合は、このままセクタイメージを取得させます。
6, FAT12/16/32 再構築アルゴリズムを実体化、5番で取得したセクタイメージを再構築いたします。※ データが出てきます。
7, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
8, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。
[重要]：以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, データスキャン区間決定アルゴリズムが実体化、4番で得られた調査結果をロードし、
2番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
6, データスキャンアルゴリズムへ、5番にて決定された区間を渡しまして、セクタイメージを取得させます。
7, XFS 再構築アルゴリズムを実体化、6番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
8, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
9, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。
[重要]：以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 4台構成となりますので、全てを同時に接続いたします。
2, 接続されたドライブの固有情報を全て取得します。
3, 2番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
4, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
5, データスキャンアルゴリズムが実体化、予測に必要な場所を同時にスキャンいたします。
6, データスキャン区間決定アルゴリズムが実体化、5番で得られた調査結果をロードし、
3番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
※ 複数のハードディスクを同時に処理できます。この部分はハードウェア性能向上の恩恵が大きいです。
7, ストライプサイズを決定すべく、各ディスクより計算いたします。
ただし、区切りがある訳ではないため、ここでの決定は予測となります。
再構築を何度か行い、最終的な値を取得いたします。
※ ストライプサイズが予め分かっている場合は、その値を利用し、再構築は1度で済みます。
お客様より申告頂く方法や、市販されておりますNAS(TeraStation等)やデフォルト設定の場合は初期値で対応できます。
8, データスキャンアルゴリズムへ、6番にて決定された区間および7番のストライプサイズを渡し、
セクタイメージを取得します。
※ 4台を同時にスキャンし、一つのセクタイメージを生成できる機能を備えております。
9, XFS 再構築アルゴリズムを実体化、8番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
10, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、
問題ない場合は納品メディアへデータを移転します。
11, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。
|
DIRECTSCAN Ver2.0による効率的な作業は、 着実な復旧作業に結びつき、多数の成果を上げております。 |
そして、本技術を採用する故障予測ソフトウェア FromHDDtoSSD Ver2.x
開発中には、思わぬ副産物が出来る事がしばしばございます。
特にスキャン系統開発にて、沢山の副産物が生じ、そのうち故障予測に活用できる部分を選別いたしました。
S.M.A.R.T.による予測とは全く異なる原理で動作いたしますので、お試しいただけたら幸いです。
1:[FromHDDtoSSD] 次世代故障予測スキャンを搭載した新しい故障予測ソフトウェア
2:[データ復旧サービス] データ復旧技術の概略について、公開いたしております
3:[データ復旧サービス] お客さまのご期待に応える復旧技術を日々開発・改良 技術開発は10年目
4:[FromHDDtoSSD] 完全スキャン, 同時完全スキャン
5:[FromHDDtoSSD Ver1.x] HDD/SSD 動作検証、故障予測、データ復旧：ダウンロード
このページをご覧いただいた方のうち、4％の方がお申込(お問い合わせ)いただいております。ありがとうございます。
