データ復旧技術 DIRECTSCAN Ver2.0, Ver3.0 / 並列同時解析=>機械学習スキャン

■ アクセス [ベスト 5]
1:AI完全自動ドライブ復旧システム FromHDDtoSSD:最新版ダウンロード
2:ドライブ故障統計(ビッグデータ採用):ストレージ故障予測の仕組み 概要 用途別に2種類をご用意 [S.M.A.R.T.のみでは厳しい]
3:AIデータ復旧サービス 機械学習スキャン(AI)による安定したお見積・復旧率が安心の鍵
4:ドライブ検査は断られました お客様実例からの、データ復旧サービスの実態について(検査はできないのに復旧はできる?)
5:担当者ブログ ※ 2017年はR.E.C.O.A.I.中心にまとめます。

ホームドライブ解析技術→応用技術について→DIRECTSCAN Ver2.0, Ver3.0 / 並列同時解析=>機械学習スキャン
DIRECTSCAN Ver2.0 / Ver3.0 / 並列同時解析

■ 小容量はもちろん、2.0TB超えの大容量HDD, RAID, サーバまで難なく対応:並列同時解析の完成
=> 2016年9月より、AIによるデータスキャン作業に成功。数TBの大容量でも、低コストで安全に復旧いたします。
※ データ復旧に「絶対」はないため、常にドライブの状態をモニタリング、リスク管理いたします。

並列同時解析-A

手作業による技術開発(2001年)から、弊社のデータ復旧技術開発はスタートいたしました。
はじめ、精度を高めたDataScan&Salvation技術, RAIDに対応するData_Array&Restoration技術, プラッタ系統の損傷に対応するData_Platter&Investigation技術を開発、コマンドによる制御方式に移行し、 当時(2004~2005年)の容量では、これでも十分でした。
しかし、ハードディスクの容量が劇的に増加し始め、この方式では不十分な面が出てきてしまいました。
そこで、2005年後半より一つ一つの作業を"オブジェクト"(生成するだけで扱えるようになります)としてまとめ始め、最終目標の一つとなります"同時解析(並列処理)"に向け、一歩一歩、地道に開発する事に決定いたしました。 まず、各作業の依存具合を調査し、継承関係(これを行いませんと、似たロジックをまとめられません)を調査する目的を含め、まとめて制御を可能とする"DIRECTSCAN Ver1.x", "DIRECTSCAN Ver2.0", "DIRECTSCAN Ver3.0"を開発いたしました。

過去に取り扱ったご案件_84 過去に取り扱ったご案件_85 過去に取り扱ったご案件_86

そして、DIRECTSCANおよび、その他の部分において必要とされていた細かい作業を並列化および同時処理できるように改良いたしまして、 従来では厳しい"重なり合った障害"を見抜いた上で速度と精度を高めた"並列同時解析"の完成(2011年9月)に至っております。

並列同時解析のご紹介・復旧事例に関しましては、以下ブログの方で紹介していきたい所存です。

並列同時解析 技術ブログ
■ 並列同時解析の特徴

2005年後半より積み上げてきた開発ロジックを「並列処理」いたします。

完全スキャン 論理解析 不良セクタ修復 故障予測ビュー

過去に取り扱ったご案件_174 過去に取り扱ったご案件_175 過去に取り扱ったご案件_176 過去に取り扱ったご案件_177

■ ハードディスクの総容量が上昇中:新技術開発までの流れについて

技術面が同一(旧のまま)であれば、ハードディスクの容量が上がるにつれ、費用も高額化・・・仕方がない?

このままでは作業時間が単調に増加し、作業に関するコストがかさみます。このような事実は既に4年も前(2006年)から分っている内容でした。 そこで、それに代わる新しい技術の確立が急がれました。この期間、弊社ではDIRECTSCAN ベータ版, DIRECTSCAN Ver1.xを経まして、 DIRECTSCAN Ver2.0を完成させるに至り、2010年2月より正式に採用いたしまして、お客様の大切なデータを復旧いたします。
※ 現在では、Ver3.0, 並列同時解析=>機械学習スキャンと、問題なく開発を進めております。

2TBのハードディスク

HGST製 2000GB(2.0TB)のハードディスクです。 このレベルのディスクが普及し始めており、データ復旧に関しましても需要の増加が見込まれます。
しかし、主流の500GB~1000GBと比べ2倍~4倍の容量です。 さらには、ランダムアクセスの性質上、どこに書き込まれるか分かりません。
これをスキャンする着実な方式でデータ復旧を行いますと、お見積の方も主流と比べ2倍~4倍になる可能性が・・・。 だからといって、安全性を捨てるのはもっての外です。

■ 安全性を維持しつつ、最適なコストで大容量HDDへ対処

全てを新しく1から組み直すには、検証その他を含め、現実的ではありません。
現状にて上手く動作しているコードをなるべく流用し、上手く組み立てていく方法を優先いたしました。
それでも開発に1年、それから1年近い検証期間を必要といたしております。

お時間を最も必要といたしまして、なおかつ復旧精度を決めるデータスキャン作業がございます。
この作業では、データを構成するセクタイメージの取得に力を入れており、必要不可欠な作業です。
※ 旧技術では、この部分の処理に関しましては、1から10まで指示を出す必要があります。
これがハードディスク容量上昇(プラッタ密度増加)と同時にコストアップへと繋がってしまいます。

新技術では、この部分を大幅に改善いたしまして、今まで蓄積してまいりました技術ノウハウを全て注ぎ込み、大部分の自動化に成功いたしました。 また、この先の新しい媒体に関しましては、派生する等で対応可能になるよう設計いたしました。 HDD(SSD)の構造が変わらない限り、DIRECTSCANを改良しこの先も対応可能な見込みです。
※ 現在では、Ver3.0, 並列同時解析の順で開発が進行しております。

過去に取り扱ったご案件_87 過去に取り扱ったご案件_88 過去に取り扱ったご案件_89

■ 本技術の詳細

大容量ハードディスクにて、作業時間の大幅増加が懸念されるデータスキャン作業および再構築作業がございます。
そのまま従来通りの技術では、価格が比例して上昇してしまう点は先ほどご紹介した通りです。
それを改善するため、以下のような仕組みを図りました。

カプセル化

左側の灰色ボックス内がカプセル化です。
DIRECTSCANと名付けまして、昔からの弊社パートナーさんにも配布いたしております。
各種アルゴリズムの動作および連携は、このボックス内部で全て処理されます。
外部からは何も意識する必要性がなく、作業ミスなどもありません。
このような指示を与えて結果を受け取る効率的なシステムを、3年の月日を費やし完成に至りました。
※ 本来、各アルゴリズムはバラバラですので、全て手作業でした。そしてこれが復旧サービスの高騰に繋がっていました。
※ その従来の復旧手法はこちらに公開いたしております。一つ一つの作業を行うため、どうしてもコストを要します。
※ 処理できないパターンでは例外が投げられ、手作業に移行できる安心なシステムです。

過去に取り扱ったご案件_90 過去に取り扱ったご案件_91 過去に取り扱ったご案件_92

■ DIRECTSCAN / 並列同時解析 作業の流れに関しまして

1, 初期診断作業

1、最短時間にて、HDD(SSD)に負担がないよう診断を実施いたします。※ 現在の状況を把握します。
2、スキャンが通常(レベル1~2、クラスタ)レベルで可能か判断いたします。
3、2の過程で不可判定の場合、別の手法(セクタ単位レベル)を試します。
4、3の過程で不可判定の場合、クリーンルーム作業を検討します。
※ 1番の段階であっても、危険と判断できる場合には、クリーンルームの作業検討となります。
※ このようにデータ復旧作業では、例外的な処理が多く、臨機応変に対応する必要性がございます。

※ 2番、3番に関しましては、独自ソフトウェアにて素早く実施いたしております。

初期診断作業に関しましては、従来と同様の技術・手順を改良いたしております。
※ 2番、3番に関しまして、DIRECTSCAN / 並列同時解析 の「初期診断アルゴリズム」に置き換わった形です。
これだけでも一度に処理できるため、確実かつ短時間で診断を完了できます。

2, クリーンルーム作業

1、[少しでも最良な条件を作る]:HDD/SSDに付着するホコリをできる限り除去します。
2、[表面検査]:トップカバーの開封に着手し、プラッタ表面の状態を検査します。(スキャンに応用します)
3、[破損個所回収]:正常動作を阻害する直接的な要因を全て取り除きます。(例:吸着したヘッド等)
4、[剥離した磁性体除去]:内部の汚れている個所(削られた磁性体)を除去し、それらを回収します。
5、[内部部品交換]:破損した部品を全て取り除き、正常品から取り外したものと交換します。
6、[最終チェック]:全部品を再確認いたします。確認のち、トップカバーを閉じで作業完了です。
7、[ファームウェア修復]:状況によっては、ファームウェア系統の修復を実施します。

ヘッドアンロード方式CSS方式
ヘッドアンロード~CSSに至る幅広い機種に対応できます。大きさも制限なし、基本的に何でもOKです。

工場外観 クリーンルーム作業C クリーンルーム作業B クリーンルーム作業D

■ 物理障害重度の場合、クリーンルーム作業を実施いたします。

3, データスキャン作業, データ再構築作業, データ整合性検査, データ移転作業(並列処理)
※ 各RAIDにも問題なく対応いたします。
※ RAID-0, RAID-1, RAID-5, RAID-6, RAID-10

アドバンストデータ復旧 DirectScan [ >>FromHDDtoSSD Ver2.1 リカバリエディション ] 新技術「DIRECTSCAN」

ここからがDIRECTSCAN / 並列同時解析 カプセル化(まとめられた技術)の本領発揮です。
今までは別々だったスキャンや各作業が、一つにまとめられ、自動的に最適なスキャンが次々と行われる仕組みです。

例1:不良セクタが拡散している場合・・Windowsが起動せず、再起動を繰り返す
[重要]:以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, データスキャン区間決定アルゴリズムが実体化、4番で得られた調査結果をロードし、
2番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
6, データスキャンアルゴリズムへ、5番にて決定された区間を渡しまして、セクタイメージを取得させます。
7, NTFS 再構築アルゴリズムを実体化、6番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
8, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
9, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。

例2:プラッタが歪み、速度がほとんど出ない・・Windowsが全く起動せず、画面には何も映りません
[重要]:以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, データスキャン区間決定アルゴリズムが実体化、4番で得られた調査結果をロードし、
2番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
6,[例外処理] Data_Platter&Investigation技術を呼び(dll)、その内部のスキャン関数を利用いたします。
この関数は引数にてスキャン区間に関するものを要求するため、5番で得られたものをそのまま渡します。
そのスキャン関数から得られたセクタの情報を、データスキャンアルゴリズムへ渡し、セクタイメージを生成させます。
7, NTFS 再構築アルゴリズムを実体化、6番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
8, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
9, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。

例3:「フォーマットしますか?」論理障害の場合・・外付ハードディスク(BUFFALO 製)
[重要]:以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, 論理障害の場合は、このままセクタイメージを取得させます。
6, FAT12/16/32 再構築アルゴリズムを実体化、5番で取得したセクタイメージを再構築いたします。※ データが出てきます。
7, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
8, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。

例4:ネットワークから見えない・・LinkStation(BUFFALO 製)
[重要]:以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 接続されたドライブの固有情報を取得します。
2, 1番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
3, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
4, データスキャンアルゴリズムが実体化、予測に必要な場所をスキャンいたします。
5, データスキャン区間決定アルゴリズムが実体化、4番で得られた調査結果をロードし、
2番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
6, データスキャンアルゴリズムへ、5番にて決定された区間を渡しまして、セクタイメージを取得させます。
7, XFS 再構築アルゴリズムを実体化、6番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
8, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
9, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。

例5:RAID-5が崩壊 EMモード?・・TeraStation(BUFFALO 製)
[重要]:以下の手続きは全部自動にて行われます。そして、これが大容量でもコスト削減に繋がっております。
もちろん、例外的な処理は必ず動作が停止いたしますので、手動にて指示を入力する安全な面も備えます。
1, 4台構成となりますので、全てを同時に接続いたします。
2, 接続されたドライブの固有情報を全て取得します。
3, 2番の固有情報から、そのドライブの特性に合ったパターンファイルをロードします。
4, 予測アルゴリズムを動かすのに必要な部分が実体化されます。
5, データスキャンアルゴリズムが実体化、予測に必要な場所を同時にスキャンいたします。
6, データスキャン区間決定アルゴリズムが実体化、5番で得られた調査結果をロードし、
3番で取得いたしましたパターンファイルと比較しつつ、最適なスキャン区間を決定、アウトプットします。
※ 複数のハードディスクを同時に処理できます。この部分はハードウェア性能向上の恩恵が大きいです。
7, ストライプサイズを決定すべく、各ディスクより計算いたします。
ただし、区切りがある訳ではないため、ここでの決定は予測となります。
再構築を何度か行い、最終的な値を取得いたします。
※ ストライプサイズが予め分かっている場合は、その値を利用し、再構築は1度で済みます。
お客様より申告頂く方法や、市販されておりますNAS(TeraStation等)やデフォルト設定の場合は初期値で対応できます。

8, データスキャンアルゴリズムへ、6番にて決定された区間および7番のストライプサイズを渡し、
セクタイメージを取得します。
※ 4台を同時にスキャンし、一つのセクタイメージを生成できる機能を備えております。
9, XFS 再構築アルゴリズムを実体化、8番で取得したセクタイメージを再構築いたします。ここでデータが出てきます。
10, データ整合性検査アルゴリズムを実体化、復旧したデータを検査し、問題ない場合は納品メディアへデータを移転します。
11, データリスト生成アルゴリズムを実体化、復旧いたしましたデータのリストを生成いたします。

成果
DIRECTSCAN / 並列同時解析 による効率的な作業は、着実な復旧作業に結びつき、多数の成果を上げております。

○ 本技術を採用するストレージ故障予測ソフトウェア

冒頭で説明いたしました通り、データ復旧技術の開発中には、必ず「副産物」が出来ます。
特にスキャン系統の開発で、沢山の技術的な副産物ができておりまして、故障予測に活用できる部分を選別いたしました。
S.M.A.R.T.予測とは全く異なる、新しい原理で動作いたしますので、お試しいただけたら幸いです。
※ 無料でご活用いただけるフリーエディションにて対応いたしております。

ストレージ故障予測設定 [ >>FromHDDtoSSD Ver2.1 フリーエディション ] ストレージ故障予測

本ページをご覧頂きました方は、以下のページも見ております。[自動集計 Ver4.0]
1:[データ復旧サービス] お見積をご案内いたします. ※ 納期を調整し、ご相談可能です.

このページをご覧いただいた方のうち、100%の方がお申込(お問い合わせ)いただいております。ありがとうございます。