運用技術

ホーム運用技術について
        

1, 謝辞

ドライブの大容量化が進みまして、特に、データの復旧が年々難しくなっております。
もちろん、データの復旧に至らないためのプロセス・・バックアップという処理が存在いたしますが、 このバックアップを実行するために新たな設備を増強し、そして、その増強された設備にもデータが分散し、 それらに対しましてもバックアップが要求され、自然とドライブの台数が増加してしまいます。
このような循環に陥りますと、一体何が格納されたのか定かではないドライブだけが・・積みあがっていきます。

このような事情から、バックアップは重要箇所に限定させ確実に行う一方で、 ドライブの不具合を先回りで見抜いて、損傷が進まないようにデータを回復させる手段も必要となってきました。 現に、この方式を採用されております法人様も増加しております。

しかしながら、壊れたドライブの状態にはバラつきが存在いたします。
そして、このバラつきを前向きにとるか、否かで、復旧手段が大きく変わります。
はじめから、バラつきからは普遍的な手段を取り出せないと決めつけてしまいますと、 いつまでも勘に頼る作業(手作業)が続いてしまい、その結果、復旧成果のバラつきにつながります。

ただし、それは・・・勘に頼る作業(手作業)が可能な場合に限られます。
ここで、つい先日の話となります。 プラッタが歪んでしまい、まともな転送速度が出力不能となったドライブの復旧ご依頼でした。 測定した結果、500KB/s以上は厳しいうえ、それ以上の速度向上は望めない状態を確認いたしました。 総容量は3000GBで、このうちの6割にデータが格納されており、他社にて復旧は不可能と判断された状況でした。 たしかに、これを勘に頼る作業(手作業)では難しいです。 仮に、全ての勘が当たりましてデータを取ることができた場合でも、復旧作業を約1000時間続ける必要が出てきます。 1000時間を復旧エンジニアに割り当てるのは金額的に非現実的で、復旧は不可能とされたと診断しております。

しかしです、バラつきから普遍的に近い手段を取り出して、この1000時間を自動処理させることに成功したならば、事情は大きく変わります。 この場合、自動処理に対する開発費と、少々の電気代(^^;で済みますので、問題ございません。

弊社では2010年頃より、ヘッドレストレーションという形から、バラついたドライブの制御に取り組みはじめまして、 現在ではビッグデータやAIの力を借りて、バラつきから普遍的に近い手段の取り出しを試み、ようやく、その成果を確認することができるようになりました。 これらは、ドライブ検査の結果に対する考察や、ビッグデータの力がとてもとても大きく、この8年間お付き合いいただきました方々には感謝してもしきれません。

それら成果に関しましては、こちらの「運用技術」にてしっかりまとめます。
特に、ドライブのベンチマークや測定に関する部分はソースコードも交えてしっかり説明いたします。
※ 特に、運用中のビッグデータの内部に不透明感が残らないように、詳細をしっかりまとめます。

目次
※ ◆部分は概要です。

1, 謝辞
◆ このページ(^^;です。
2, 壊れかけたドライブの測定に関する考察 [乖離率ベンチマーク]
◆ 壊れかけたドライブのベンチマーク方法となります。転送速度よりも、転送されたサイズが大事です。
3, 不良セクタに関する考察
◆ データ復旧の現場では、常に追い求めるテーマが不良セクタの種類と位置です。しっかりまとめます。
4, 不良セクタ修復(HDD,SSD)に関する考察
◆ ユーザ様よりご相談いただく実例を基に、考察を行います。修復の可能性や、その後の運用について等です。
5, 旧技術に関する考察
◆ 手作業だった各技術をご紹介いたします。今では、クリーンルーム作業のみ手作業(^^;です。
6, 自動化に関する考察
◆ 手作業から自動化への過程をみていきます。まずは、決まった手順の作業がベースです。
7, ビット腐敗に関する考察
◆ 自然と悪化して読み出せなくなる物理障害の原因です。特に、長期保管データがこのビット腐敗にやられます。
8, S.M.A.R.T.コンセンサスの仕組み
◆ ドライブの状態を分散させ、マイニングにより探索処理量を削りながら、全体を軽量に維持する仕組みとなります。
9, セクタの振る舞いに関する考察
◆ 前章の「セクタの振る舞い」について、さらに深く掘り下げて考えていきます。
10, AIに対する指令 ※ 2018年3月更新
◆ 実験を重ねた結果、高い可能性を「無条件にて」強気で推すほど、成果が向上するという結論に至りました。
[追加中...]

■ 集計中 ■ E:-4