my-site-blog自己紹介
IT企業でエンジニアとして働きつつ、フリーフォトグラファーとしても活動しています。
今回はフォトグラファーとして活動してる中でデータ管理の壁にぶつかったこと、またエンジニアとしてのバックグラウンドも活用したので記事にしようかなと思って書くことにしました。
（この記事では、エンジニアっぽいことはしていないですが、先の話では多少やったのでエンジニアリングの話を期待した方は続編をお待ちください…）
この手の記事はあまり見つからないため、参考になる方がいれば幸いです。
今までのデータ管理方法
フォトグラファーの仕事の主な領域は音楽アーティストのライブ撮影で、1公演あたり3000-5000枚ほど撮影して300~400GB、ツアーの撮影だと2, 3日で1TBのデータを管理する必要があります。
それらのデータを4~6TBのHDDに保存していき6台くらい溜まってきて、25TBほどのデータになってきました。
今までは納品したデータはAmazon Photosにアップし、元データは外付けHDDにデータの保存する方法で5年ほど運用してきました。時間が経ってから「こういうデータって残ってないかな？」とクライアントから言われることが度々ある為、納品データ以外の元データも確保しておく必要があります。
そうした中で、以下の悩みが出てきました
- いくつものHDDを漁ってデータ探すのが大変
- 納品終了後にローカルから外付けのHDDに手作業で移動することが大変
- 転送後にデータを削除し忘れたりすると、あれ？このデータ転送したっけ？と確認する手間増える
- 分からない場合は、怖いのでとりあえずそのデータもバックアップし、結果的に同じデータを重複して保存している場合がある
- 元データを手元のHDDだけで管理しているのは自然災害の多い日本では失うリスクが高い状態なのではないか
これらの問題を解決するために、初手としてNASの導入を考え始めました。
バックアップしたいデータ
バックアップを取りたいデータは、写真データと編集過程（LightroomやCapture oneのカタログ）データがあります。Amazon Photosでは写真(jpg以外にもrawデータもpngやtifなど)か動画のデータしか保存できません。動画に関しては容量制限があり、制限以上使いたい場合は別途月額が発生します。編集過程のデータは、（おそらくバイナリーファイルため）Amazon Photosにアップすることができません。
納品方法
LINEなどのメッセージアプリのアルバム機能やGoogle Driveを使用して共有すると画質が荒くなってしまいます。そのため、Amazon Photosのアルバムのリンク共有機能も活用したこともありますが、モバイルのWebページのUIがわかりにくいため誤った方法で保存されることが多発し、LINEで納品するよりも画質が荒くなってしまうことがよく起きていました。
具体例
慣れた操作として、保存したい画像を拡大表示し、長押しで保存するとプレビューサイズの画質で保存されてしまいます。アップロードされたサイズでの保存方法は、右上に表示されている３点ドットを押すと出てくるダウンロードボタンを押す必要があります。
しかし、この操作は普段画像を保存する際にやらないため、ミスを起こさないためにも伝える必要があります。しかし、伝えても忘れてしまう場合もあるので低画質で保存されてしまう問題が起きやすいです。上記の内容が理由で、ファイル転送サービスを活用して納品することが多かったです。
解決策
理想の状態
自宅に到着し、定位置にPCを置いたら自動でデータが転送され、またクラウドにも自動でバックアップをアップロードしてくれる。そして、自動でアルバムを作成してくれて、URLをピッと発行してすぐに共有できる。そんな状態を作りたいと思いました。
いくつものHDDを漁ってデータどこかなと探すのが面倒
納品終了後、ローカルから外付けのHDDに移動するという手作業が大変
上記の問題に関してはNASで解決することができそうです
元データを手元のHDDだけで管理しているのは自然災害の多い日本では失うリスクが高い状態なのではないか
この問題については、1つのNASで物理で管理しているだけは難しそうです。
では、自宅ともう1つ別のエリアに同じNASを用意してレプリケーションするのはどうでしょうか？
一例ですが、studio9の中原さんは2つのNASをレプリケーションしつつ、離れている実家に古いデータを管理するNASを置いているようです。
この方法は実家でNASやPCなどに明るい人がいれば可能かもしれませんが、自分の場合は少々難しいと判断しました。またHDDが壊れた際に直しに行くのはなかなか骨が折れます。
このようなことを考えると必要なデータはクラウドでバックアップを残し、手元の管理はNASで行うことが比較的楽なのではないかなと考え、
NAS + 一部クラウド
という構成で管理する方法にすることにしました。
購入機材の検討
以下の点を念頭に機材の検討を行なっていきました。
- 重複データの削除
- ファイル共有機能
- UIの使いやすさ
- 大容量に対応している機種
- 日本でも使用されている率が高い
- 日本語のドキュメントや動画があると楽なため
どのNASにしたのか？
様々なメーカーがある中で、上記の要望を叶えてくれて日本語での情報も豊富なものを検討した結果SynolozyをNASを購入することにしました。
QnapとSynologyで迷いましたがSynologyの方が以下の点で良いかなと思いました。
- Synolozyの記事が多く見つけることができた
- メーカーの信頼性とサポート体制も充実している
- アプリのUIが使いやすそう
- 本体の価格が同レベルのQnapの製品に比べて安い
- SHR（Synology Hybrid RAID）でHDDの交換が楽そう
上記の理由からSynologyのNASが良さそうという結論に至りました。
といいつつ色々挙げましたが、正直やれることはほとんど変わらないと思うので情報量の多さによる安心感で選んだのが本音です。
本体の選定
当時の自分が持っていたデータが大体25TBくらいだったので、当時コスパのいい6TBか8TBのHDDを入れても、容量の余裕が生まれるベイ数を考えていました。
購入当時の2021年では1GBあたりの金額のコスパが良かったものが6TBのHDDだったので、25TBのデータを保存するのであれば6ベイのものがあれば大丈夫だと思いましたが、最近は年間大体3-4TB増えるので、HDDを変えるのもめんどくさいので、32-36TB以上で組めるといいなと思っていました。
ベイ数は破損リスクを軽減するためにRAID6相当のSHR2を使用したいため、6ベイ以上が必要になりました。
雑な式ですが、Xがベイ数とすると
6TBなら、6TB*(X-2) > 25 となり、7ベイ以上
8TBなら、8TB*(X-2) > 25 となり、6ベイ以上※ 詳しい説明はRAIDで調べることをオススメします。
RAID6にした理由は、以下の3点です。
- データ保護の信頼性: RAID6はパリティ情報を2つ使用してデータを保護します。これにより、2つのディスクが同時に障害を起こしてもデータを復元することができます。一方、RAID5ではパリティ情報が1つのみであり、1つのディスクが障害を起こした場合、データの復元が困難になります。
- データの完全性: RAID6はデータの完全性をより確保します。RAID5ではデータの保護に使用されるパリティ情報は1つのディスクに格納されますが、RAID6では2つのパリティ情報が異なるディスクに格納されます。これにより、1つのディスクが障害を起こしてもデータの整合性を保つことができます。
- 高い冗長性: RAID6は最低でも4つのディスクが必要です。これにより、2つのディスクが同時に障害を起こしてもデータの保護を維持することができます。一方、RAID5は最低でも3つのディスクが必要ですが、1つのディスクが障害を起こした場合、データの保護が困難になります。
RAID6はRAID5に比べてより高い信頼性とデータの完全性を提供するため、データ保護が重要視するため、RAID6にしました。
少し余裕がある運用がしたいと思ったので、結果的に8ベイのNASを購入することにしてDS1821+を購入することに決めました
その他 必要な機材の検討
NAS本体はDS1821+に決まったので、その他に買う必要があるものが以下です。
- LANケーブル
- スイッチングハブ
- SSD 2枚
- HDD 8個
- UPS
LANケーブル
家の回線速度が1Gbpsなので、それに対応するカテゴリのLANケーブルを購入すればいいためカテゴリ6を選びました
スイッチングハブ
カテゴリに対応しているTP-Linkのスイッチングハブを選びました
6_1_large_20231025045914f.jpg)
SSD
公式サイトには、互換性があるSSDを選ばないと正常な動作が保証されないと記述されています。
以下のページで確認することができます
しかし、SynolozyのSSDは少々高く、初期導入のコストを可能な限り下げたい気持ちがありました。また、他のユーザーの情報を見る限り問題がなさそうということで他社性のSSDを使用することにしました。
ひとまず、キャッシュとして動作するのに、2TBあれば足りるだろうと思い、2スロット分なのでWD Blue™ SATA SSD M.2 1TBを2枚購入することにしました。
一旦今はこれを使用していてキャッシュを使う目的では一旦動いていますが、互換性以前に、このSSDは速度が安定せず、スペックを遥かに下回る速度しか出ないことが自分の手元で確認したので、他のものに変えようと思っています。
HDD
NASの購入や運用についての相談を同じチームで働いている arumaさん に相談したところ、HDDには記録方式が CMRとSMRの２種類あることを初めて知りました。
以下の記事がわかりやすかったです。
各社色々あるのですが、ざっと口コミなども見て Seagate IronWolf 6TB にしました。
まず一般デスクトップ向けHDDは 24時間365日で稼働することを想定されていなさそうでした。
Seagate IronWolf を選んだ理由は、NASに適した記録方式であるCMRを採用しているからです。CMR (Conventional Magnetic Recording) は、データを磁気的に記録する従来の方式で、データの書き込みや消去が高速で安定しているようです。一方、SMR (Shingled Magnetic Recording) はデータトラックを重なり合わせて記録する方式で、高いデータ密度を実現できますが、書き込みや消去の速度が低下する可能性があります。
NASでは、データの安定性や速度を重視するため、CMRのHDDが推奨されているようです。Seagate IronWolf シリーズは、CMRを採用しており、信頼性の高いデータ保護と高速なデータアクセスをが可能そうです。また、Seagate は以前の問題を改善し、最近の口コミも良いため、信頼性の面でも選択しやすいと考えました。
以上の理由から、Seagate IronWolf 6TB を選ぶことにしました。
UPS
UPSについては、以下の記事がわかりやすかったです。
UPSに関しては、色々調べたもののどれが自分に最適なのかよく分からなかったため、最低限の機能が乗っていそうなものにしました。APCとCyberPowerが大手で信頼されているメーカーだと思ったので、そのあたりで自分のNASに対応しているものを探して、APCのRS550を選びました。
構成図の最終イメージ
まとめ・振り返り
最終的な内訳はざっくりですが、
- NAS：¥140,000
- HDD 8個：¥140,000
- SSD 2個：¥24,000
- LANケーブル + スイッチングハブ：¥6,000
- UPS：¥18,000
合計金額は約¥328,000程度になりました。
購入することを決めてからは価格、信頼性、機能、コストなどの要素を考慮しました。また、他の類似製品との比較も行いました。このように、検討を重ねながら、最終的に購入するものを決めていくことができたかなと思います。
良かった点
- すべてのデータを集約することができた
- 重複するデータを見つけて整理することができた
不安の残った点
- 物理の問題は解消されていないため、これだけでは安心できないなという気持ちになった
- 物理的にサイズが大きいので場所を取る
- 元々整理ができていたなら、SSDでミラーリングしてバックアップを用意して、それらをペリカンなどのハードケースに保存することでももしかしたら対応できたのでは？
- SSDはデータが揮発する可能性があるので分からない…
導入することで更に色々考えるきっかけが生まれましたので、今後も模索していこうと思います。
この記事を通して、NASを導入するきっかけや参考になれば幸いです。
ここまで読んでいただきありがとうございました。
近いうちに、運用編やクラウドへのアップロードに関して検討した内容を書く予定です。