ニューヨークで現在開催中のクラウドエキスポのレポートPart2です。
こちらの天気は相変わらず晴天が続いております。今日参加したセミナーは、以前から個人的にも気になっている内容の物で、要するに何かといえば 『Hadoop』 なのですが・・・ご存知の方もいらっしゃいますよね。そうです。これです。
かわいいゾウさんマークで、既にオフィシャルサイトではTシャツなども購入出来る、あれなのです。Hadoopは元々Google社が独自開発した分散システムをベースにYahoo社の人が中心になって開発したオープンソースソフトですが、分散ファイルシステムのHDFSと分散処理を担うMapReduceで構成されている大量データを複数のコンピューターで分散処理する技術なのです。ここ最近のデータサイズの桁がまた変わるのでないかと思う大容量のHDDも格安で、誰でも既にTBHDDを入手出来る時代になっていますが、この大容量時代のデータを如何に早く処理を実現できるかが要となります。
営業なので、専門的な技術的な内容は省略しますが、HDFS（複数PCにデータ処理を分散させる物）、MapReduce（小さな単位の処理を並列処理する物）が動作します。ジョブ全体を管理するJobTrakerがあり、管理配下にTaskTrackerがあります。またNameNode（ファイルシステム全体の管理的な物）とDataNode（実際のブロックデータの読み書き的な物）が必要で、いずれも異なるJavaVM上でデーモンとしてクライアントからの要求を待っているのです。基本的に、物理的なマスターサーバの１台の上で、NameNodeとJobTrackerを動作させて、各処理用PC上で、DataNodeとTaskTrackerを動作させます。この各処理用とは、実際の物理PCを用意するのではなく、Amazon社のEC2などの仮想PCを期間及び時間でレンタルして処理を行います。
要するに何が出来るか・・・・・下記は今日の説明の実例だそうです。
NewYorkTimesでは4TBのTIFFファイルをPDFに変換するのに使用して、コスト削減等が出来た。とシンプルに言えばこんな感じです。EC2を利用する事により、必要な時に必要なだけPCのパワーを追加出来る。定期的なデータ処理用に莫大な費用と時間をかけて、マシンを用意しない時代の始まりなのかもしれません。ただEC2は使用期間が終了するとデータは他のストレージ（ネットワーク上含む）に保存しておかなければ、全て消えてしまいますが・・・私の認識では、この技術がクラウドで既に採用されている、またはこれは既にクラウドだ！と思っていたのですが、どうも聞いていると・・・・・・
実は、データ自体はローカルにあり、EC2等は利用しているが、Hadoopはまだクラウド化の実績はないようです。要するにデータをデータセンター（インターネット上）にある段階での使用が始まってからが、クラウド＋Hadoopとの事で、少し認識の違いがあったようです。演算処理は仮想PCを使用すれば良いですが、ネットワークにインフラがボトルネックになるのが、クラウドの問題点かと思いましたが、やはりどこのソリューションもこの部分は問題になっているように感じられました。
真面目な話ばかりではブログでないので・・・・・今日は夕方（ここは18時でも結構昼間のような明るさです）NewYorkのAppleストアに行ってきました。
何でしょうこの全面ガラスの塊は・・・というようなエントランスで、中はらせん階段があり、『あれ』の発売のおかげで、ラッシュアワーの駅のようでした。デモ機もずーと満員、レジ前も直線にしたら50m以上はゆうに（くねっていたのであまりよくわかりませんが、）いやーニューヨークの人達は相変わらずあれに夢中のようです。
『あれ』ですが、iPadです。 弊社のThings MacのiPad版もでているようです。ぜひThings Macと合わせてご使用ください。
帰国が突然延期になったのに、準備の良い私は、シャツもパンツも靴下も予備を持っておりました。バックアップも前もって準備をしておくと安全です。＞ActiveImage Protectorをぜひご使用下さい。・・・03-5256-0877でお問い合わせお待ちしております。
By Sato
