クローラー

網を巡らす蜘蛛のように、広大なインターネットの世界から情報を集める技術、それがクローリングです。正式にはウェブクローリングと呼ばれ、まるで蜘蛛の糸のように張り巡らされた無数のウェブサイトを専用のプログラムが巡回し、情報を集めていきます。このプログラムはクローラーと呼ばれ、自動で動き回る小さな探査機のような働きをします。 クローラーは、まず初めにいくつかのウェブサイトの入り口となる場所を指定されます。そして、その場所からウェブサイト内の様々なページへ飛び、それぞれのページに書かれた情報を集めていきます。ページの中に他のページへの繋がりがあれば、クローラーはその繋がりを辿って次々と新しいページへと移動し、まるで迷路を探検するようにインターネットの隅々まで情報を集めていきます。集められた情報は、整理されて大きな情報倉庫、すなわちデータベースに保存されます。 この集められた膨大な情報は、私たちが普段利用する検索エンジンで役に立ちます。検索エンジンは、クローラーが集めた情報を元に、私たちが入力したキーワードに合ったウェブサイトを探し出し、検索結果として表示するのです。新しく作られたウェブサイトも、クローラーが訪れて情報を集めることで、検索結果に表示されるようになります。もしクローリングがなければ、新しい情報は埋もれてしまい、私たちはその存在に気づくことすら難しくなるでしょう。 このように、クローリングはインターネットの様々な情報を整理し、私たちが簡単に情報にアクセスできるようにするための、なくてはならない技術なのです。まるで世界中の図書館の本を整理し、読みたい本をすぐに見つけられるようにしてくれる図書館司書のような役割を担っていると言えるでしょう。