ウェブブラウザがウェブサーバにアクセスする場合、最初にヘッダ情報としてユーザーエージェント情報を送信するが、その情報から検索エンジンのクローラかどうか判定し、クローラであれば特別に用意されたページを出力する。それ以外の一般のユーザによるアクセスでは通常のページを出力する。クローラ向けの特別に用意したページにおいて、検索エンジン最適化を行うことによって、通常のページには手を加えることなく、検索エンジンでの上位表示が行えることになる。
一般にクローキングはスパム行為とされる。しかし、携帯電話端末やスマートフォンからのアクセスに対して別ページを表示することも広義のクローキングとも言え、厳密な分類は難しい。