robots txtとは、検索エンジンのクローラーがWEBページを登録しないようにするために、WEBサーバー上に配置するテキストファイルのことです。