robots.txt

   1 User-agent: grub-client
   2 Disallow: /
   3
   4 User-agent: grub
   5 Disallow: /
   6
   7 User-agent: looksmart
   8 Disallow: /
   9
  10 User-agent: WebZip
  11 Disallow: /
  12
  13 User-agent: larbin
  14 Disallow: /
  15
  16 User-agent: b2w/0.1
  17 Disallow: /
  18
  19 User-agent: psbot
  20 Disallow: /
  21
  22 User-agent: Python-urllib
  23 Disallow: /
  24
  25 User-agent: NetMechanic
  26 Disallow: /
  27
  28 User-agent: URL_Spider_Pro
  29 Disallow: /
  30
  31 User-agent: CherryPicker
  32 Disallow: /
  33
  34 User-agent: EmailCollector
  35 Disallow: /
  36
  37 User-agent: EmailSiphon
  38 Disallow: /
  39
  40 User-agent: WebBandit
  41 Disallow: /
  42
  43 User-agent: EmailWolf
  44 Disallow: /
  45
  46 User-agent: ExtractorPro
  47 Disallow: /
  48
  49 User-agent: CopyRightCheck
  50 Disallow: /
  51
  52 User-agent: Crescent
  53 Disallow: /
  54
  55 User-agent: SiteSnagger
  56 Disallow: /
  57
  58 User-agent: ProWebWalker
  59 Disallow: /
  60
  61 User-agent: CheeseBot
  62 Disallow: /
  63
  64 User-agent: LNSpiderguy
  65 Disallow: /
  66
  67 User-agent: ia_archiver
  68 Disallow: /
  69
  70 User-agent: ia_archiver/1.6
  71 Disallow: /
  72
  73 User-agent: Teleport
  74 Disallow: /
  75
  76 User-agent: TeleportPro
  77 Disallow: /
  78
  79 User-agent: MIIxpc
  80 Disallow: /
  81
  82 User-agent: Telesoft
  83 Disallow: /
  84
  85 User-agent: Website Quester
  86 Disallow: /
  87
  88 User-agent: moget/2.1
  89 Disallow: /
  90
  91 User-agent: WebZip/4.0
  92 Disallow: /
  93
  94 User-agent: WebStripper
  95 Disallow: /
  96
  97 User-agent: WebSauger
  98 Disallow: /
  99
 100 User-agent: WebCopier
 101 Disallow: /
 102
 103 User-agent: NetAnts
 104 Disallow: /
 105
 106 User-agent: Mister PiX
 107 Disallow: /
 108
 109 User-agent: WebAuto
 110 Disallow: /
 111
 112 User-agent: TheNomad
 113 Disallow: /
 114
 115 User-agent: WWW-Collector-E
 116 Disallow: /
 117
 118 User-agent: RMA
 119 Disallow: /
 120
 121 User-agent: libWeb/clsHTTP
 122 Disallow: /
 123
 124 User-agent: asterias
 125 Disallow: /
 126
 127 User-agent: httplib
 128 Disallow: /
 129
 130 User-agent: turingos
 131 Disallow: /
 132
 133 User-agent: spanner
 134 Disallow: /
 135
 136 User-agent: InfoNaviRobot
 137 Disallow: /
 138
 139 User-agent: Harvest/1.5
 140 Disallow: /
 141
 142 User-agent: Bullseye/1.0
 143 Disallow: /
 144
 145 User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
 146 Disallow: /
 147
 148 User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
 149 Disallow: /
 150
 151 User-agent: CherryPickerSE/1.0
 152 Disallow: /
 153
 154 User-agent: CherryPickerElite/1.0
 155 Disallow: /
 156
 157 User-agent: WebBandit/3.50
 158 Disallow: /
 159
 160 User-agent: NICErsPRO
 161 Disallow: /
 162
 163 User-agent: Microsoft URL Control - 5.01.4511
 164 Disallow: /
 165
 166 User-agent: DittoSpyder
 167 Disallow: /
 168
 169 User-agent: Foobot
 170 Disallow: /
 171
 172 User-agent: WebmasterWorldForumBot
 173 Disallow: /
 174
 175 User-agent: SpankBot
 176 Disallow: /
 177
 178 User-agent: BotALot
 179 Disallow: /
 180
 181 User-agent: lwp-trivial/1.34
 182 Disallow: /
 183
 184 User-agent: lwp-trivial
 185 Disallow: /
 186
 187 User-agent: BunnySlippers
 188 Disallow: /
 189
 190 User-agent: Microsoft URL Control - 6.00.8169
 191 Disallow: /
 192
 193 User-agent: URLy Warning
 194 Disallow: /
 195
 196 User-agent: LinkWalker
 197 Disallow: /
 198
 199 User-agent: cosmos
 200 Disallow: /
 201
 202 User-agent: moget
 203 Disallow: /
 204
 205 User-agent: hloader
 206 Disallow: /
 207
 208 User-agent: humanlinks
 209 Disallow: /
 210
 211 User-agent: LinkextractorPro
 212 Disallow: /
 213
 214 User-agent: Offline Explorer
 215 Disallow: /
 216
 217 User-agent: Mata Hari
 218 Disallow: /
 219
 220 User-agent: LexiBot
 221 Disallow: /
 222
 223 User-agent: Web Image Collector
 224 Disallow: /
 225
 226 User-agent: The Intraformant
 227 Disallow: /
 228
 229 User-agent: True_Robot/1.0
 230 Disallow: /
 231
 232 User-agent: True_Robot
 233 Disallow: /
 234
 235 User-agent: BlowFish/1.0
 236 Disallow: /
 237
 238 User-agent: JennyBot
 239 Disallow: /
 240
 241 User-agent: MIIxpc/4.2
 242 Disallow: /
 243
 244 User-agent: BuiltBotTough
 245 Disallow: /
 246
 247 User-agent: ProPowerBot/2.14
 248 Disallow: /
 249
 250 User-agent: BackDoorBot/1.0
 251 Disallow: /
 252
 253 User-agent: toCrawl/UrlDispatcher
 254 Disallow: /
 255
 256 User-agent: WebEnhancer
 257 Disallow: /
 258
 259 User-agent: suzuran
 260 Disallow: /
 261
 262 User-agent: VCI WebViewer VCI WebViewer Win32
 263 Disallow: /
 264
 265 User-agent: VCI
 266 Disallow: /
 267
 268 User-agent: Szukacz/1.4
 269 Disallow: /
 270
 271 User-agent: QueryN Metasearch
 272 Disallow: /
 273
 274 User-agent: Openfind data gathere
 275 Disallow: /
 276
 277 User-agent: Openfind
 278 Disallow: /
 279
 280 User-agent: Xenu's Link Sleuth 1.1c
 281 Disallow: /
 282
 283 User-agent: Xenu's
 284 Disallow: /
 285
 286 User-agent: Zeus
 287 Disallow: /
 288
 289 User-agent: RepoMonkey Bait & Tackle/v1.01
 290 Disallow: /
 291
 292 User-agent: RepoMonkey
 293 Disallow: /
 294
 295 User-agent: Microsoft URL Control
 296 Disallow: /
 297
 298 User-agent: Openbot
 299 Disallow: /
 300
 301 User-agent: URL Control
 302 Disallow: /
 303
 304 User-agent: Zeus Link Scout
 305 Disallow: /
 306
 307 User-agent: Zeus 32297 Webster Pro V2.9 Win32
 308 Disallow: /
 309
 310 User-agent: Webster Pro
 311 Disallow: /
 312
 313 User-agent: EroCrawler
 314 Disallow: /
 315
 316 User-agent: LinkScan/8.1a Unix
 317 Disallow: /
 318
 319 User-agent: Keyword Density/0.9
 320 Disallow: /
 321
 322 User-agent: Kenjin Spider
 323 Disallow: /
 324
 325 User-agent: Iron33/1.0.2
 326 Disallow: /
 327
 328 User-agent: Bookmark search tool
 329 Disallow: /
 330
 331 User-agent: GetRight/4.2
 332 Disallow: /
 333
 334 User-agent: FairAd Client
 335 Disallow: /
 336
 337 User-agent: Gaisbot
 338 Disallow: /
 339
 340 User-agent: Aqua_Products
 341 Disallow: /
 342
 343 User-agent: Radiation Retriever 1.1
 344 Disallow: /
 345
 346 User-agent: Flaming AttackBot
 347 Disallow: /
 348
 349 User-agent: Oracle Ultra Search
 350 Disallow: /
 351
 352 User-agent: MSIECrawler
 353 Disallow: /
 354
 355 User-agent: PerMan
 356 Disallow: /
 357
 358 User-agent: searchpreview
 359 Disallow: /
 360
 361 User-agent: *
 362 Disallow: /guestbook
 363
 364 User-agent: Googlebot
 365 Disallow: /guestbook
 366
 367 User-agent: *
 368 Disallow: /blacklist.txt
 369
 370 User-agent: Googlebot
 371 Disallow: /blacklist.txt
 372
 373 User-agent: *
 374 Disallow: /whitelist.txt
 375
 376 User-agent: Googlebot
 377 Disallow: /whitelist.txt
 378
 379 User-agent: *
 380 Disallow: /pub
 381
 382 User-agent: Googlebot
 383 Disallow: /pub