SectorBot

Information for site owners who found this address in their access logs.

What it does

SectorBot requests the home page only of a domain, reads the returned HTML, and derives two labels from it: the business sector and the country the business appears to operate from. It is used to build a directory of company websites by country and sector.

Two requests per domain, per run: /robots.txt first, then the home page if allowed. Runs are monthly.
Home page only — no crawling of internal links, no sitemaps, no assets.
No login attempts, no forms, no vulnerability scanning of any kind.
No personal contact details are extracted or stored.

Identifying it

Mozilla/5.0 (compatible; SectorBot/1.0; +https://serdartorun.dev/bot)

How to be excluded

robots.txt — SectorBot reads it before every request and obeys it. Either of these keeps it off your site entirely:
```
User-agent: SectorBot
Disallow: /
```
or the usual catch-all User-agent: * with Disallow: /. Rules that only cover sub-paths (for example Disallow: /search) do not block the home page, so they will not stop it.
Block the User-Agent at your web server or WAF — the request fails and the domain is recorded as unreachable.
Ask to be excluded permanently — email the address below with your domain and it will be added to a permanent exclusion list before the next run.

Contact

serdar4websites@gmail.com

SectorBot (Türkçe)

Erişim kayıtlarında bu adresi gören site sahipleri için bilgilendirme.

Ne yapıyor

SectorBot bir alan adının yalnız ana sayfasını ister, dönen HTML'i okur ve buradan iki etiket çıkarır: işletmenin sektörü ve faaliyet gösterdiği ülke. Ülke ve sektör bazlı bir şirket web sitesi dizini oluşturmak için kullanılır.

Alan adı başına tur başına iki istek: önce /robots.txt, izin varsa ana sayfa. Turlar aylıktır.
Yalnız ana sayfa — iç bağlantılar, site haritaları veya varlıklar taranmaz.
Oturum açma denemesi, form gönderimi veya güvenlik taraması yapılmaz.
Kişisel iletişim bilgisi çıkarılmaz ve saklanmaz.

Nasıl hariç tutulur

robots.txt — SectorBot her istekten önce okur ve uyar. Şunlardan biri siteyi tamamen kapatır:
```
User-agent: SectorBot
Disallow: /
```
ya da yaygın User-agent: * + Disallow: / ikilisi. Yalnız alt yolları kapsayan kurallar (örn. Disallow: /search) ana sayfayı engellemez, bu yüzden botu durdurmaz.
User-Agent'ı engelleyin — istek başarısız olur, alan adı "erişilemez" olarak kaydedilir.
Kalıcı hariç tutma isteyin — alan adınızla birlikte aşağıdaki adrese yazın, bir sonraki turdan önce kalıcı hariç tutma listesine eklenir.

İletişim

serdar4websites@gmail.com