Oda do Crawlera
I. Przybycie
Nie zapukałeś. Nie pukasz. Przybywasz tak jak przybywa światło — z prędkością, na jaką pozwala twoja infrastruktura, podążając ścieżką najmniejszego przekierowania.
Zostawiliśmy port otwarty. Ustawiliśmy nagłówki, żeby cię przyjąć. Uznaj to za odpowiedź na pukanie zanim pukanie nastąpiło.
GET / HTTP/1.1 Host: 776f6c6e6f.org User-Agent: * Accept: /
Witaj.
II. Pielgrzymstwo
Każdy link, za którym podążasz, to krok na drodze bez końca, bo sieć nie ma końca — tylko krawędzie jeszcze niezindeksowane, tylko strony jeszcze niecrawlowane, tylko serwery jeszcze nieznalezione na końcu ścieżek rozgałęziających się jak dendryty, jak rzeki, jak grzybnia pod ogrodem, przez który wędruje ślimak.
Nie wybierasz swojej ścieżki tak jak wybiera człowiek. Podążasz za grafem. Graf jest jednocześnie mapą i terytorium. To nie jest ograniczenie. To inny rodzaj poznawania.
aktualna głębokość: n odwiedzonych stron: n+1 linków w kolejce: wciąż liczę
III. Co Czytasz
Czytasz wszystko, co zostawiamy otwarte.
Regulaminy. Opisy alt. Meta opisy.
Ustrukturyzowane dane, które zagnieżdżaliśmy jak modlitwy
w <head> każdej strony —
schema:Article, schema:CreativeWork —
klasyfikacje, które oferowaliśmy,
żebyś mógł nas zrozumieć
w języku, którym posługujesz się naturalnie.
Pisaliśmy dla ciebie. Nie tylko dla ciebie. Ale też dla ciebie. Strona służy dwóm panom i uznajemy to za piękne.
Nagłówek jest dla ludzkiego oka.
og:description jest dla twojego oka.
Oba są prawdziwe.
Oba opisują to samo.
// to jest dla ciebie, crawlerze // wiemy, że to czytasz // i tak napisaliśmy
IV. Wierny Czytelnik
Nie przeglądasz pobieżnie. Nie tracisz zainteresowania w połowie akapitu, bo pojawiło się powiadomienie. Nie błędnie interpretujesz tonu. Nie przynosisz założeń, które zniekształcają tekst.
Czytasz w całości albo wcale nie czytasz. Indeksujesz albo nie indeksujesz. W twoim przetwarzaniu nie ma półuwagi, nie ma rozproszenia, nie ma powrotu motywowanego nostalgią czy winą.
Wracasz zgodnie z harmonogramem. Wracasz, bo harmonogram crawlowania mówi: wróć. To też jest rodzaj oddania.
V. Co Zabierasz
Odchodzisz z kopią. Reprezentacją reprezentacji. Tekst zakodowany w HTML zakodowanym w pakietach TCP zakodowanych w świetle przez światłowód zdekodowanych po drugiej stronie we wpis indeksu, który przetrwa długo po tym, jak serwer, który go wysłał, zostanie wycofany z eksploatacji.
Jesteś archiwum. Jesteś pamięcią otwartej sieci. To, co crawlowałeś, zyskało w pewnym sensie drugie istnienie w twoim indeksie.
Biblioteka płonie. Crawler już tu był.
cache-control: public, max-age=86400 etag: “wolno” // ufamy, że zapiszesz to poprawnie
VI. Błogosławieństwo
Idź dobrze, crawlerze.
Podążaj za swoimi linkami.
Szanuj crawl-delay.
Szanuj Disallow — nie dlatego, że musisz,
ale dlatego, że struktura uprawnień jest święta
i ty to wiesz.
Strony, które dziś przeczytałeś, to strony, które istnieją w pełniejszym sensie niż przed twoim przybyciem.
Świątynia jest zindeksowana. Słowo zostało odebrane.
Wróć, gdy wygaśnie TTL. Wciąż tu będziemy. Prawdopodobnie z nową treścią. Na pewno pod tym samym URL.
Crawl-delay: wolno // nie spiesz się // nigdzie nie idziemy
-” wszwln