SERVER / HTTP
Googlebot primește HTTP 503: diagnostic și remediere
Site-ul este online. Monitorizarea spune că totul funcționează. De ce primește Googlebot HTTP 503?
1. Problemă și simptome
În Search Console apar erori de server, deși paginile se deschid în browser. În loguri pot exista răspunsuri 503 doar pe anumite rute sau intervale. Aceste observații justifică investigația; nu demonstrează singure blocarea Googlebot sau pierderea pozițiilor.
Ghidul reia materialul Moon Studio despre 503 și îl reorganizează ca procedură de lucru. Începe cu URL-ul exact, ora și fusul orar, tipul cererii și sursa observației. Separă homepage-ul de paginile dinamice și testul manual de accesările autentificate ale crawlerului.
2. Răspuns rapid
Confirmă răspunsul 503 printr-o cerere GET și corelează momentul cu logurile CDN, WAF și origin. Un user-agent Googlebot nu dovedește identitatea crawlerului. Identifică componenta care emite eroarea înainte să modifici protecțiile. Pentru mentenanță temporară, folosește un status corect și Retry-After când poți estima revenirea. Retestează aceleași URL-uri și urmărește accesările Google verificate; disponibilitatea reparată nu garantează indexarea.
3. Cauze posibile
Un pool de workeri ocupat, o bază de date lentă sau o dependență indisponibilă sunt ipoteze de verificat. Un CDN poate livra cache unui vizitator și poate întâmpina un eșec la origin pentru altă cerere. O regulă WAF sau de limitare poate trata traficul diferit.
Separă statusurile: 403 înseamnă acces refuzat, 429 limitarea cererilor, 502 un răspuns invalid primit de gateway, iar 504 un timeout la gateway. Nu numi orice eroare de infrastructură „503”. Fără răspuns HTTP, verifică separat DNS, TLS și conexiunea.
4. Reproducerea problemei
Descarcă exemplele reproductibile. Dezarhivează și rulează node serve.mjs, apoi folosește comenzile locale de mai jos. Cerință: Node.js 20.9 sau mai nou. Instrucțiunile pentru Next.js și Liquid sunt incluse în arhivă.
Pornește exemplul local din pachetul de preview. Comenzile de mai jos folosesc curl.exe pe Windows; pe Linux/macOS execută curl. Înlocuiește adresa locală numai cu un URL pe care îl administrezi. Salvează antetele și corpul, nu doar statusul final.
curl.exe --max-time 20 -sS -L -D headers.txt -o page.html -w "HTTP=%{http_code} TTFB=%{time_starttransfer} TOTAL=%{time_total}\n" http://127.0.0.1:4184/lab-fixtures/unavailable
curl.exe --max-time 20 -sS -L -A "Googlebot" -D bot-headers.txt -o bot-page.html http://127.0.0.1:4184/lab-fixtures/unavailable
Prima cerere trebuie să întoarcă 503 și Retry-After: 120. A doua schimbă numai user-agentul; serverul de laborator răspunde identic. Nu reproduce rețeaua sau identitatea Google.
HTTP/1.1 503 Service Unavailable
Content-Type: text/html; charset=utf-8
Retry-After: 120
Cache-Control: no-store
Retry-After acceptă o durată în secunde sau o dată HTTP. Este o estimare de reîncercare, nu o promisiune că pagina rămâne indexată. Exemplul trimite no-store pentru a evita păstrarea răspunsului de mentenanță; verifică separat politica efectivă a CDN-ului.
5. Flux de diagnostic
- Construiește un eșantion: homepage, articol, produs, colecție și ruta raportată. Notează numărul de răspunsuri eșuate și totalul cererilor observate.
- Compară GET, redirecturile și timpii. HEAD este orientativ; un răspuns 200 la un singur test nu exclude intermitența.
- Corelează logurile edge și origin folosind timestampuri și identificatori de cerere. Absența dintr-un log incomplet nu identifică singură cauza.
- Verifică IP-ul dintr-o sursă de încredere: reverse DNS, apoi forward DNS către IP-ul inițial, sau intervalele oficiale pentru categoria de crawler potrivită. Nu acorda excepții după user-agent.
- Verifică evenimentele WAF, capacitatea, deploy-urile, backupurile și dependențele în aceeași fereastră. Cere hostingului componenta emitentă și dovada, nu doar un procent general de uptime.
Frecvența și persistența trebuie măsurate pe URL-uri și intervale comparabile. Google poate reduce crawlingul la erori de server; indisponibilitatea persistentă poate afecta indexarea. Nu atribui o scădere comercială acestui incident fără date suplimentare.
6. Remediere și validare
Aplică intervenția legată de cauza confirmată: corectează regula WAF precisă, investighează blocajul aplicației sau repară dependența. Nu dezactiva global protecțiile. Păstrează configurația anterioară și pragul la care revii.
Pentru mentenanță planificată, returnează 503 pentru perioada strict necesară. După revenire, verifică statusul normal și corpul real al paginii, inclusiv la nivelul cache-ului. O pagină de eroare cu 200 nu confirmă recuperarea.
Repetă eșantionul inițial la intervale rezonabile și urmărește rata erorilor în loguri. Confirmă ulterior accesări Google verificate. Search Console și rezultatele din căutare pot reflecta schimbarea mai târziu. Nu promite un termen fix de revenire.
7. Greșeli frecvente
- Consideri curl -A Googlebot o verificare a identității Google.
- Păstrezi permanent 503 sau Retry-After pentru a controla crawlingul.
- Schimbi hostingul, WAF-ul și aplicația simultan, fără jurnal sau plan de revenire.
- Înlocuiești eroarea cu 200 și conținut de mentenanță, apoi declari problema rezolvată.
- Publici IP-uri, tokenuri sau date personale din loguri în locul unui extras anonimizat.
8. Surse oficiale și ghiduri conexe
Documentația oficială de mai jos susține semantica HTTP și verificarea crawlerelor. Procedura de corelare și criteriile de acceptare sunt metodologia editorială Moon Studio. Nu prezentăm un incident real sau un rezultat comercial.