Log Dosyası Analizi: SEO İçin Server Log Analizi Rehberi (2026)

Arama motoru optimizasyonunda sıralama faktörleri, içerik kalitesi ve backlink profili gibi konular ön plana çıkarken, perde arkasında arama motoru botlarının sitenizi nasıl taradığı çoğu zaman göz ardı edilir. Oysa Googlebot''un sitenizde hangi sayfaları ziyaret ettiğini, hangi sayfaları atladığını, hangi HTTP durum kodlarıyla karşılaştığını ve her sayfa için ne kadar süre harcadığını anlamanın tek güvenilir yolu server log dosyalarıdır. Google Search Console tarama istatistikleri genel bir bakış sunarken, log dosyaları size ham ve filtrelenmemiş gerçeği gösterir.

2026 itibarıyla log analizi yalnızca geleneksel arama motoru botlarını izlemekle sınırlı kalmıyor. GPTBot, ClaudeBot, PerplexityBot gibi yapay zekâ tarayıcıları da sunucularınıza düzenli istekler gönderiyor. Bu botların hangi içeriklere eriştiğini, ne sıklıkla geldiğini ve sunucunuzda ne kadar yük oluşturduğunu bilmek, modern SEO stratejisinin ayrılmaz bir parçası haline geldi.

Bu rehberde server log dosyası analizinin temellerinden başlayarak, log formatlarını okumayı, Googlebot tarama davranışını yorumlamayı, crawl bütçesi sorunlarını tespit etmeyi ve log verilerinden somut SEO aksiyonları çıkarmayı adım adım ele alacağız.

Log Dosyası Nedir ve Neden SEO İçin Önemlidir?

Server log dosyası, web sunucunuzun aldığı her HTTP isteğini kronolojik sırayla kaydeden metin tabanlı bir dosyadır. Her satır; isteğin geldiği IP adresi, tarih ve saat, istenen URL, HTTP durum kodu, yanıt boyutu ve user-agent bilgisi gibi verileri içerir.

SEO açısından log dosyaları şu kritik soruları yanıtlar:

• Googlebot hangi sayfaları tarıyor? Sitemap''te yer alan ancak hiç taranmayan sayfalar var mı?
• Tarama sıklığı nedir? Önemli sayfalarınız ne kadar sık ziyaret ediliyor?
• HTTP durum kodları sağlıklı mı? 404, 5xx veya gereksiz yönlendirmeler var mı?
• Sunucu yanıt süresi ne kadar? Googlebot yavaş yanıtlarla mı karşılaşıyor?
• Crawl bütçesi verimli kullanılıyor mu? Bot zamanını değersiz sayfalarda mı harcıyor?
• AI botları hangi içeriklere erişiyor? GPTBot, ClaudeBot gibi tarayıcılar neler yapıyor?

Google Search Console''daki tarama istatistikleri raporları bu soruların bir kısmına yanıt verse de, veriler örneklenmiş ve gecikmelidir. Log dosyaları ise gerçek zamanlı, filtrelenmemiş ve eksiksiz veri sunar. Kapsamlı bir Google Search Console rehberi ile GSC verilerini log analiziyle birlikte kullanmak en doğru yaklaşımdır.

Log Dosyası Türleri

Web sunucuları genellikle iki ana log türü üretir:

Erişim Logları (Access Logs)

Sunucuya gelen her başarılı veya başarısız isteği kaydeder. SEO log analizinin temel veri kaynağıdır. Tipik bir Apache Combined Log Format satırı şöyle görünür:

```

66.249.79.58 - - [15/Feb/2026:10:23:45 +0300] "GET /urunler/kirmizi-elbise HTTP/2" 200 34521 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

```

Bu satırı parçalayalım:

Hata Logları (Error Logs)

Sunucu tarafında oluşan hataları kaydeder. 500 Internal Server Error, zaman aşımı, bellek taşması gibi sorunları tespit etmek için kullanılır:

```

[Wed Feb 15 10:24:01 2026] [error] [client 66.249.79.58] PHP Fatal error: Allowed memory size of 134217728 bytes exhausted in /var/www/html/product.php on line 245

```

Hata logları, Googlebot''un 5xx hatalarıyla karşılaştığı sayfaları belirlemenize yardımcı olur. Sürekli 5xx hatası döndüren sayfalar zamanla Google dizininden düşebilir.

Sunucu Türüne Göre Log Dosyalarına Erişim

Apache

Apache varsayılan olarak logları /var/log/apache2/ (Debian/Ubuntu) veya /var/log/httpd/ (CentOS/RHEL) dizinine yazar.

```bash

Erişim loglarını görüntüle

tail -f /var/log/apache2/access.log

Hata loglarını görüntüle

tail -f /var/log/apache2/error.log

Log formatını kontrol et (httpd.conf veya apache2.conf)

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

```

Nginx

Nginx logları varsayılan olarak /var/log/nginx/ dizininde bulunur.

```bash

Erişim logları

tail -f /var/log/nginx/access.log

Hata logları

tail -f /var/log/nginx/error.log

nginx.conf içindeki log format tanımı

log_format main ''$remote_addr - $remote_user [$time_local] "$request" ''

''$status $body_bytes_sent "$http_referer" ''

''"$http_user_agent" $request_time'';

```

Nginx''de $request_time alanı sunucu yanıt süresini saniye cinsinden kaydeder. Bu alan SEO log analizinde son derece değerlidir çünkü Googlebot''un yavaş yanıt aldığı sayfaları doğrudan tespit etmenizi sağlar.

IIS (Windows Server)

IIS logları varsayılan olarak C:\inetpub\logs\LogFiles\ altında W3C Extended Log Format ile tutulur.

```

#Fields: date time s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-bytes time-taken

2026-02-15 10:23:45 192.168.1.1 GET /urunler/kirmizi-elbise - 443 - 66.249.79.58 Mozilla/5.0+(compatible;+Googlebot/2.1) 200 34521 156

```

IIS''de time-taken alanı milisaniye cinsindendir (Nginx''deki saniye formatından farklı olarak).

Bulut Platformları

• AWS: CloudFront logları S3''e, ALB logları da S3''e yazılır. CloudWatch Logs ile gerçek zamanlı izleme yapılabilir.
• Google Cloud: Cloud Logging (eski adıyla Stackdriver) üzerinden erişilir. BigQuery''ye aktararak SQL ile analiz yapılabilir.
• Cloudflare: Dashboard üzerinden veya Logpush ile S3, GCS veya R2''ye aktarılabilir.
• Vercel: Vercel''in yerleşik log altyapısı sınırlıdır; üçüncü parti entegrasyonlar (Datadog, Axiom) gerekebilir.

Googlebot Tarama Davranışını Analiz Etme

Log analizinin en değerli çıktılarından biri Googlebot''un tarama davranışını anlamaktır. İşte adım adım yaklaşım:

1. Googlebot İsteklerini Filtreleme

İlk adım, log dosyasından yalnızca Googlebot isteklerini ayıklamaktır:

```bash

Googlebot isteklerini filtrele

grep "Googlebot" /var/log/nginx/access.log > googlebot_requests.log

Googlebot isteklerini say

grep -c "Googlebot" /var/log/nginx/access.log

Günlük bazda Googlebot istek sayısı

grep "Googlebot" /var/log/nginx/access.log | awk ''{print $4}'' | cut -d: -f1 | sort | uniq -c | sort -rn

```

2. Gerçek Googlebot Doğrulaması

User-agent''ı "Googlebot" olarak ayarlamak kolaydır; sahte botları ayırt etmek için reverse DNS doğrulaması yapılmalıdır:

```bash

IP adresinin gerçek Googlebot''a ait olduğunu doğrula

host 66.249.79.58

Beklenen çıktı: 58.79.249.66.in-addr.arpa domain name pointer crawl-66-249-79-58.googlebot.com

Doğrulama: hostname''i tekrar IP''ye çevir

host crawl-66-249-79-58.googlebot.com

Beklenen çıktı: crawl-66-249-79-58.googlebot.com has address 66.249.79.58

```

Google''ın resmi IP aralıkları JSON dosyası üzerinden de toplu doğrulama yapılabilir: https://developers.google.com/search/apis/ipranges/googlebot.json

3. En Çok Taranan Sayfaları Belirleme

```bash

Googlebot''un en çok ziyaret ettiği sayfalar

grep "Googlebot" access.log | awk ''{print $7}'' | sort | uniq -c | sort -rn | head -20

```

Bu çıktı, Googlebot''un crawl bütçesini nereye harcadığını gösterir. Eğer önemsiz sayfalar (filtreleme parametreleri, session URL''leri, eski arşiv sayfaları) listenin üstündeyse, ciddi bir crawl bütçesi sorunu var demektir.

4. HTTP Durum Kodu Dağılımı

```bash

Googlebot''un aldığı durum kodlarının dağılımı

grep "Googlebot" access.log | awk ''{print $9}'' | sort | uniq -c | sort -rn

```

Sağlıklı bir sitede durum kodu dağılımı şöyle olmalıdır:

Eğer 5xx oranı %1''in üzerindeyse, sunucu kararlılığı acil olarak incelenmelidir. 404 oranı yüksekse, kırık bağlantılar veya silinmiş sayfalar için yönlendirme planı oluşturulmalıdır.

Crawl Bütçesi ve Log Analizi

Crawl bütçesi, Google''ın belirli bir zaman diliminde sitenizde tarayacağı sayfa sayısını belirleyen sınırdır. Büyük sitelerde (10.000+ sayfa) crawl bütçesi yönetimi doğrudan dizinleme performansını etkiler. Crawl bütçesi optimizasyonu rehberimiz konunun detaylarını kapsar, ancak burada log analizi perspektifinden ele alacağız.

Crawl Bütçesi İsrafını Tespit Etme

Log dosyalarında şu kalıpları arayın:

Parametre kirliliği: Aynı sayfanın farklı parametre kombinasyonlarıyla tekrar tekrar taranması.

```bash

Parametre içeren URL''lerin taranma sayısı

grep "Googlebot" access.log | awk ''{print $7}'' | grep "?" | cut -d"?" -f1 | sort | uniq -c | sort -rn | head -10

```

Eğer /urunler/elbise?renk=kirmizi&beden=m ve /urunler/elbise?beden=m&renk=kirmizi gibi aynı içeriğe farklı parametrelerle erişiliyorsa, canonical etiketleri ve URL parametreleri yapılandırması gözden geçirilmelidir.

Düşük değerli sayfaların taranması: Arama sonucu sayfaları, etiket sayfaları, dahili arama sonuçları gibi sayfaların orantısız taranması.

```bash

Site içi arama sonuçlarının taranma oranı

grep "Googlebot" access.log | grep "/search?" | wc -l

```

Yönlendirme zincirleri: Bir URL''den diğerine, oradan da üçüncü bir URL''ye yönlendirme yapılması crawl bütçesini üç katına çıkarır.

```bash

301/302 yönlendirmelerini listele

grep "Googlebot" access.log | awk ''$9 == 301 || $9 == 302 {print $7}'' | sort | uniq -c | sort -rn | head -20

```

Tarama Hızı ve Sunucu Yanıt Süresi

Googlebot, sunucu yanıt süresi uzadıkça tarama hızını otomatik olarak düşürür. Nginx loglarından yanıt süresini analiz etmek için:

```bash

Googlebot istekleri için ortalama yanıt süresi (Nginx $request_time)

grep "Googlebot" access.log | awk ''{print $NF}'' | awk ''{sum+=$1; count++} END {print "Ortalama:", sum/count, "saniye"}'';

2 saniyeden yavaş yanıt veren sayfalar

grep "Googlebot" access.log | awk ''{if ($NF > 2.0) print $7, $NF}'' | sort -k2 -rn | head -20

```

200 ms altı sunucu yanıt süresi idealdir. 500 ms üzeri ciddi, 1 saniye üzeri kritik sorun olarak değerlendirilmelidir. Sayfa hızı optimizasyonu hakkında detaylı bilgi için sayfa hızı optimizasyonu rehberimize bakabilirsiniz.

Bot Tanımlama: Googlebot, Bingbot ve AI Botları

2026''da sunucu loglarınızda göreceğiniz başlıca botlar:

Arama Motoru Botları

AI Tarayıcıları (2025-2026 İtibarıyla)

AI botlarının trafiğini analiz etmek:

```bash

AI botlarının toplam istek sayısı

grep -E "GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended|Bytespider|Applebot-Extended" access.log | wc -l

Bot bazında kırılım

grep -E "GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended|Bytespider" access.log | grep -oP "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended|Bytespider)" | sort | uniq -c | sort -rn

```

AI botlarını engellemek istiyorsanız robots.txt ile kontrol edebilirsiniz:

```

robots.txt — AI botlarını engelle ama arama motorlarına izin ver

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Bytespider

Disallow: /

Google arama tarayıcısına izin ver

User-agent: Googlebot

Allow: /

```

Log Analiz Araçları

Screaming Frog Log Analyzer

Screaming Frog''un özel log analiz aracı, SEO odaklı log analizinde en popüler masaüstü çözümdür. Özellikleri:

• Googlebot, Bingbot ve diğer bot isteklerini otomatik sınıflandırma
• Crawl bütçesi raporları ve tarama sıklığı analizleri
• Durum kodu dağılımı ve yönlendirme zincirleri tespiti
• Sitemap ile karşılaştırma (hangi sayfalar sitemap''te olup taranmıyor?)
• Orphan page (yetim sayfa) tespiti

ELK Stack (Elasticsearch, Logstash, Kibana)

Büyük ölçekli siteler için endüstri standardıdır. Logstash ile logları toplar, Elasticsearch ile depolar ve Kibana ile görselleştirir. Özelleştirilebilir dashboard''lar oluşturarak Googlebot davranışını gerçek zamanlı izleyebilirsiniz.

```

Logstash filter örneği — Apache combined log formatı

filter {

grok {

match => { "message" => "%{COMBINEDAPACHELOG}" }

}

if [agent] =~ "Googlebot" {

mutate { add_tag => ["googlebot"] }

}

if [agent] =~ "GPTBot|ClaudeBot|PerplexityBot" {

mutate { add_tag => ["ai_crawler"] }

}

}

```

GoAccess

Hafif, terminal tabanlı ve gerçek zamanlı log analiz aracıdır. Hızlı bir genel bakış için idealdir:

```bash

Gerçek zamanlı analiz

goaccess /var/log/nginx/access.log --log-format=COMBINED -o report.html

Sadece Googlebot trafiğini analiz et

grep "Googlebot" /var/log/nginx/access.log | goaccess --log-format=COMBINED -o googlebot-report.html

```

Python ile Özel Log Analizi

Özel ihtiyaçlar için Python scripti yazarak log dosyalarını analiz edebilirsiniz:

```python

import re

from collections import Counter

from datetime import datetime

def parse_log_line(line):

pattern = r''(\S+) \S+ \S+ \[(.+?)\] "(\S+) (\S+) \S+" (\d{3}) (\d+|-) ".?" "(.?)"''

match = re.match(pattern, line)

if match:

return {

"ip": match.group(1),

"datetime": match.group(2),

"method": match.group(3),

"url": match.group(4),

"status": int(match.group(5)),

"size": match.group(6),

"user_agent": match.group(7),

}

return None

def analyze_googlebot(log_file):

urls = Counter()

status_codes = Counter()

daily_crawls = Counter()

with open(log_file, "r") as f:

for line in f:

parsed = parse_log_line(line)

if parsed and "Googlebot" in parsed["user_agent"]:

urls[parsed["url"]] += 1

status_codes[parsed["status"]] += 1

date_str = parsed["datetime"].split(":")[0]

daily_crawls[date_str] += 1

print("=== En Çok Taranan 20 Sayfa ===")

for url, count in urls.most_common(20):

print(f" {count:>6} | {url}")

print("\n=== Durum Kodu Dağılımı ===")

total = sum(status_codes.values())

for code, count in status_codes.most_common():

print(f" {code}: {count} (%{count/total*100:.1f})")

print("\n=== Günlük Tarama Sayısı ===")

for date, count in sorted(daily_crawls.items()):

print(f" {date}: {count}")

analyze_googlebot("/var/log/nginx/access.log")

```

SEOctopus ile Crawl Bütçesi İzleme

SEOctopus''un teknik SEO modülü, crawl bütçesi metriklerini otomatik olarak izler ve tarama sorunlarını raporlar. Log verilerinizle birlikte kullanıldığında, hangi sayfaların taranmadığını ve hangi sayfaların gereksiz yere tarandığını kapsamlı şekilde görebilirsiniz. Detaylı bir teknik SEO kontrol listesi ile log analizini birleştirmek en etkili yaklaşımdır.

Log Dosyalarında Sık Karşılaşılan SEO Sorunları

1. Orphan Pages (Yetim Sayfalar)

Log dosyalarında Googlebot''un taradığı ancak sitenin iç bağlantı yapısında yer almayan sayfalar "yetim sayfa" olarak adlandırılır. Bu sayfalar genellikle:

• Eski kampanya sayfaları
• Silinmiş kategorilere ait ürün sayfaları
• URL yapısı değişmiş eski sayfalar

Tespit yöntemi: Log dosyasındaki URL''leri site haritası ve tarama verileriyle karşılaştırın. Log''da var olan ancak site haritasında olmayan ve iç bağlantı almayan sayfalar yetim sayfalardır.

2. Yönlendirme Zincirleri ve Döngüleri

```bash

Aynı URL''den birden fazla 301 yönlendirmesi

grep "Googlebot" access.log | awk ''$9 == 301 {print $7}'' | sort | uniq -c | sort -rn | head -10

```

Eğer A → B → C şeklinde zincirleme yönlendirmeler varsa, bunları A → C olacak şekilde düzeltmek hem crawl bütçesini korur hem de link equity kaybını azaltır.

3. Soft 404 Hataları

Sunucu 200 durum kodu döndürüyor ancak sayfa aslında "bulunamadı" içeriği gösteriyor. Log dosyasında 200 koduyla görülen ancak çok düşük byte boyutuna sahip sayfalar soft 404 adayıdır:

```bash

200 döndüren ama çok küçük boyutlu yanıtlar (potansiyel soft 404)

grep "Googlebot" access.log | awk ''$9 == 200 && $10 < 1000 {print $7, $10}'' | sort -k2 -n | head -20

```

4. Büyük Yanıt Boyutları

Aşırı büyük HTML yanıtları hem sunucu kaynaklarını tüketir hem de Googlebot''un sayfayı tam olarak işlemesini zorlaştırır:

```bash

1 MB üzeri yanıtlar

grep "Googlebot" access.log | awk ''$10 > 1048576 {print $7, $10/1048576, "MB"}'' | sort -k2 -rn

```

5. Yavaş Sunucu Yanıtları

```bash

En yavaş 20 sayfa (Nginx request_time)

grep "Googlebot" access.log | awk ''{print $7, $NF}'' | sort -k2 -rn | head -20

```

Yavaş yanıt veren sayfaları tespit ettikten sonra veritabanı sorguları, harici API çağrıları veya sunucu yapılandırması gibi kök nedenleri araştırın. Core Web Vitals rehberimiz sunucu yanıt süresi optimizasyonu konusunda detaylı teknikler sunar.

6. Robots.txt ile Engellenen Kritik Kaynaklar

Log dosyalarında Googlebot''un robots.txt dosyasını sık sık kontrol ettiğini göreceksiniz. Eğer robots.txt CSS, JS veya görsel dosyalarını engelliyorsa, Google sayfalarınızı doğru şekilde render edemez:

```bash

Googlebot''un robots.txt istek sıklığı

grep "Googlebot" access.log | grep "robots.txt" | wc -l

```

Pratik Log Analizi İş Akışı

Aşağıda, kapsamlı bir SEO log analizi için adım adım iş akışı sunuyoruz:

Adım 1: Log Dosyalarını Toplama

En az 30 günlük log verisi toplayın. Googlebot''un tarama kalıplarını anlamak için bir aylık veri minimum gereksinimdir.

Adım 2: Verileri Temizleme ve Filtreleme

• Statik dosya isteklerini (CSS, JS, görseller, fontlar) ayırın
• Bot isteklerini kullanıcı isteklerinden ayırın
• Gerçek bot doğrulaması yapın (reverse DNS)

Adım 3: Temel Metrikleri Çıkarma

• Günlük toplam tarama sayısı (trend analizi)
• Durum kodu dağılımı
• En çok ve en az taranan sayfalar
• Ortalama yanıt süresi
• Benzersiz URL sayısı

Adım 4: Crawl Bütçesi Verimliliğini Değerlendirme

• Taranan sayfaların organik trafik değerini hesaplayın
• Düşük değerli sayfalara harcanan tarama oranını belirleyin
• Sitemap''teki sayfaların taranma oranını kontrol edin

Adım 5: Sorunları Önceliklendirme ve Aksiyon Alma

Adım 6: Düzenli İzleme

Log analizini tek seferlik bir çalışma olarak değil, sürekli bir izleme süreci olarak yapılandırın. Haftalık veya aylık raporlar oluşturarak trendleri takip edin. Kapsamlı bir SEO denetimi sürecinin ayrılmaz parçası olarak log analizini düzenli tekrarlayın.

Log Analizi Kontrol Listesi

Aşağıdaki kontrol listesini her log analizi döngüsünde kullanabilirsiniz:

• [ ] En az 30 günlük log verisi toplandı
• [ ] Sahte bot istekleri filtrelendi (reverse DNS doğrulaması)
• [ ] Googlebot tarama sıklığı trendi incelendi
• [ ] Durum kodu dağılımı analiz edildi (5xx < %0,5 hedefi)
• [ ] Crawl bütçesi israfı yapan URL kalıpları belirlendi
• [ ] Yönlendirme zincirleri tespit edildi ve düzeltme planı oluşturuldu
• [ ] Orphan page''ler belirlendi
• [ ] Ortalama sunucu yanıt süresi kontrol edildi (< 200 ms hedefi)
• [ ] AI bot trafiği analiz edildi ve robots.txt politikası gözden geçirildi
• [ ] Sitemap ile log karşılaştırması yapıldı
• [ ] Bulgular önceliklendirildi ve aksiyon planı oluşturuldu

Sonuç

Server log dosyası analizi, teknik SEO''nun en güçlü ancak en az kullanılan araçlarından biridir. Google Search Console ve üçüncü parti tarama araçları önemli veriler sunsa da, yalnızca log dosyaları size Googlebot''un sitenizi gerçekte nasıl deneyimlediğini gösterir. 2026''da AI tarayıcılarının yükselişiyle birlikte log analizi daha da kritik hale gelmiştir — yalnızca arama motoru botlarını değil, yapay zekâ platformlarının içerik tüketim kalıplarını da anlamak gerekiyor.

Düzenli log analizi, crawl bütçesi sorunlarını erkenden tespit etmenizi, sunucu hatalarını proaktif olarak çözmenizi ve dizinleme performansınızı sürekli iyileştirmenizi sağlar. SEOctopus''un teknik SEO modülleri bu süreci otomatikleştirerek size zaman kazandırır.

İlgili Yazılar

• Teknik SEO Rehberi
• Crawl Bütçesi Optimizasyonu Rehberi 2026
• SEO Denetimi (Audit) Rehberi
• Sayfa Hızı Optimizasyonu Rehberi 2026
• Google Search Console Rehberi 2026
• Core Web Vitals Rehberi: LCP, INP ve CLS 2026