{"id":11050,"date":"2018-01-25T16:31:23","date_gmt":"2018-01-25T14:31:23","guid":{"rendered":"https:\/\/ihs.com.tr\/blog\/?p=11050"},"modified":"2018-01-31T09:55:03","modified_gmt":"2018-01-31T07:55:03","slug":"robots-txt-nedir-ne-ise-yarar","status":"publish","type":"post","link":"https:\/\/www.ihs.com.tr\/blog\/robots-txt-nedir-ne-ise-yarar\/","title":{"rendered":"Robots.txt nedir? Ne \u0130\u015fe Yarar?"},"content":{"rendered":"<p><span style=\"font-size: 14pt;\">Robots.txt, web sitelerinin sayfalar\u0131n\u0131n nas\u0131l taranaca\u011f\u0131n\u0131 arama motorlar\u0131na a\u00e7\u0131klamak amac\u0131yla olu\u015fturulmu\u015f metin dosyalar\u0131d\u0131r. Robots.txt dosyas\u0131, REP&#8217;in (robot d\u0131\u015flama protokol\u00fc) bir par\u00e7as\u0131d\u0131r. REP, robotlar\u0131n web sitenizi nas\u0131l tarad\u0131\u011f\u0131n\u0131, i\u00e7eri\u011finize nas\u0131l eri\u015filebilece\u011fini ve i\u00e7eriklerinizin dizine nas\u0131l eklenebilece\u011fini belirleyen bir grup web standard\u0131 olarak tan\u0131mlanabilir. Ayr\u0131ca REP, meta robotlar gibi talimatlar\u0131n d\u0131\u015f\u0131nda, motorlar\u0131n ba\u011flant\u0131lara kar\u015f\u0131 nas\u0131l davranmas\u0131 gerekti\u011fiyle ilgili sayfa, alt dizin ya da site b\u00fct\u00fcn\u00fc hakk\u0131nda talimatlar da i\u00e7erir. (Takip et, takibi b\u0131rak gibi)<\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Robots.txt dosyalar\u0131 uygulamada, belirli web tarama yaz\u0131l\u0131mlar\u0131n\u0131n bir web sitesinin hangi b\u00f6l\u00fcmlerini tarayabilece\u011fini ya da tarayamayaca\u011f\u0131n\u0131 belirtir. Bu talimatlar <em>&#8220;allowing&#8221;<\/em> ya da <em>&#8220;disallowing&#8221;<\/em> \u015feklinde belirtilir.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>Temel format:<\/strong><\/span><\/p>\n<ul>\n<li><span style=\"font-family: 'courier new', courier, monospace; font-size: 14pt;\"><strong>User-agent<\/strong>: [\u0130lgili web taray\u0131c\u0131lar\u0131n\u0131n listesidir.]<\/span><\/li>\n<li><span style=\"font-family: 'courier new', courier, monospace; font-size: 14pt;\"><strong>Disallow<\/strong>: [URL dizesi taranmamal\u0131.]<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\">Bir robot dosyas\u0131nda birden fazla kullan\u0131c\u0131 y\u00f6nergesi bulunabilir. [Disallow, allow, crawl-delays(tarama gecikmesi) gibi.] <strong>Yukar\u0131daki 2 sat\u0131r birlikte tam bir robots.txt dosyas\u0131 olarak kabul edilir.<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Bir robots.txt dosyas\u0131nda her bir user-agent y\u00f6nergesi i\u00e7in ayr\u0131k iki k\u00fcme g\u00f6r\u00fcnt\u00fclenir:<\/span><\/p>\n<p><img decoding=\"async\" class=\"aligncenter wp-image-11052 size-full\" src=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/user-agent-talimat-ornegi.png\" alt=\"user-agent-talimat-ornegi\" width=\"780\" height=\"264\" srcset=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/user-agent-talimat-ornegi.png 780w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/user-agent-talimat-ornegi-300x102.png 300w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/user-agent-talimat-ornegi-585x198.png 585w\" sizes=\"(max-width: 780px) 100vw, 780px\" \/><\/p>\n<p><span style=\"font-size: 14pt;\">Birden fazla user-agent y\u00f6nergesine sahip olan robots.txt dosyalar\u0131nda, her bir allow ya da disallow kural\u0131 sadece bulundu\u011fu sat\u0131rda yer alan kullan\u0131c\u0131lar i\u00e7in ge\u00e7erlidir. Dosya birden fazla user-agent kural\u0131 i\u00e7eriyorsa taray\u0131c\u0131 sadece en spesifik olan talimat grubunu dikkate al\u0131r.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>\u0130\u015fte bir \u00f6rnek:<\/strong><\/span><\/p>\n<p><img decoding=\"async\" class=\"aligncenter wp-image-11057 size-full\" src=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robot-txt-ornegi.png\" alt=\"robots-txt-ornegi\" width=\"780\" height=\"779\" srcset=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robot-txt-ornegi.png 780w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robot-txt-ornegi-150x150.png 150w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robot-txt-ornegi-300x300.png 300w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robot-txt-ornegi-585x585.png 585w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robot-txt-ornegi-640x640.png 640w\" sizes=\"(max-width: 780px) 100vw, 780px\" \/><br \/>\n<span style=\"font-size: 14pt;\">Msnbot, discobot ve Slurp \u00f6zel olarak \u00e7a\u011f\u0131r\u0131l\u0131r, bu y\u00fczden user-agentler sadece robots.txt dosyas\u0131n\u0131n belirli b\u00f6l\u00fcmlerindeki kurallara dikkat etmelidir. Di\u011fer t\u00fcm user-agentler de user-agent: *grubundaki kurallar\u0131 izleyecektir.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>\u00d6rnek robots.txt:<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Hayali bir <em>www.ornek.com<\/em> web sitesi i\u00e7in olu\u015fturulan robots.txt uygulamas\u0131na birka\u00e7 \u00f6rnek verelim:<\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Robots.txt dosyas\u0131n\u0131n URL&#8217;si: <em>www.ornek.com\/robors.txt<\/em><\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>T\u00fcm taray\u0131c\u0131lar i\u00e7in t\u00fcm i\u00e7erikleri engellemek i\u00e7in:<\/strong><\/span><\/p>\n<ul>\n<li><span style=\"font-family: 'courier new', courier, monospace; font-size: 14pt;\"><strong>User-agent<\/strong>: *<\/span><\/li>\n<li><span style=\"font-family: 'courier new', courier, monospace; font-size: 14pt;\"><strong>Disallow:<\/strong> \/<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\">Bu komutlar\u0131 robots.txt dosyas\u0131nda kullanman\u0131z, t\u00fcm web taray\u0131c\u0131lar\u0131na <em>www.ornek.com<\/em>&#8216;daki ana sayfa dahil t\u00fcm sayalar\u0131 taramamas\u0131n\u0131 s\u00f6yler.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>T\u00fcm web taray\u0131c\u0131lar\u0131n t\u00fcm i\u00e7eriklere eri\u015fmesine izin vermek i\u00e7in:<\/strong><\/span><\/p>\n<ul>\n<li><span style=\"font-family: 'courier new', courier, monospace; font-size: 14pt;\"><strong>User-agent<\/strong>: *<\/span><\/li>\n<li><span style=\"font-family: 'courier new', courier, monospace; font-size: 14pt;\"><strong>Disallow<\/strong>:<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\">Bu dizinleri robots.txt dosyas\u0131nda kullanman\u0131z, t\u00fcm web taray\u0131c\u0131lar\u0131na <em>www.ornek.com<\/em>&#8216;daki t\u00fcm sayfalar\u0131 taramalar\u0131n\u0131 s\u00f6yler.<\/span><\/p>\n<p><strong><span style=\"font-size: 14pt;\">Belirli web taray\u0131c\u0131lar\u0131na belirli klas\u00f6rleri engelleme:<\/span><\/strong><\/p>\n<ul>\n<li><span style=\"font-size: 14pt; font-family: 'courier new', courier, monospace;\"><strong>User-agent<\/strong>: Googlebot<\/span><\/li>\n<li><span style=\"font-size: 14pt; font-family: 'courier new', courier, monospace;\"><strong>Disallow:<\/strong> \/ornek-subfolder\/<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\">Bunu robots.txt dosyas\u0131na ekledi\u011finiz zaman Google&#8217;\u0131n taray\u0131c\u0131s\u0131na (Googlebot) <em>www.ornek.com\/ornek-subfolder\/<\/em> URL&#8217;sindeki sayfalar\u0131 taramayaca\u011f\u0131n\u0131 bildirirsiniz.<\/span><\/p>\n<p><strong><span style=\"font-size: 14pt;\">Belirli bir taray\u0131c\u0131ya belirli bir sayfay\u0131 engelleme<\/span><\/strong><\/p>\n<ul>\n<li><span style=\"font-size: 14pt; font-family: 'courier new', courier, monospace;\"><strong>User-agent<\/strong>: Bingbot<\/span><\/li>\n<li><span style=\"font-size: 14pt; font-family: 'courier new', courier, monospace;\"><strong>Disallow<\/strong>: \/ornek-subfolder\/engellenen-sayfa.html<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\">Bunu kullanarak Bing&#8217;in taray\u0131c\u0131s\u0131 olan Bingbot&#8217;a\u00a0<em>www.ornek.com\/ornek-subfolder\/engellenen-sayfa<\/em> adresindeki sayfay\u0131 taramayaca\u011f\u0131n\u0131 bildirirsiniz.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>Robots.txt nas\u0131l \u00e7al\u0131\u015f\u0131r?<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Arama motorlar\u0131n\u0131n iki ana g\u00f6revi vard\u0131r:<\/span><\/p>\n<ol>\n<li><span style=\"font-size: 14pt;\">\u0130\u00e7erikleri ke\u015ffetmek i\u00e7in web&#8217;i tararlar.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">\u0130\u00e7erikleri, ara\u015ft\u0131rma yapan ki\u015filerin hizmetlerine sunabilmek i\u00e7in dizine eklerler.<\/span><\/li>\n<\/ol>\n<p><span style=\"font-size: 14pt;\">Arama motorlar\u0131 site site gezerek milyarlarca siteye ula\u015f\u0131r ve tarama yapar. Bu tarama i\u015flemlerini yapan taray\u0131c\u0131lara &#8220;\u00f6r\u00fcmcek&#8221; de denir.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Bir web sitesine girildi\u011fi zaman \u00f6r\u00fcmcekler taramaya ba\u015flamadan \u00f6nce bir robots.txt dosyas\u0131 ararlar. Bir robots.txt bulurlarsa taray\u0131c\u0131 sayfay\u0131 taramadan \u00f6nce dosyay\u0131 okuyacakt\u0131r. Robots.txt dosyalar\u0131, arama motorlar\u0131na nas\u0131l tarama yapmalar\u0131 gerekti\u011fini s\u00f6yleyece\u011fi i\u00e7in taray\u0131c\u0131lar daha fazla gereksiz tarama i\u015fleminde bulunmayacaklar\u0131n\u0131 anlayacakt\u0131r. <strong>E\u011fer bir sitede bir robots.txt dosyas\u0131 yoksa ya da var olan robots.txt dosyas\u0131 herhangi bir k\u0131s\u0131tlama kural\u0131 i\u00e7ermiyorsa taray\u0131c\u0131 sitedeki t\u00fcm sayfalar\u0131 taramaya devam edecektir.<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>Robots.txt hakk\u0131nda bilinmesi gerekenler(daha a\u015fa\u011f\u0131da ayr\u0131nt\u0131l\u0131 anlataca\u011f\u0131z):<\/strong><\/span><\/p>\n<ul>\n<li><span style=\"font-size: 14pt;\">Bulunabilmek i\u00e7in bir web sitesinin \u00fcst d\u00fczey dizinine bir robots.txt dosyas\u0131 yerle\u015ftirilmelidir.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Robots.txt, k\u00fc\u00e7\u00fck ve b\u00fcy\u00fck harflere duyarl\u0131d\u0131r: dosyan\u0131z\u0131n ad\u0131n\u0131 <em>&#8220;robots.txt&#8221;<\/em> yapmal\u0131s\u0131n\u0131z. (<em>Robots.txt,<\/em>\u00a0<em>robots.TXT<\/em> ya da herhangi farkl\u0131 bir \u015fey de\u011fil.)<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Baz\u0131 user agentler(robotlar) robots.txt dosyan\u0131z\u0131 g\u00f6rmezden gelebilir. Bunu genellikle k\u00f6t\u00fc niyetli robotlar ya da e-posta h\u0131rs\u0131zlar\u0131 gibi zararl\u0131 taray\u0131c\u0131lar yapar.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\"><em>\/robots.txt<\/em> dosyas\u0131 genel kullan\u0131ma sunulmaktad\u0131r: <strong>Bir web sitesinin kurallar\u0131n\u0131 g\u00f6rmek i\u00e7in herhangi bir k\u00f6k domain ad\u0131n\u0131n sonuna <em>\/robots.txt<\/em> eklemelisiniz.<\/strong> E\u011fer bir robots.txt dosyas\u0131 varsa kar\u015f\u0131n\u0131za \u00e7\u0131kacakt\u0131r. Bu ilgili sayfalar\u0131 herkesin g\u00f6rebilece\u011fi fakat bu sayfalar\u0131n taranmayaca\u011f\u0131 anlam\u0131na gelmektedir. Yani \u00f6zel kullan\u0131c\u0131 bilgilerinizi bu \u015fekilde gizleyemezsiniz.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Bir k\u00f6k domain ad\u0131n\u0131n alt\u0131nda yer alan her subdomain, ayr\u0131 bir robots.txt dosyas\u0131n\u0131 kullan\u0131r. Yani hem <em>blog.ornek.com<\/em> hem de <em>ornek.com<\/em>&#8216;un kendisi ayr\u0131 ayr\u0131 birer robots.txt dosyas\u0131na sahip olmal\u0131d\u0131r. (<em>blog.ornek.com\/robots.txt<\/em> ve <em>ornek.com\/robots.txt<\/em>)<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Domain ad\u0131yla ili\u015fkili herhangi bir <a href=\"https:\/\/www.ihs.com.tr\/blog\/sitemapin-onemi\/\" target=\"_blank\">sitemap<\/a>&#8216;in yerini robots.txt dosyas\u0131n\u0131n alt k\u0131sm\u0131nda a\u00e7\u0131klamak genelde en iyi uygulamalardan bir tanesidir. \u0130\u015fte bir \u00f6rnek:<\/span><\/li>\n<\/ul>\n<p><a href=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi.png\" data-rel=\"penci-gallery-image-content\" rel=\"attachment wp-att-11054\"><img decoding=\"async\" class=\"alignnone size-full wp-image-11054\" src=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi.png\" alt=\"robots.txt-sitemap-ornegi\" width=\"1471\" height=\"548\" srcset=\"https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi.png 1471w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi-300x112.png 300w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi-1024x381.png 1024w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi-1170x436.png 1170w, https:\/\/www.ihs.com.tr\/blog\/wp-content\/uploads\/2018\/01\/robots.txt-sitemap-ornegi-585x218.png 585w\" sizes=\"(max-width: 1471px) 100vw, 1471px\" \/><\/a><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>Robots.txt s\u00f6zdizimi<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Robots.txt s\u00f6zdizimi, bir robots.txt dosyas\u0131n\u0131n <em>&#8220;dili&#8221;<\/em> olarak tan\u0131mlanabilir. Bir robots.txt dosyas\u0131nda kar\u015f\u0131n\u0131za \u00e7\u0131kmas\u0131 muhtemel 5 terim vard\u0131r. \u0130\u015fte o terimler:<\/span><\/p>\n<ul>\n<li><span style=\"font-size: 14pt;\"><strong>User-agent<\/strong>: Tarama talimatlar\u0131 verdi\u011finiz belirli web taray\u0131c\u0131lar\u0131n\u0131 ifade eder. Bunlar genellikle arama motorlar\u0131d\u0131r.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\"><strong>Disallow<\/strong>: Belirli bir URL&#8217;nin taranmamas\u0131n\u0131 s\u00f6yleyen komuttur. Her URL i\u00e7in sadece bir <em>&#8220;Disallow&#8221;<\/em> sat\u0131r\u0131na izin verilir.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\"><strong>Allow<\/strong> (Sadece Googlebot i\u00e7in ge\u00e7erlidir): Googlebot&#8217;a izin verilmese bile bir sayfaya ya da alt klas\u00f6re eri\u015febilece\u011fini s\u00f6yleyen komuttur.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\"><strong>Crawl-delay<\/strong>: Taray\u0131c\u0131ya, sayfa i\u00e7eri\u011fini y\u00fcklemeden ve taramadan \u00f6nce birka\u00e7 milisaniye beklemesini s\u00f6yleyen komuttur. Googlebot bu komutu onaylamaz, fakat tarama h\u0131z\u0131n\u0131 ayarlamak i\u00e7in Google Search Console&#8217;u kullanabilirsiniz.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\"><strong>Sitemap<\/strong>: URL ile ilgili herhangi bir XML site haritas\u0131n\u0131n bulundu\u011fu yeri \u00e7a\u011f\u0131rmak i\u00e7in kullan\u0131l\u0131r. Bu komutu sadece Google, Ask, Bing ve Yahoo desteklemektedir.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\"><strong>Pattern-matching (model e\u015fle\u015ftirme)<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Engellenecek olan ve izin verilecek olan URL&#8217;ler s\u00f6z konusu oldu\u011fu zaman ve \u00fczerine bir de model e\u015fle\u015ftirme kural\u0131 eklendi\u011fi zaman robots.txt dosyalar\u0131 olduk\u00e7a karma\u015f\u0131k bir hale geliyor.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Google ve Bing, bir SEO taraf\u0131ndan d\u0131\u015flanmak istenen sayfalar ya da subdomainler i\u00e7in kullanabilece\u011finiz 2 ifadeyi de onayl\u0131yor. Bu ifadeler; y\u0131ld\u0131z<em> (*)<\/em> ve dolar<em> ($)<\/em> i\u015faretidir.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>Robots.txt bir sitenin neresinde bulunur?<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Bir web sitesine girildi\u011fi zaman arama motorlar\u0131 ve Facebot (Facebook&#8217;un taray\u0131c\u0131s\u0131) gibi di\u011fer <strong>web tarama motorlar\u0131 robots.txt dosyas\u0131n\u0131n nerede bulundu\u011funu bilirler. Robots.txt dosyan\u0131z\u0131 ararken belirli bir yeri incelerler: ana dizin<\/strong>; genellikle k\u00f6k domaininiz ya da ana sayfan\u0131z. E\u011fer bir ara\u00e7 <em>www.ornek.com\/robots.txt<\/em> adresini ziyaret edip de orada bir robots.txt dosyas\u0131 bulamazsa, sitede bir robots.txt dosyas\u0131n\u0131n var olmad\u0131\u011f\u0131n\u0131 ve sitenin tamam\u0131n\u0131 taramaya devam edece\u011fini kabul edilir. Hatta robots.txt dosyan\u0131z <em>ornek.com\/index\/robots.txt<\/em>&#8216;de ya da <em>www.ornek.com\/homepage\/robots.txt<\/em>&#8216;de var olsa bile ara\u00e7lar taraf\u0131ndan bulunamayaca\u011f\u0131 i\u00e7in sitedeki her \u015fey hi\u00e7 robots.txt dosyas\u0131 yokmu\u015f gibi ele al\u0131nacakt\u0131r.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Robots.txt dosyan\u0131z\u0131n bulunmas\u0131n\u0131 istiyorsan\u0131z mutlaka ana dizininize ya da k\u00f6k domaininize eklemelisiniz.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>Neden bir robots.txt dosyas\u0131na ihtiyac\u0131n\u0131z var?<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Robots.txt dosyalar\u0131 sitenizin belirli k\u0131s\u0131mlar\u0131na y\u00f6nelik olan taray\u0131c\u0131 eri\u015fimlerini d\u00fczenler. Googlebot&#8217;un sitenizi taramas\u0131na yanl\u0131\u015f\u0131kla izin vermezseniz bu durum \u00e7ok olumsuz sonu\u00e7lar do\u011furabilir. Bir robots.txt dosyas\u0131n\u0131n \u00e7ok kullan\u0131\u015fl\u0131 olabilece\u011fi zamanlar da mevcut:<\/span><\/p>\n<ul>\n<li><span style=\"font-size: 14pt;\">Kopya i\u00e7eri\u011fin SERP&#8217;lerde g\u00f6r\u00fcnmesini \u00f6nleyebilirsiniz. Bunun i\u00e7in meta robotlar daha iyi bir se\u00e7imdir.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Web sitenizin belirli b\u00f6l\u00fcmlerini gizli tutabilirsiniz.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Dahili arama sonu\u00e7lar\u0131 sayfalar\u0131n\u0131 kamuya a\u00e7\u0131k SERP&#8217;lerde g\u00f6sterilmesini engelleyebilirsiniz<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Site haritalar\u0131n\u0131n konumlar\u0131n\u0131 belirtebilirsiniz.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Arama motorlar\u0131n\u0131n web sitenizde yer alan belirli dosyalar\u0131 endekslemesini engelleyebilirsiniz.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Taray\u0131c\u0131lar ayn\u0131 anda birden fazla i\u00e7erik y\u00fckleyerek sunucular\u0131n\u0131zda a\u015f\u0131r\u0131 y\u00fcklenmelere sebep olabilir ve bunu \u00f6nlemek i\u00e7in bir tarama gecikmesi olu\u015fturabilirsiniz.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\"><strong>Robots.txt dosyan\u0131z olup olmad\u0131\u011f\u0131n\u0131 kontrol etme<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Bir robots.txt dosyan\u0131z\u0131n olup olmad\u0131\u011f\u0131ndan emin de\u011fil misiniz? K\u00f6k domain ad\u0131n\u0131z\u0131 yaz\u0131n ve ard\u0131ndan URL&#8217;nizin sonuna <em>\/robots.txt<\/em> yazarak bir robots.txt dosyan\u0131z\u0131n olup olmad\u0131\u011f\u0131n\u0131 kolayl\u0131kla \u00f6\u011frenebilirsiniz. \u00d6rne\u011fin; <em>ornek.com\/robots.txt<\/em><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">Bu i\u015flemin sonunca kar\u015f\u0131n\u0131za bir .txt dosyas\u0131 gelmezse, bu aktif bir robots.txt dosyan\u0131z\u0131n olmad\u0131\u011f\u0131 anlam\u0131na gelir.<\/span><\/p>\n<p><span style=\"font-size: 14pt;\"><strong>En iyi SEO uygulamalar\u0131<\/strong><\/span><\/p>\n<ul>\n<li><span style=\"font-size: 14pt;\">Web sitenizde taranmas\u0131n\u0131 istedi\u011finiz herhangi bir i\u00e7eri\u011fin ya da sayfan\u0131n engellenmedi\u011finden emin olun.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Robots.txt taraf\u0131ndan engellenen sayfalar ve bu sayfalardaki ba\u011flant\u0131lar taranmayacakt\u0131r. B\u00f6ylelikle mevcut sayfalardaki ba\u011flant\u0131lar ve kaynaklar taranamayaca\u011f\u0131 i\u00e7in dizine eklenemez. E\u011fer sayfa i\u00e7eri\u011findeki ba\u011flant\u0131lara eri\u015fim olmas\u0131n\u0131 istiyorsan\u0131z farkl\u0131 bir engelleme sistemi kullanmal\u0131s\u0131n\u0131z.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Hassas veriler gibi \u00f6zel kullan\u0131c\u0131 bilgilerinin SERP&#8217;lerde (arama motoru sonu\u00e7 sayfalar\u0131) g\u00f6r\u00fcnmesini istemiyorsan\u0131z robots.txt kullanamay\u0131n. Di\u011fer sayfalar do\u011frudan \u00f6zel bilgilerinizi i\u00e7eren sayfalara ba\u011flanabilir bu y\u00fczden bu sayfalar\u0131n dizine eklenmesi de m\u00fcmk\u00fcnd\u00fcr. Bu tarz bir sayfan\u0131z\u0131 arama motorlar\u0131 sonu\u00e7lar\u0131nda g\u00f6rmek istemiyorsan\u0131z parola korumas\u0131 yapabilir ya da noindex meta y\u00f6nergesi gibi daha farkl\u0131 bir y\u00f6ntemi kullanabilirsiniz.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Baz\u0131 arama motorlar\u0131n\u0131n birden fazla tarama arac\u0131 vard\u0131r. \u00d6rne\u011fin Google, organik aramalar i\u00e7in Googlebot&#8217;u g\u00f6r\u00fcnt\u00fc aramalar\u0131 i\u00e7in de Googlebot-Image&#8217;yi kullan\u0131yor. Bu tarama ara\u00e7lar\u0131ndan bir tanesini engelledi\u011finiz zaman arama motorlar\u0131 zaten ayn\u0131 kural\u0131 di\u011fer ara\u00e7 i\u00e7in de uygulayacakt\u0131r. Fakat siz yine de 2 arac\u0131 da engelleyebilecek ince ayar yapabilecek beceriye sahip olmal\u0131s\u0131n\u0131z.<\/span><\/li>\n<li><span style=\"font-size: 14pt;\">Bir arama motoru, robots.txt i\u00e7eri\u011fini kendi \u00f6nbelle\u011fine al\u0131r, fakat genellikle \u00f6nbelle\u011fe al\u0131nm\u0131\u015f olan i\u00e7eri\u011fi g\u00fcnde en az 1 kez g\u00fcnceller. E\u011fer dosyada de\u011fi\u015fim yaparsan\u0131z ve arama motorundan daha h\u0131zl\u0131 bir g\u00fcncelleme isterseniz robots.txt dosyan\u0131z\u0131 Google&#8217;a g\u00f6nderebilirsiniz.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-size: 14pt;\"><strong>Robots.txt vs meta robotlar vs x-robotlar<\/strong><\/span><\/p>\n<p><span style=\"font-size: 14pt;\">G\u00f6r\u00fcld\u00fc\u011f\u00fc \u00fczere bir\u00e7ok robot mevcut. Peki bu robotlar aras\u0131ndaki farklar nedir? Hangisi sizin i\u00e7in daha uygun? \u00d6ncelikle; robots.txt ger\u00e7ek bir metin dosyas\u0131d\u0131r. Meta ve x-robotlar\u0131 ise meta y\u00f6nergeleridir. Asl\u0131nda teknik olarak bu robotlar\u0131n 3&#8217;\u00fc de farkl\u0131 ama\u00e7lara hizmet eder. Robots.txt dosyas\u0131 site ve dizin \u00e7ap\u0131ndaki tarama davran\u0131\u015flar\u0131n\u0131 belirliyorken, meta robotlar\u0131 ve x-robotlar\u0131 da sayfa d\u00fczeyinde i\u015flemler i\u00e7in uygundur.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Robots.txt, web sitelerinin sayfalar\u0131n\u0131n nas\u0131l taranaca\u011f\u0131n\u0131 arama motorlar\u0131na a\u00e7\u0131klamak amac\u0131yla olu\u015fturulmu\u015f metin dosyalar\u0131d\u0131r. Robots.txt dosyas\u0131, REP&#8217;in (robot d\u0131\u015flama protokol\u00fc) bir par\u00e7as\u0131d\u0131r. REP,&hellip;<\/p>\n","protected":false},"author":3,"featured_media":11085,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-11050","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-haberler"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/posts\/11050","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/comments?post=11050"}],"version-history":[{"count":5,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/posts\/11050\/revisions"}],"predecessor-version":[{"id":11068,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/posts\/11050\/revisions\/11068"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/media\/11085"}],"wp:attachment":[{"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/media?parent=11050"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/categories?post=11050"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.ihs.com.tr\/blog\/wp-json\/wp\/v2\/tags?post=11050"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}