Mehmetcan Şahin - camoufox

Mehmetcan Şahin - camoufox https://mehmetcansahin.com Mehmetcan Şahin'den web, mobil, DevOps ve pratik yazılım geliştirme üzerine teknik notlar. Zola tr Thu, 08 Oct 2026 00:00:00 +0000 Camouflare: FlareSolverr’dan Camoufox’a geçiş Thu, 08 Oct 2026 00:00:00 +0000 Mehmetcan Şahin https://mehmetcansahin.com/tr/blog/camouflare-flaresolverrdan-camoufoxa-gecis/ https://mehmetcansahin.com/tr/blog/camouflare-flaresolverrdan-camoufoxa-gecis/ <p><img src="/images/camouflare-cover.png" alt="Camouflare: FlareSolverr’dan Camoufox’a geçiş" /></p> <p>İnternetten veri toplamak için çıktığım yolda, popüler seçeneklerden biri olan FlareSolverr ile ilerlemeye çalıştım. Ancak hız ve kararlılık tarafında yaşadığım problemleri çözebilmek için Camouflare’i geliştirdim.</p> <h2 id="neden-camoufox">Neden Camoufox?</h2> <p>Öncelikle FlareSolverr’ın nasıl çalıştığına bakalım. FlareSolverr, Selenium ve <code>undetected-chromedriver</code> kullanarak Chrome/Chromium çalıştırıyor. Kalıcı bir oturum kullanmıyorsanız her istek için yeni bir tarayıcı başlatılıyor. Birden fazla isteği aynı anda gönderdiğinizde bellek tüketimi de artıyor. Ayrıca her seferinde tarayıcının açılmasını beklemek gerekiyor. Projenin kendi dokümantasyonunda da RAM’i sınırlı makinelerde çok sayıda eşzamanlı istek gönderilmemesi öneriliyor. <a rel="external" href="https://github.com/FlareSolverr/FlareSolverr#how-it-works">FlareSolverr dokümantasyonu</a></p> <p>Kaynak tüketiminin dışında, doğrulama adımlarında takılıp zaman aşımına uğrayan istekler de olabiliyor. Projenin issue kayıtlarında bu konuda kullanıcı raporları bulunuyor. Bunlar belirli sürüm ve kullanım durumlarına ait olsa da alternatif arayanların karşılaştığı problemleri gösteriyor. <a rel="external" href="https://github.com/FlareSolverr/FlareSolverr/issues/1741">Örnek bir issue</a></p> <p>Camoufox ise Firefox tabanlı, web scraping için geliştirilmiş bir tarayıcı. Gereksiz bileşenlerin azaltılmasıyla bellek kullanımı ve başlatma süresi üzerine optimizasyonlar yapılıyor. Bunun yanında tarayıcı parmak izi ve otomasyonun algılanması konusunda tarayıcı seviyesinde değişiklikler sunuyor. Bu özellikler benim aradığım çözüme daha uygundu. <a rel="external" href="https://github.com/daijro/camoufox#introduction">Camoufox</a></p> <p>Bu amaçla geliştirilmiş Byparr reposu da vardı. Ancak benim kullanımımda o da sağlıklı çalışmadı. Bunun üzerine FlareSolverr API’sini koruyan, arka tarafta Camoufox kullanan kendi çözümümü geliştirmeye başladım.</p> <h2 id="camouflare-nasil-calisiyor">Camouflare nasıl çalışıyor?</h2> <p>Camouflare, FlareSolverr ile benzer şekilde <code>/v1</code> üzerinden istek alıyor. GET, POST ve oturum oluşturma, listeleme ve silme komutlarını destekliyor. Sayfanın HTML içeriğini ve çerezlerini alıp kendi uygulamanızda kullanabilirsiniz. HTML içerisinden istediğiniz verileri çıkarma işlemini ise sizin yapmanız gerekiyor.</p> <p>Tarayıcı tarafında hazır tutulan küçük bir havuz bulunuyor. Her istekte yeni bir tarayıcı başlatmak yerine bu havuzdaki tarayıcılar kullanılıyor. Varsayılan yapılandırmada havuz en fazla iki tarayıcıya çıkabiliyor ve her birinde aynı anda bir tarayıcı bağlamı çalışıyor.</p> <p>Oturumsuz istekler birbirinden ayrı bağlamlarda işleniyor. Eğer aynı oturumu sonraki isteklerde de kullanmak istiyorsanız kalıcı bir session oluşturabilirsiniz. Bu durumda oturumun çerezleri ve tarayıcı durumu korunuyor.</p> <p>Havuz dolduğunda yeni istekler belirlenen süre boyunca boş yer bekliyor. Tarayıcılar da kullanım veya yaş sınırına ulaştığında yenileniyor. Burada tarayıcı sayısını ve bekleme sürelerini kullanım durumunuza göre ayarlayabilirsiniz. <a rel="external" href="https://github.com/mehmetcansahin/camouflare/blob/main/docs/deployment.md">Yapılandırma detayları</a></p> <p>Camouflare’in tanıtım videosunu aşağıdan izleyebilirsiniz:</p> <div style="aspect-ratio: 16 / 9; width: 100%;"> <iframe src="https://www.youtube-nocookie.com/embed/oEZkk81Et4w" title="Camouflare tanıtım videosu" style="width: 100%; height: 100%; border: 0;" loading="lazy" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen> </iframe> </div> <h2 id="kurulum-ve-kullanim">Kurulum ve kullanım</h2> <p>Camouflare’i Docker imajını kullanarak çalıştırabilirsiniz. Öncelikle bir API token oluşturup servisi başlatın:</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#24292E, #E1E4E8); background-color: light-dark(#FFFFFF, #24292E);"><code data-lang="shellscript"><span class="giallo-l"><span style="color: light-dark(#D73A49, #F97583);">export</span><span> CAMOUFLARE_API_TOKEN</span><span style="color: light-dark(#D73A49, #F97583);">=</span><span style="color: light-dark(#032F62, #9ECBFF);">"</span><span style="color: light-dark(#032F62, #9ECBFF);">$(</span><span style="color: light-dark(#6F42C1, #B392F0);">openssl</span><span style="color: light-dark(#032F62, #9ECBFF);"> rand</span><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">hex</span><span style="color: light-dark(#005CC5, #79B8FF);"> 32</span><span style="color: light-dark(#032F62, #9ECBFF);">)</span><span style="color: light-dark(#032F62, #9ECBFF);">"</span></span> <span class="giallo-l"></span> <span class="giallo-l"><span style="color: light-dark(#6F42C1, #B392F0);">docker</span><span style="color: light-dark(#032F62, #9ECBFF);"> run</span><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-detach</span><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-rm</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-name</span><span style="color: light-dark(#032F62, #9ECBFF);"> camouflare</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-publish</span><span style="color: light-dark(#032F62, #9ECBFF);"> 127.0.0.1:8191:8191</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-env</span><span style="color: light-dark(#032F62, #9ECBFF);"> CAMOUFLARE_API_TOKEN</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-shm-size</span><span style="color: light-dark(#032F62, #9ECBFF);"> 2g</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-stop-timeout</span><span style="color: light-dark(#005CC5, #79B8FF);"> 45</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#032F62, #9ECBFF);"> mehmetcansahin/camouflare:2.0.2</span></span></code></pre> <p>Burada oluşturduğunuz token’ı isteklerde göndermeniz gerekiyor. Servisin hazır olup olmadığını <code>/ready</code> üzerinden kontrol edebilirsiniz:</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#24292E, #E1E4E8); background-color: light-dark(#FFFFFF, #24292E);"><code data-lang="shellscript"><span class="giallo-l"><span style="color: light-dark(#6F42C1, #B392F0);">curl</span><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-fail</span><span style="color: light-dark(#032F62, #9ECBFF);"> http://127.0.0.1:8191/ready</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-header</span><span style="color: light-dark(#032F62, #9ECBFF);"> "</span><span style="color: light-dark(#032F62, #9ECBFF);">Authorization: Bearer </span><span style="color: light-dark(#032F62, #9ECBFF);">$</span><span style="color: light-dark(#032F62, #9ECBFF);">{</span><span>CAMOUFLARE_API_TOKEN</span><span style="color: light-dark(#032F62, #9ECBFF);">}</span><span style="color: light-dark(#032F62, #9ECBFF);">"</span></span></code></pre> <p>Servis hazır olduktan sonra örnek bir GET isteği gönderelim:</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#24292E, #E1E4E8); background-color: light-dark(#FFFFFF, #24292E);"><code data-lang="shellscript"><span class="giallo-l"><span style="color: light-dark(#6F42C1, #B392F0);">curl</span><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-request</span><span style="color: light-dark(#032F62, #9ECBFF);"> POST</span><span style="color: light-dark(#032F62, #9ECBFF);"> http://127.0.0.1:8191/v1</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-header</span><span style="color: light-dark(#032F62, #9ECBFF);"> '</span><span style="color: light-dark(#032F62, #9ECBFF);">Content-Type: application/json</span><span style="color: light-dark(#032F62, #9ECBFF);">'</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-header</span><span style="color: light-dark(#032F62, #9ECBFF);"> "</span><span style="color: light-dark(#032F62, #9ECBFF);">Authorization: Bearer </span><span style="color: light-dark(#032F62, #9ECBFF);">$</span><span style="color: light-dark(#032F62, #9ECBFF);">{</span><span>CAMOUFLARE_API_TOKEN</span><span style="color: light-dark(#032F62, #9ECBFF);">}</span><span style="color: light-dark(#032F62, #9ECBFF);">"</span><span style="color: light-dark(#005CC5, #79B8FF);"> \</span></span> <span class="giallo-l"><span style="color: light-dark(#005CC5, #79B8FF);"> -</span><span style="color: light-dark(#005CC5, #79B8FF);">-data</span><span style="color: light-dark(#032F62, #9ECBFF);"> '</span><span style="color: light-dark(#032F62, #9ECBFF);">{</span></span> <span class="giallo-l"><span style="color: light-dark(#032F62, #9ECBFF);"> "cmd": "request.get",</span></span> <span class="giallo-l"><span style="color: light-dark(#032F62, #9ECBFF);"> "url": "https://example.com",</span></span> <span class="giallo-l"><span style="color: light-dark(#032F62, #9ECBFF);"> "maxTimeout": 60000</span></span> <span class="giallo-l"><span style="color: light-dark(#032F62, #9ECBFF);"> }</span><span style="color: light-dark(#032F62, #9ECBFF);">'</span></span></code></pre> <p>Bu örnekte <code>request.get</code> ile belirtilen sayfaya gidiyoruz. <code>maxTimeout</code> ile isteğin toplam süre bütçesini 60 saniye olarak belirliyoruz. Başarılı bir yanıtta HTML içeriğini <code>solution.response</code> alanından alabilirsiniz.</p> <h2 id="captcha-destegi">CAPTCHA desteği</h2> <p>Camouflare’de <a rel="external" href="https://pypi.org/project/playwright-captcha/">playwright-captcha</a> kütüphanesinin ClickSolver bileşenini kullanan entegre bir çözüm de bulunuyor. Bu çözüm, tarayıcı üzerinden açılan Cloudflare ara doğrulama sayfalarındaki tıklama adımlarını tamamlamayı deniyor. Başarı, karşılaşılan doğrulamaya ve hedef siteye göre değişiyor.</p> <p>Varsayılan olarak bu özellik kapalı. Açmak için yukarıdaki <code>docker run</code> komutuna aşağıdaki parametreyi ekleyebilirsiniz:</p> <pre class="giallo" style="color-scheme: light dark; color: light-dark(#24292E, #E1E4E8); background-color: light-dark(#FFFFFF, #24292E);"><code data-lang="shellscript"><span class="giallo-l"><span style="color: light-dark(#6F42C1, #B392F0);">--env</span><span style="color: light-dark(#032F62, #9ECBFF);"> CHALLENGE_SOLVER=click</span></span></code></pre><h2 id="flaresolverr-dan-gecis">FlareSolverr’dan geçiş</h2> <p>Mevcut uygulamanız FlareSolverr API’sini kullanıyorsa Camouflare’in desteklediği komutlarla devam edebilirsiniz. Ancak kullandığınız istemcinin API token’ını gönderebilmesi gerekiyor.</p> <p>Uyumluluk konusunda bazı farklılıklar da var. Örneğin <code>download</code>, <code>returnRawHtml</code> ve <code>tabs_till_verify</code> alanları kabul ediliyor ancak işleme alınmıyor. Bu alanları kullanıyorsanız geçiş yapmadan önce <a rel="external" href="https://github.com/mehmetcansahin/camouflare#flaresolverr-compatibility">uyumluluk bölümünü</a> incelemenizi öneririm.</p> <p>Camouflare’i tek bir güvenilir kullanıcı ve tek uygulama worker’ı ile çalışacak şekilde tasarladım. Bu bir tasarım tercihi. Oturumlar ve tarayıcı havuzu süreç içinde tutuluyor, farklı worker’lar arasında paylaşılmıyor. Birden fazla kullanıcı veya instance ile çalışmak istiyorsanız ayrı container’lar kullanıp isteklerin yönlendirilmesini sizin yönetmeniz gerekiyor. Aynı oturuma ait isteklerin aynı instance’a gitmesini de sağlamalısınız.</p> <h2 id="servisin-durumunu-takip-etmek">Servisin durumunu takip etmek</h2> <p>Servisin çalışıyor olması ile tarayıcıların istek işlemeye hazır olması farklı durumlar. Bu yüzden <code>/health</code> uygulamanın çalıştığını, <code>/ready</code> ise tarayıcı altyapısının hazır olduğunu kontrol ediyor.</p> <p>Havuz ve oturum durumunu görmek için <code>/diagnostics</code> kullanabilirsiniz. Ekstra olarak Prometheus metrikleri de bulunuyor. Hata yanıtlarında ise kapasite yetersizliği, zaman aşımı ve tarayıcı bağlantısının kapanması gibi durumları ayırt edebilirsiniz.</p>