A great tool for or privacy advocates: OpenWPM automates the simulated browsing of websites (optional using docker) and saves relevant data to a database, e.g. requests, saved cookies or suspicious javascript calls.

NYTimes was using this for a recent story.

@blub Naja, kommt darauf an was für Webscraper du meinst. Ein headless browser wäre leichter erkennbar oder nicht voll kompatibel. Es ist ein echter, aber ferngesteuerter Firefox, der sogar Mausbewegungen simulieren kann. Basiert auf Selenium.

Sign in to participate in the conversation

The social network of the future: No ads, no corporate surveillance, ethical design, and decentralization! Own your data with Mastodon!