
UDdup La útil obtiene una índice de URL y elimina páginas «duplicadas» en el sentido de patrones de URL que probablemente son repetitivos y apuntan a la misma plantilla web.
Por ejemplo:
https://www.example.com/product/123
https://www.example.com/product/456
https://www.example.com/product/123?is_prod=false https://www.example.com/product/222?is_debug=true
Todos los anteriores son probablemente puntos para la misma «plantilla» de producto. Por lo tanto, debería ser suficiente escanear solo algunas de estas URL con nuestros diversos escáneres.
El resultado de lo precursor luego de UDdup debería ser:
https://www.example.com/product/123?is_prod=false https://www.example.com/product/222?is_debug=true
¿Por qué lo necesito?
Principalmente para un mejor proceso de inspección (automatizado), con menos ruido (tanto para el probador como para el objetivo).
Ejemplos
Echa un vistazo a demo.txt
que es el archivo de URL sin procesar que da como resultado demo-results.txt
.
Instalación
pip instalar uddup
Clona el repositorio.
clon de git https://github.com/rotemreiss/uddup.git
Instale los requisitos de Python.
cd uddup
pip install -r requirements.txt
Uso
uddup -u demo.txt -o ./demo-result.txt
uddup -h
Forma corta | Forma larga | Descripción |
---|---|---|
-h | -ayuda | Muestre este mensaje de ayuda y salga |
-u | –Urls | Archivo con una índice de URL |
-o | -producción | Economizar resultados en un archivo |
-s | -silencio | Imprime solo las URL de resultados |
-fp | –Trayecto-de-filtro | Filtrar rutas por una expresión regular determinada |
Permite filtrar patrones de rutas personalizados. Por ejemplo, si quisiéramos filtrar todas las rutas que comienzan con /product
tendremos que ejecutar:
Regex único
uddup -u demo.txt -fp “^ producto”
https://www.example.com/
https://www.example.com/privacy-policy
https://www.example.com/product/1
https://www.example2.com/product/2 https://www.example3.com/product/4
https://www.example.com/
https://www.example.com/privacy-policy
- Regex liberal con múltiples filtros de ruta
uddup -u demo.txt -fp «(^ producto) | (^ categoría)»