Tutoriales

Galer: una útil rápida para obtener URL de atributos HTML mediante rastreo

Galer es una útil rápida para obtener URL de atributos HTML mediante rastreo. Inspirado por el @omespino Tweet, que es posible extraer src, href, url y action títulos mediante la evaluación de JavaScript a través del protocolo Chrome DevTools.

Instalación

La instalación es sencilla. Puede descargar un binario precompilado desde la página de lanzamientos, descomprimirlo y ejecutarlo. o con

(sudo) curl -sSfL https://git.io/galer | sh -s – -b / usr / restringido / bin

Si tiene el compilador go1.15 + instalado y configurado:

GO111MODULE = dispuesto, obtén github.com/dwisiswant0/galer

clon de git https://github.com/dwisiswant0/galer
componente de cd
ve a construir.
(sudo) mv galer / usr / restringido / bin

Uso

  • Uso principal
    • Simplemente, galer se puede ejecutar con:

galer -u «http: //dominio.tld»

galer -h

Esto mostrará ayuda para la útil. Aquí están todos los interruptores que admite.

Bandera Descripción
-u, –url Orientar a las recuperaciones (registro o URL de destino único)
-e, –extensión Mostrar solo ciertas extensiones (separados por comas, por ejemplo, js, php)
-c, –concurrencia Nivel de simultaneidad (predeterminado: 50)
-en capacidad Mostrar URL incluidas en el capacidad / solo el mismo host
-o, –salida Acomodar la salida de las URL obtenidas en un archivo
-t, –tiempo de aplazamiento Tiempo mayor (segundos) permitido para la conexión (predeterminado: 60)
-s, –silent Modo silencioso (suprimir un error)
-v, –verbose El modo detallado muestra los detalles del error a menos que no haya utilizado el modo silencioso
-h, –ayuda Muestra sus ayudas

Ejemplos de

galer -u «http: //dominio.tld»

galer -u /ruta/a/urls.txt

cat urls.txt | galer

  • En caso de querer encadenar con otras herramientas:

subfinder -d dominio.tld -silent | httpx -silent | galer

Biblioteca

Puedes usar galer como biblioteca.

ve a github.com/dwisiswant0/galer/pkg/galer

Por ejemplo:

package main

import (
	"fmt"

	"github.com/dwisiswant0/galer/pkg/galer"
)

func main() {
	cfg := &galer.Config{
		Timeout: 60,
	}
	cfg = galer.New(cfg)

	run, err := cfg.Crawl("https://twitter.com")
	if err != nil {
		panic(err)
	}

	for _, url := range run {
		fmt.Println(url)
	}
}

TODOs

  • Habilite para establecer encabezados HTTP adicionales
  • Proporcionar User-Agent al azar
  • Callar navegador sin persona
  • Añadir excepción para extensiones específicas

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba