Tutoriales

Elimina los duplicados de la lista MASSIVE de palabras sin ordenarlos.

Duplicut es una creación de registro de palabras de contraseña moderna, en la que generalmente se concatenan varias fuentes de datos.

Idealmente, las contraseñas más probables deberían estar en la parte superior de la registro de palabras para que las contraseñas más comunes se descifren de inmediato.

Con existente Herramientas de deduplicación Estás obligado a nominar si lo prefieres Amparar el orden O muletear con listas de palabras masivas.

Desafortunadamente, La creación de listas de palabras requiere tanto::

Así que escribí Duplicut en C en extremo optimizado para satisfacer esta carestia muy específica.

Inicio rápido

Clon de Git https://github.com/nil0x42/duplicut
cd duplicut / && hacer
./duplicut wordlist.txt -o clean-wordlist.txt

Opciones

propiedades

  • Manejar listas de palabras grandes, incluidas aquellas que exceden la memoria habitable
  • Filtrar líneas por distancia máxima (-l Posibilidad)
  • Puede eliminar líneas con caracteres ASCII no imprimibles (-p Posibilidad)
  • Presione cualquier tecla para ver el estado del software en tiempo de ejecución.

implementación

  • Escrito en código C puro, diseñado para ser rápido
  • Utensilios de atlas hash comprimidos en plataformas de 64 bits
  • Soporte de subprocesos múltiples
  • [TODO]:: Utilice grandes páginas de memoria para mejorar el rendimiento

restricciones

  • Cualquier radio de más de 255 caracteres se ignora
  • Muy probado en Linux x64, en su mayoría no probado en otras plataformas.

Detalles técnicos

1- memoria optimizada

A uint64 es suficiente para indexar líneas en el atlas hash empaquetando size Información adentro de los bits adicionales del puntero:

2- Diligencia masiva de archivos

Si el archivo completo no junto a en la memoria, se divide en bloques virtuales y cada uno se prueba con los siguientes bloques.

Entonces la complejidad es igual a th Número de triángulo::

Opción de problemas

Si encuentra un error o poco no funciona como se esperaba, compile duplicut en modo de depuración y publique un problema con la salida adjunta:

El nivel de depuración puede estar entre 1 y 4
hacer el nivel de depuración = 1
./duplicut [OPTIONS] 2> & 1 | tee /tmp/duplicut-debug.log

Publicaciones relacionadas

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba