MetaFinder - Evolucionando en la extracción de metadatos

Desde la primera versión de MetaFinder, mi pequeña tool para buscar metadatos en buscadores, que empezó siendo una PoC para ayudarme en las auditorías, ha ido evolucionando mucho, las nuevas características se dejan a continuación:

• Se puede instalar desde pip: 

pip3 install metafinder

• No solo busca en Google, también tiene Bing y Baidu (búsqueda algo más lenta).
• Refactorización y mejora del código.
• Cambio en los parámetros de entrada en la versión cli.
• Generar 3 ficheros:
• Uno completo con todos los datos sobre los ficheros.
• Uno con los autores encontrados.
• Uno con el software detectado.
• Devuelve el status de respuesta HTTP: así poder identificar algún falso negativo en caso de 403 o 404, o buscar en archive.org.
• Buscador donde se ha encontrado el documento.
• Es posible usarlo en nuestros scripts:

import metafinder.extractor as metadata_extractor

Además, la herramienta se encuentra agregada en la gran tool de six2dez: reconFTW. Os recomiendo echarla un ojo si no la conocéis.

A continuación, se deja un ejemplo usando MetaFinder:

Figura 1 - Usando MetaFinder

Se ha ofuscado un poco la salida, aunque todos los datos son públicos y están en los buscadores. Para el ejemplo se ha optado por poner una búsqueda limitada a 6 resultados por buscador (se ignoran resultados repetidos). Los ficheros que genera MetaFinder se pueden ver en la siguiente captura:

Figura 2 - Ficheros generados por MetaFinder

Usarla en nuestras aplicaciones no es nada difícil, se pueden ver los ejemplos en el GitHub, aquí se deja la captura:

Figura 3 - Usando MetaFinder en nuestros scripts 1

Sin olvidar las excepciones que pueden dar. Aquí se deja un pequeño ejemplo en ejecución:

Figura 4 - Usando MetaFinder en nuestros scripts 2

Los resultados que devuelven, vienen en un objeto Result, que tiene funciones get_author, get_software y get_metadata. Cualquier sugerencia, mejora o idea, siempre es bienvenida. Por último, se deja el enlace a la herramienta:

GitHub de MetaFinder