urlhunter - 一个侦察工具,允许搜索通过缩短服务公开的 URL

Created at: 2020-11-21 16:05:57
Language: Go
License: MIT
				o  	  Utku Sen's
				 \_/\o   
				( Oo)                    \|/
				(_=-)  .===O-  ~~U~R~L~~ -O-
				/   \_/U'        hunter  /|\
				||  |_/
				\\  |    utkusen.com
				{K ||	twitter.com/utkusen

urlhunter 是一种侦察工具,允许搜索通过缩短服务(如 bit.ly 和 goo.gl)公开的 URL。该项目是用 Go 编写的。

如何?

一个名为URLTeam的小组(对他们表示敬意)正在强制使用 URL 缩短器服务并每天发布匹配的结果。urlhunter 下载他们的收藏并让你分析它们。

安装

从二进制

你可以从发布页面下载预构建的二进制文件并运行。例如:

tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz

./urlhunter --help

从源头

  1. 在你的系统上安装 Go

  2. 跑:

    go get -u github.com/utkusen/urlhunter

Windows 用户注意: urlhunter 使用

XZ Utils
Linux 和 macOS 系统上预装的。Windows系统需要从https://tukaani.org/xz/下载

用法

urlhunter 需要 3 个参数才能运行:

-keywords
,
-date
-o
.

例如:

urlhunter -keywords keywords.txt -date 2020-11-20 -o out.txt

-关键字

你需要指定包含要在 URL 上搜索的关键字的 txt 文件。关键字必须一行一行写。你可以通过三种不同的方式来指定关键字:

单个关键字: urlhunter 将搜索给定的关键字作为子字符串。例如:

acme.com
关键字将同时匹配
https://acme.com/blabla
https://another.com/?referrer=acme.com

多个关键字: urlhunter 将使用

AND
逻辑搜索给定的关键字。这意味着,一个 URL 必须包含所有提供的关键字。关键字必须用
,
字符分隔。例如:

acme.com,admin
会匹配
https://acme.com/secret/adminpanel
不会匹配
https://acme.com/somethingelse

正则表达式值: urlhunter 将搜索给定的正则表达式值。在关键字文件中,包含正则表达式公式的行必须以

regex 
字符串开头。格式为:
regex REGEXFORMULA
. 例如:

regex 1\d{10}
会匹配
https://example.com/index.php?id=12938454312
不会匹配
https://example.com/index.php?id=abc223

-日期

urlhunter 下载给定日期的存档文件。你可以通过三种不同的方式来指定日期:

最新: urlhunter 将下载最新的存档。

-date latest

单个日期: urlhunter 将下载给定日期的存档。日期格式为 YYYY-MM-DD。

例如:

-date 2020-11-20

日期范围: urlhunter 将下载给定开始和结束日期之间的所有档案。

例如:

-date 2020-11-10:2020-11-20

-o

你可以使用

-o
参数指定输出文件。例如
-o out.txt

演示视频

观看视频

速度问题

Archive.org 限制下载文件时的速度。因此,下载档案比平时花费更多的时间。作为一种解决方法,你可以通过 Torrent 下载档案并将它们放在

archive/
与 urlhunter 的二进制文件位于同一目录中的文件夹下。目录树将如下所示:

|-urlhunter
|---urlhunter(binary)
|---archive
|-----urlteam_2020-11-20-11-17-04
|-----urlteam_2020-11-17-11-17-04

示例用例

urlhunter 可能对网络情报和漏洞赏金目的有用。例如:

docs.google.com/a/acme.com
drive.google.com/a/acme.com
关键字允许你找到 Acme 公司的公共 Google Docs&Drive 共享链接。

acme.com,password_reset_token
关键字可以让你找到 acme.com 的工作密码重置令牌

trello.com
允许你查找公共 Trello 地址。

谢谢

特别感谢 Samet Bekmezci( @sametbekmezci ) 给了我这个工具的想法。

捐款

比特币地址:1MVGYtuYAbZ1MubRFb7dxhQH35w7RQBcVe