介紹

w12scan是一款網(wǎng)絡(luò)資產(chǎn)發(fā)現(xiàn)引擎，通過WEB接口下發(fā)任務(wù)，w12scan會自動將相關(guān)的資產(chǎn)聚合在一起方便分析使用。w12scan也是我的畢業(yè)設(shè)計。

w12scan分為WEB端（用于展示顯示數(shù)據(jù)）和Client端（用于搜索相關(guān)資產(chǎn)數(shù)據(jù)）。

這里是web端的開源程序，client端在https://github.com/boy-hack/w12scan-client

設(shè)計思想

基于python3 + django + elasticsearch + redis(去重+web與client通信中間件)，使用WEB API添加掃描目標(biāo)，掃描完成后會在WEB端展示。

特點

WEB端

強(qiáng)大的搜索語法

title=“abc” # 從標(biāo)題中搜索

header=“abc” # 從http頭搜索

body=“123” # 從body搜索

url = “*.baidu.com” # 搜索baidu.com的子域名，*號是通配符

ip = ‘1.1.1.1’ # 搜索IP，支持CIDR'192.168.1.0/24'和通配符搜索'192.168.1.*'

port = ‘80’ # 搜索端口

app = ’nginx’ # 搜索組件

country = ‘cn’ # 搜索國家

service = ‘mysql’ # 搜索服務(wù)

bug = 'xx' # 搜索存在的某個漏洞

通過搜索語法可搜索cms，服務(wù)名稱，標(biāo)題，國家地區(qū)等等，能夠迅速找到相關(guān)目標(biāo)。

自定義資產(chǎn)配置

通過自定義某公司相關(guān)域名或ip資產(chǎn)，w12scan會自動幫你找到對應(yīng)的資產(chǎn)目標(biāo)，當(dāng)你瀏覽該目標(biāo)時，有醒目的標(biāo)識提醒你該目標(biāo)的歸屬。

自動關(guān)聯(lián)

進(jìn)入目標(biāo)詳情，若目標(biāo)為ip，則會自動關(guān)聯(lián)該ip上的所有域名和該c段上的所有域名。若目標(biāo)為域名，則自動關(guān)聯(lián)旁站，c段和子域名。

多節(jié)點管理

WEB端會每隔幾分鐘檢測一次節(jié)點的運行狀況，你可以看到節(jié)點掃描的數(shù)量以及節(jié)點掃描日志。

任務(wù)restful

提供添加任務(wù)的接口，你可以在WEB端添加或者在任何軟件中集成該接口。

掃描端(Client)端

及時的poc驗證

通過對接airbug接口api，在線調(diào)用最新的poc驗證腳本，airbug保證了漏洞更新的及時性，你也可以fork airbug項目后自行添加poc規(guī)則。

驗證性攻擊

掃描端內(nèi)置有常見的漏洞驗證服務(wù)，每掃描一次網(wǎng)址，都會運行這些服務(wù)，結(jié)果最終會反饋到w12scan的WEB端展現(xiàn)。

掃描與識別

端口掃描使用masscan，端口識別使用nmap，web應(yīng)用識別調(diào)用wappalyzer和精簡版的w11scan（指紋識別）

容易的分布式

在程序架構(gòu)設(shè)計就考慮到了這一點，掃描端只接受任務(wù)，最后的結(jié)果只和WEB端進(jìn)行交互，所以在分布式上十分容易，直接在另一臺機(jī)器上運行掃描端即可。能基于docker進(jìn)行分布式，也能很方便集成celery服務(wù)。

安裝

基于docker一鍵部署

git clone https://github.com/boy-hack/w12scan
cd w12scan
docker-compose up -d

等待一段時間后訪問http://127.0.0.1:8000默認(rèn)用戶名密碼boyhack:boyhack

w12scan相關(guān)問題

根據(jù)服務(wù)器配置修改docker-compose.yml參數(shù)，設(shè)置elasticsearch內(nèi)存占用大小，默認(rèn)設(shè)置是521M，如果你是1G內(nèi)存可以設(shè)置為128M。
具體=>在W12Scan跟目下，docker-compose.yml找到ES_JAVA_OPTS=-Xms512m -Xmx512m修改為ES_JAVA_OPTS=-Xms128m -Xmx128m,但是代價是在搜索和分析時可能會報內(nèi)存不足的錯誤。所以內(nèi)存還是越高越好。

在Windows上安裝，需要注意.sh文件格式問題。

Q:如何分布式部署？A:部署方案

https://github.com/w-digital-scanner/w12scan/blob/master/doc/DEPLOYMENT1.md

Q:啟動后搜索數(shù)為0？A:需要添加掃描目標(biāo)

不要邊掃描邊搜索，elastisearch在插入數(shù)據(jù)時會作分析，分詞等等操作（此時效率不高），如果在此時搜索可能會返回503，建議掃描完畢后在進(jìn)行搜索。(后期會使用數(shù)據(jù)遷移解決)