網路上有60%的東西是重複的
@suzukik: @lilyraynyc @rustybrick @methode He referred to the data while explaining deduplication. 2022-11-28
1. remove protocol duplicates - favor HTTPS
2. remove www/non-www
3. remove URLs with useless parameters (sessionID?)
4. remove slash/no-slash variant
5. remove other checksum dups
https://pbs.twimg.com/media/FimfF5MaYAA2t6Z.jpg
「重複」的定義
1. 重複的協定──偏好HTTPS
2. www/non-www
3. 包含無用參數的網址（sessionID?）
4. 斜線／無斜線變體
5. 其他的checksum重複
會從主要內容產生checksum來比對是否重複