【资料】如何进行有效的开源情报调查？
2023-5-16 22:48:29 Author: 丁爸 情报分析师的工具箱(查看原文) 阅读量:15 收藏

今天给大家推送联合国反恐办和反恐中心的开源情报培训PPT

为什么我们需要成为优秀的在线调查者?

恶意使用互联网
恶意软件
(D)DOS
网络钓鱼
激进化宣传
心理战，否认和欺骗
情报收集
网络攻击和信息作战
洗钱
......

互联网的规模

技术进步

基础设施(网络、设备)
计算能力
内容数字化
AI(涉及方方面面)
流动性
接口和传感器
网络货币
物联网
......

匿名的神话

互联网未来的挑战

  • 互联网将继续在地区、国家和意识形态上分裂，这将加大情报收集工作的难度

  • 我们不愿意接受OSINT知识来加强情报收集将会损害我们的能力

情报的“元信息”

什么是情报？

管理不确定性的业务
服务决策
一种知识、一种组织形式和一种活动形式

决策窗

OSINT的重要作用

“我们不需要间谍。我们有伦敦时报。”沙皇尼古拉二世(1818-1881年)
“对这些公开的、正常的、光明正大的手段所能获得的情报进行适当的分析，将使我们获得80%以上的信息，我应该估计，这是指导我们国家政策所需的信息。”艾伦·杜勒斯，中央情报局局长(1893-1969)

“对公共来源的信息研究比任何数量的‘可靠’但不聪明的‘特工’在钥匙孔旁听或在酒吧间交换饮料获得的信息可以推断出更多情报。

Hugh Trevor-Roper(1914-2003)

OSINT的重要作用

法律和道德考虑

•信息是你的基本工作工具
•信息受制于法律，这些法律从未非常明确
•你收集的信息越多，就越有可能违法
•技术扩大了风险以及我们犯的错误
•因此，应始终小心处理信息

法律和道德考虑

•版权
•诽谤
•隐私
•立法：地方vs.全球
•管辖权
•社会态度和价值观

避免法律问题

自我教育
质疑动机
有疑问找律师

开源情报框架

关于结构化方法的问题

要有一张地图来应对“混乱”
制作审计索引
为改善铺平道路

开源情报框架

  • 研究和监测
  • 关键词索引
  • 资源管理
  • 风险/威胁预警
  • 自动收集
  • 调查
  • 实现目标的技术、程序和分析工具
  • 建立假设/证据收集
  • 程序无法自动化

情报流程

经费

学会问问题

有效情报首先要解决以下问题：
  • 我们需要知道什么？
  • 我们为什么需要知道？
  • 谁可能有我们需要的信息？
  • 我们应该如何进行研究？
  • 我们将如何处理结果？
  • 这项努力是否成本合理？

需求规划

需要实现的是：
说明所需经费
明确目标和优先事项
分配资源
确定实现的时间表
相关利益攸关方参与

需求规划

怎么做？
结构化集思广益技术
需求框架和模板
技术援助（笔记、思维导图、研究）

安全上网

建立工作环境

全面管理所有要素

建立工作环境

  • 硬件
  • 现金购买，抹除痕迹，安装加固
  • 禁用摄像头/麦克风/话筒/位置/蓝牙
  • 网络连接
  • 付现金购买匿名SIM卡，含预付流量
  • 现金支付连接互联网的移动设备
  • 使用公共热点（但要小心）
  • 总在隐私软件层之上

建立工作环境

  • 隐藏你身份的软件工具
  • VPN
  • 虚拟机
  • TOR/各种隐私浏览器
  • 收集/自动收集证据的软件工具
  • Hunchly
  • 截屏工具
  • Maltego
  • 证据收集模板

建立工作环境

  • 网络身份
  • 如果需要，使用安全的电子邮箱和预付费SIM卡创建
  • 精心打造网络身份：简介与时区、语言设置、浏览器代理ID、VPN的一致性

证据收集流程

  • 业务程序
  • 隐私/安全模式
  • 情报流程/人员搜索模式
  • 构建信息结构模板（如个人资料）
  • 选择所需的适当技能：监测/调查
  • 完成标准和衡量进展的标准

安全上网

  • 我们包含自己免遭哪些问题？
  • 少数族裔
  • 黑客和网络罪犯
  • 互联网服务商
  • 广告商和公司
  • 雇主
  • 其他国家

调查技巧：人员搜索

人员搜索

人员搜索的机遇与挑战

  • 更容易获取
  • 现有资料增加
  • 人们与网络互动
  • 社交网络流行
  • 人们数据的商业价值
  • 面临挑战
  • 不是每个人都有数字痕迹
  • 信息分散
  • 姓名难匹配
  • 需要大量时间和付出

人员搜索流程

人员搜索流程

搜索类型和实例

类型

实例

名称ID

名称、别名、用户名、标题等

基本资料

年龄、性别、民族、国籍、口语等

联络详情

电话号码，电子邮件，Skype账号等

住宅

居住国、当前/过去住址、居民区概况等

家庭

婚姻状况、配偶/伴侣、子女、父母、兄弟姐妹、表亲等

工作

就业状况、现任/前任雇主、办公室同事等

教育

教育水平、教育机构、同学、学科等

朋友

最好的朋友，其他朋友，同事，熟人等

爱好

主要爱好，在线爱好，听音乐，读书，看电影等等

意见和看法

宗教观、政治观、喜恶等

人员搜索流程

决定如何组织/整理数据
不要违法
确定正式姓名
确定头衔和荣誉
确定目标的网络社交媒体简介
确定目标的联系方式
确定目标的用户名
确定目标的地址
确定目标的从属关系

  • 用户名

  • 通过发现工具搜索用户名

  • 验证工具可能也不完美

  • 检查变化

  • 更受欢迎的工具：

  • knowem:http://knowem.com

  • NameChk:http://www.namechk.com

  • 更多工具：https://lnkd.in/d_4K9HG

电子邮箱搜索

  • 用户名经常与邮箱关联

  • 运行谷歌查询/设置谷歌预警

  • 检查被泄露的数据（https://haeibeenpwned.come）

  • 查找私人电子邮箱地址(联想、扩展、枚举）

  • 专业邮箱查询地址（http://www.hunter.io）

  • 运用电子邮件验证器（www.email-validator.net）
  • 反向电子邮件检查（www.pipl.com）
  • 检查电子邮件提供商（www.mxtoolbox.com）
  • 检查黑名单（www.mxtoolbox.com）

电话号码

谷歌黑客人员搜索

•主搜索引擎操作
比如：“username” site:facebook.com inurl:photos; “username” inurl:profile
•检查在线空间（网站、博客、维基网站等）
比如:site:wix.com “username”
•检查问答网站（quora, stackexchange, answers等）
比如：“username” site:stackexchange.com
•检查用户组
比如：“username” site:groups.google.com
•搜索文件库（文件、文件、光盘、幻灯片等）

谷歌搜索

语法

使用

or

查找同义或相关内容（大写字母）

-

排除不想要的关键字

“————”

返回引号之间单词的确切组合

filetype:

搜索特定文件类型

related:

将帮助您识别类似于指定站点的网页

site：

仅限于特定网站或域的结果

intitle:/allintitle:

结果仅限于标题中有关键词的页面

inurl：/allinurl：

结果仅限于URL中具有关键字的网站

intext:

查询仅限于页面的文本

*

使用通配符进行拼写和短语变体

..

使用范围运算符搜索数字范围

谷歌黑客人员搜索

•寻找简历（例如：“Name” “CV” inurl:resume OR intitle:resume）

•检查约会网站（username + “site” operator）

•检查在线市场（username + site or inurl; ex: alibaba.com）

•教育历史（site: + domain or education institution）

•通过复杂的查询（例如：intitle:“TARGET NAME”  OR inurl:speakers OR inurl:author OR inurl:authors OR  inurl:instructor OR inurl:instructors OR inurl:expert OR inurl:experts）验证

有效搜索模型

图像处理

反向图像搜索

  • 反向搜索图像
•谷歌：www.google.com/images
•tineye：www.tineye.com
•RootAbout：http://rootabout.com
•Yandex：https://yandex.com/images
•百度：http://image.baidu.com
  • 分析元数据（主机站点上的exif+内容）
•Jeffrey Friedl’s Exif Viewer: http://exif.regex.info/exif.cgi
•Megapicz: http://metapicz.com/#landing

  • 取证分析

    •Fotoforensics：http://fotoforensics.com

    •图像法医：https://www.imageforensic.org

数据结构

个别数据

组织数据

网络数据

主要人员

联系详情

电子邮件地址

电子邮件惯例

电话号码

商业地点

公司地址

电话号码

安全政策

Web服务提供者

社交媒体资产

IP数据

内部域名

名称服务器

电子邮件服务器

网络技术

系统技术

数据层次

个别数据

组织数据

网络数据

主要人员

联系详情

电子邮件地址

电子邮件惯例

电话号码

商业地点

公司地址

电话号码

安全政策

Web服务提供者

社交媒体资产

IP数据

内部域名

名称服务器

电子邮件服务器

网络技术

系统技术

中央行动：http://centralops.net
•域大数据：https://domainbigdata.com
•域工具：http://research.domaintools.com
•黑客目标：https://hackertrget.com/iptools
•Kloth：www.kloth.net/services
•网络工具：www.network-tools.com
•MXToolbox：www.mxtoolbox.com
•You Get Signal：www.yougetsignal.com

调查网站/域名

1. 识别Whois数据

2. 反向IP /DNS查找
3.检查网站的IP历史记录
4. 解析主机[DNS Dumpster/Yougetsignal]
5. 调查子域[安全轨迹等]
6. 识别在特定IP上运行的其他服务
7. IP映射

调查网站
8. 检查数码证书
9. 研究网站的HTML数据(跟踪id)
10.检查robots . txt /网站地图
11.检查网站的安全性和信誉[VirusTotal等]
12.网站技术
13.使用SEM工具的反向链接[链接矿工，Semrush等]
14.访问历史版本[Archive.org]

Tor调查

Tor调查框架

设置工作环境

使用禁用的“干净”设备/传感器访问Tor网络
在虚拟机中运行Tor引擎
仔细选择您的入口网络节点
设置数据捕获解决方案

操作安全提示

在打开Tor浏览器之前，请关闭系统上运行的所有其他软件，并禁用浏览器中的任何插件

每次访问新的onion链接时，生成“新身份”或“新Tor电路”

除非必要，否则不要下载任何内容

使用虚假账户

Tor调查

注意……
Tor网络的受欢迎程度在过去几年中一直相当稳定
Tor是安全服务的高优先级目标，它们正忙于识别和利用浏览器中的漏洞
出于这个原因，在使用Tor时维护自己的安全比以往任何时候都更重要

密码调查

密码调查框架

秘密货币调查资源

比特币调查在线工具

跟踪比特币交易
在找到暗网网站或内容后，记下你能找到的任何加密货币地址和其他相关标识符
通过基于表面和暗网络的加密货币浏览器运行它们:
•www.walletexplorer.com
•www.blockchain.com/explorer
•bitcoinwho.com
•www.bitcoinabuse.com

    上述原文及机器翻译已上传知识星球

    长按识别下面的二维码可加入星球

    里面已有6000多篇资料可供下载

    越早加入越便宜

    续费五折优惠


文章来源: http://mp.weixin.qq.com/s?__biz=MzI2MTE0NTE3Mw==&mid=2651136406&idx=1&sn=c5bd032ce5f77844fe135185f6108d02&chksm=f1af56acc6d8dfbac52466d0aff06770bb39c14bd4cc3aa7d165d1df4d33d800e8fbab1a1f00#rd
如有侵权请联系:admin#unsafe.sh