吕元江,2019年1月加入去哪儿网,现负责app的分析和设备指纹反爬事项,对app脱壳,java/nativec层加解密算法分析还原有丰富经验。
1. 背景
在分析 app 协议时经常碰到由于证书校验而导致无法正常抓取 https 协议的情况,本文主要介绍证书校验检测的时机和原理,以及如何绕过检测和绕过的原理。安全防范方面,开发者又该如何应对以及如何检测,同破解方进行对抗。
1.1 在安卓上实现 https 方式的方法有哪些
A)Apache 的 HttpClient 类
B)HttpsURLConnection 类
C)后续将以第三方库 OkHttp 为例(或其他第三方库 Xutils,HttpClientAndroidLib)
1.2 各自的证书校验方式?
1.根据 app 内置证书 KeyStore 生成 TrustManager 验证
2.自定义 SSLSocketFactory(org.apache.http.conn.ssl.SSLSocketFactory)实现 TrustManager 验证策略(httpClient)
3.自定义SSLSocketFactory(javax.net.ssl.SSLSocketFactory)实现TrustManager 验证策略(HttpsURLConnection,OkHttp3)
4.自定义的 HostnameVerifier 和 X509TrustManager 实现验证
5.第三方库中的验证,如 OkHttp3 中的 CertificatePinner(证书锁定)
6.WebView 加载 Https 页面时证书校验出错,停止加载
下图为目前比较常见的实现 https 类的各自证书验证的方式:
下图为 JSSE 的参考手册提供的与描述证书验证相关的一些类之间的关系示意图。(docs.oracle.com/javase/6/do… )
从图中可以看到如果要进行 SSL 会话,必须先建立一个 SSLSocket 对象,而 SSLSocket 对象是通过 SSLSocketFactory 来管理的,SSLSocketFactory 对象则依赖于 SSLContext ,SSLContext 对象的初始化需要 keyManager、TrustManager 和 SecureRandom。
从图中可以看到如果要进行 SSL 会话,必须先建立一个 SSLSocket 对象,而 SSLSocket 对象是通过 SSLSocketFactory 来管理的,SSLSocketFactory 对象则依赖于 SSLContext ,SSLContext 对象的初始化需要 keyManager、TrustManager 和 SecureRandom。TrustManager 对象是我们后文比较关心的,因为正是 TrustManager 负责证书的校验,对网站进行认证,要想确保数据不被中间人抓包分析,就需要实现这个类进行验证,以保障数据的安全性。
在整个过程中 TrustManager 类专门负责校验证书,可以改写 TrustManager 类,实现对证书对校验或让它不要对证书做校验。
以 HttpsURLConnection 自定义实现 X509TrustManager 为例,其中有三个验证方法,下列代码未实现。
public class MyX509TrustManager implements X509TrustManager{ @Override public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {// 验证客户端 未实现 } @Overridepublic void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {// 验证服务端 未实现 } @Override public X509Certificate[] getAcceptedIssuers() { //返回空的X509Certificate 数组 ,不做任何检测return new X509Certificate[] {}; }}
利用自定义的 TrustManager 来初始化 SSLContext,最后调用 HttpsURLConnection 中的 setDefaultSSLSocketFactory 在进行链接目标 url 时来进行证书验证。
//获取自己实现的X509TrustManager 对象TrustManager[] managers = {new MyX509TrustManager()}; //获取SSLContext 实例SSLContext sc = SSLContext.getInstance("TLS"); //初始化 SSLContext,第二个参数是我们自己实现的trustManagersc.init(null,managers , new SecureRandom()); javax.net.ssl.SSLSocketFactory sslSocketFactory = sc.getSocketFactory(); //setDefaultSSLSocketFactory 为HttpsURLConnection中用于证书验证的函数需要传入SSLSocketFactory对象 HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory()); //setDefaultHostnameVerifier 为HttpsURLConnection中用于证书验证的函数需要传入自己实现的HostnameVerifier对象HttpsURLConnection.setDefaultHostnameVerifier(new MyHostnameVerifier()); HttpsURLConnection conn = (HttpsURLConnection) new URL("https://www.baidu.com").openConnection();
2. 安卓上的证书绕过(JustTrustMe&SSLkiller 的原理)
在抓包分析中,针对存在证书验证的 app 通常不会抓到任何数据,对于逆向人员来讲,这是一道坎儿,然而 xopsed 上有两款工具,可以绕过证书验证,达到顺利抓取数据,针对特定接口进行分析的目的。\
通过前面我们了解到,证书验证中到关键是 TrustManager,而绕过证书验证就需要从它入手。xpsoed 上证书校验的绕过插件就是这么干的。
目前比较流行的两款基于 xposed 的绕过证书验证的模块有两款 JustTrustMe 和 SSLkiller,针对 HttpClient,HttpsURLConnection,OkHttp 框架各自的证书校验函数,
这两款工具通过 hook 这些关键函数,或替换 TrustManager(信任所有证书)或令其验证函数直接失效(函数替换,不做任何校验),以达到绕过的目的。
需要注意的是:在自定义实现 SSLSocketFactory 时 HttpClient 实现的是 org.apache.http.conn.ssl.SSLSocketFactory 包中的 SSLSocketFactory,而 HttpsURLConnection 则是javax.net.ssl.SSLSocketFactory 包中的 SSLSocketFactory。
两大绕过插件通过 hook 绕过证书验证有关的关键函数如下图:
3. 安全防护-针对证书绕过 app 开发者如何应对?
检测篇: 为了保护自己的 app 的协议不被轻易逆向破解,就需要针对这两款工具进行检测,在检测到后怎么处理,就看你心情啦!!!
检测 xposed 框架,证书验证绕过模块(查看 proc/pid/maps 中加载的 dex 中是否包括了关键包名 just.trust.me 和com.lyf.jason.sslkiller):
以检测 JustTurstMe 为例(SSLKiller 同理)
1、获取已安装 app 列表,查找是否包含目标包名
2、读取/proc/pid/maps (可在 native 实现,增加逆向难度),判断自身 app 内是否加载了目标 dex
4. 协议被抓包的危害
近年来有不少的商家在做活动初始的时候,注册接口(某些注册接口甚至不需要手机号,只需要提供邮箱即可,注册成本极低)被破解,导致被恶意注册,用于奖励新用户的红包或者优惠券之类的奖励,被这些虚假用户瓜分殆尽。虽然大多数的注册新用户接口还都是依赖于手机号,但是一旦注册协议被破解目前有很多的非法平台都会提供接码服务,在破解完注册协议后注册一个新用户的成本可能就是几分钱,如之前的某滴虚假注册,就有几十万的虚假用户存在。
5. 安全防护的其他思路延伸
5·1 绕过工具漏洞的利用
利用这两款未 hook 到的检测方法来对证书进行校验。通过分析两款证书验证绕过插件我们发现,这两款对于开发者在使用 OkHttp 框架自定义 HostnameVerify 以及 sslSocketFactory 函数 实现证书验证的方式并没有作 hook 绕过处理。
所以在使用 OkHttp 第三方库时,可以通过使用自定义的 HostnameVerify 或自定义 SSLSocketFactory 和 X509TrustManager 后调用 sslSocketFactory 函数进行设置,来避免被抓包。检测代码如下:
OkHttpClient.Builder builder = new OkHttpClient.Builder(); //自定义SSLSocketFactory 和X509TrustManager builder.sslSocketFactory(new TrustAllSSLSocketFactory(),new MyX509TrustManager()); builder.hostnameVerifier(new MyHostnameVerifier());
5.2 小众网络请求框架的使用
从开发者的角度,可以在某个关键协议或者全部协议,可以使用小众的网络请求框架(这两款工具未 hook 的)
5.3 升级常规网络请求到最新版本
另外开发者可以通过分析最新版本的 okhttp3 或者其他框架的证书校验方式源码,通过打时间差的方式,绕过这两款工具的检测。
5.4 配合加密使用
防止抓包的措施做足了还并非是安全的,可以配合自定义的加解密算法对关键业务参数进行加密,并不定时更新算法。防止被有心人从协议层突破。
来源地址:https://blog.csdn.net/AzulSystems/article/details/129332816