前言
如何提高程序运行速度,减轻服务器压力是服务端开发必须面对的一个问题。
简单且朴素的原则:不要在for循环中操作DB,包括关系型数据库和NoSql。
我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装。
上一篇文章 性能优化反思:不要在for循环中操作DB ,被推荐到首页也收到了大家的互动评论,再接再厉,进阶一版。
说明:继续上一篇文档的demo整理,不赘述重复代码了,建议大家先读上一篇内容。
场景说明
- 我们允许用户选择职业,系统预制了一批职业标签;又开放了自定义职业标签的功能,不限制自定义标签的次数。允许用户编辑资料时选择2个职业标签。
- 发现用户自定义的职业真的五花八门,随着业务增长,数量级越来越大;比如目前职业标签是2千个,以后可能有2万个,甚至20万个。
- 这种情况下,我们上一篇提到的在for循环之前批量查询全量数据,在for循环中用自定义函数匹配,避免在for循环中操作DB的方式命中率太低了,造成了极大的浪费。
- 比如:每个列表返回30个用户信息,每个用户选择了2个职业标签,最大标签数量是60;而我全量查到的职业标签数量是2千,命中率只有3%;如果职业标签达到2万个,命中率就只有0.3%了。
解题思路
首先,在for循环中不操作DB,这个大原则不变
上述问题的核心是命中率太低,就是全量查了很多用不到的数据
解决思路就是只批量查询命中的标签数据:
- 取到30个用户在user表中保存的职业id
- 30个用户的id去重后重组
- 在职业表通过whereIn查询匹配的职业标签
- 其他逻辑不变,替换的只是数据源:之前的数据源是全量数据,优化后的数据源是精准命中的数据。
思路清晰之后,开始coding
核心代码示例
为了行文紧凑,代码段中省略了和文章无关的代码,用竖着的三个.省略。
核心代码:抽取 renderUserInfo
,统一输出用户信息,这个函数在for循环中调用,获得数据源在for循环之前。
<?php
namespace App\Render;
.
.
.
class CommonRender extends BaseRender
{
public static function renderUserinfo($data, $hobbyInfo = [],$professionInfo = [])
{
$hobbyInfo = !empty($hobbyInfo) ? $hobbyInfo : HobbyInfo::getAllInfo();
//特殊处理,因为职业用户可以自定义 数字一直增长 不全量查数据;$professionInfo为空时不是批量查询,只查单条记录
$professionInfo = !empty($professionInfo) ? $professionInfo : (isset($data['profession']) ? ProfessionInfo::getByIds($data['profession']) : []);
if (!is_array($data)) {
return [];
}
$ret = [
.
.
.
//优化之前
// 'hobby' => !isset($data['hobby']) ? [] : HobbyInfo::getByIds($data['hobby']),
// 'profession' => !isset($data['profession']) ? [] : ProfessionInfo::getByIds($data['profession']),
//优化之后
'hobby' => !isset($data['hobby']) ? [] : self::_renderHobby($data['hobby'], $hobbyInfo),
'profession' => !isset($data['profession']) ? [] : self::_renderProfession($data['profession'], $professionInfo),
.
.
.
return $ret;
}
}
isset()
判断,避免传入的数据不存在,提示数组越界。
我还整理了一篇 如何避免数组下标越界 ,有兴趣可以阅读一下。
protected static function _renderProfession($userProfession, $professionInfo)
{
$ret = [];
if ($userProfession) {
$userProfessionIds = explode(',', $userProfession);
foreach ($userProfessionIds as $key => $userProfessionId) {
if (isset($professionInfo[$userProfessionId])) {
$ret[$key] = $professionInfo[$userProfessionId];
}
}
}
return $ret;
}
调用 commonRender() 的代码,即展示数据源是怎么来的。
public static function getBatchUserIntro($userid, $userList)
{
$retData = [];
if (empty($userList)) {
return $retData;
}
.
.
.
$hobbyInfo = HobbyInfo::getAllInfo();
//按需批量查职业,不全量查询职业
$professionIds = array_column($batchUserInfo, 'profession');
$professionIds = implode(',', $professionIds);
$professionIds = array_unique(explode(',', $professionIds));
$professionInfo = ProfessionInfo::batchGetByIds($professionIds);
foreach ($batchUserInfo as $item) {
$retData[$item['userid']] = CommonRender::renderUserinfo($item, $hobbyInfo, $professionInfo, $expectInfo);
}
return $retData;
}
封装的工具方法,通过id数组批量获得数据,做了特殊判断,兼容值为空的情况。
public static function batchGetByIds($ids = [])
{
//兼容职业为空的情况
foreach ($ids as $key => $id) {
if (empty($id)) {
unset($ids[$key]);
}
}
if (empty($ids)) {
return [];
}
return self::query()->selectRaw('id,name,pid')
->whereIn('id', $ids)
->get()
->keyBy('id')
->toArray();
}
核心代码就是上述4部分
性能对比
以此举例:每次列表返回30个用户信息,每个用户选择了2个职业标签,最大标签数量是60;
优化之前:全量查到的职业标签数量为2千,命中率只有3%;如果职业标签达到2万个,命中率就只有0.3%了。
优化之后:全量查到的职业标签数量为2千,命中率为100%;如果职业标签达到2万个,命中率仍然为100%。
反思总结
程序设计一定要结合业务场景,没有绝对正确的程序设计;
随着业务增长原本稳健的程序设计也可能遇到问题,技术人必须能和业务一起成长。
更多关于php性能优化for循环DB操作的资料请关注编程网其它相关文章!