文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

CPU虚拟化:虚拟机切入和退出

2024-12-03 16:01

关注

一、GCC内联汇编

KVM模块中切入Guest模式的代码使用GCC的内联汇编编写,为了理解这段代码,我们需要简要地介绍一下这段内联汇编涉及的语法,其基本语法模板如下:

  1. asm volatile ( assembler template  
  2.     : output operands                   
  3.     : input operands                    
  4.     : list of clobbered registers       
  5.     ); 

1. 关键字asm和volatile

asm为GCC关键字,表示接下来要嵌入汇编代码,如果asm与程序中其他命名冲突,可以使用__asm__。

volatile为可选关键字,表示不需要GCC对下面的汇编代码做任何优化,类似的,GCC也支持__volatile__。

2. 汇编指令(assembler template)

这部分即要嵌入的汇编指令,由于是在C语言中内联汇编代码,因此须用双引号将命令括起来。如果内嵌多行汇编指令,则每条指令占用1行,每行指令使用双引号括起来,以后缀\n\t结尾,其中\n为newline的缩写,\t为tab的缩写。由于GCC将每条指令以字符串的形式传递给汇编器AS,所以我们使用\n\t分隔符来分隔每一条指令,示例代码如下:

  1. __asm__ ("movl %eax, %ebx \n\t" 
  2.           "movl $56, %esi \n\t" 
  3.           "movl %ecx, $label(%edx,%ebx,$4) \n\t" 
  4.           "movb %ah, (%ebx) \n\t"); 

当使用扩展模式,即包含output、input和clobber list部分时,汇编指令中需要使用两个“%”来引用寄存器,比如%%rax;使用一个“%”来引用输入、输出操作数,比如%1,以便帮助GCC区分寄存器和由C语言提供的操作数。

3. 输出操作数(output operands)

内联汇编有零个或多个输出操作数,用来指示内联汇编指令修改了C代码中的变量。如果有多个输出参数,则需要对每个输出参数进行分隔。每个输出操作数的格式为:

  1. [[asmSymbolicName]] constraint (cvariablename) 

我们可以为输出操作数指定一个名字asmSymbolicName,汇编指令中可以使用这个名字引用输出操作数。

除了使用名字引用操作数外,还可以使用序号引用操作数。比如输出操作数有两个,那么可以用%0引用第1个输出操作数,%1引用第2个操作数,以此类推。

输出操作数的约束部分必须以“=”或者“+”作为前缀,“=”表示只写,“+”表示读写。在前缀之后,就可以是各种约束了,比如“=a”表示先将结果输出至rax/eax寄存器,然后再由rax/eax寄存器更新相应的输出变量。

cvariablename为代码中的C变量名字,需要使用括号括起来。

4. 输入操作数(input operands)

内联汇编可以有零个或多个输入操作数,输入操作数来自C代码中的变量或者表达式,作为汇编指令的输入,每个输入操作数的格式如下:

  1. [[asmSymbolicName]] constraint (cexpression) 

同输出操作数相同,也可以为每个输入操作数指定名字asmSymbolicName,汇编指令中可以使用这个名字引用输入操作数。

除了使用名字引用输入操作数外,还可以使用序号引用输入操作数。输入操作数的序号以最后一个输出操作数的序号加1开始,比如输出操作数有两个,输入操作数有3个,那么需要使用%2引用第1个输入操作数,%3引用第2个输入操作数,以此类推。

除了不必以“=”或者“+”前缀开头外,输入操作数的前缀与输出操作数基本相同。除了寄存器约束外,在后面的代码中我们还会看到“i”这个约束,表示这个输入操作数是个立即数(immediate integer)。

cexpression为代码中的C变量或者表达式,需要使用括号括起来。

5. clobber list

某些汇编指令执行后会有一些副作用,可能会隐性地影响某些寄存器或者内存的值,如果被影响的寄存器或者内存并没有在输入、输出操作数中列出来,那么需要将这些寄存器或者内存列入clobber list。通过这种方式,内联汇编告知GCC,需要GCC“照顾”好这些被影响的寄存器或者内存,比如必要时需要在执行内联汇编指令前保存好寄存器,而在执行内联汇编指令后恢复寄存器的值。

接下来我们来看一个具体的例子。这个例子是一个加法运算,一个加数是val,值为100,另外一个加数是一个立即数400,计算结果保存到变量sum中:

  1. int val = 100sum = 0
  2.  
  3.  
  4.  asm ("movl %1, %%rax; \n\t" 
  5.        "movl %c[addend], %%rbx; \n\t" 
  6.        "addl %%rbx, %%rax; \n\t" 
  7.        “movl %%rax, %0; \n\t” 
  8.  
  9.  
  10.        : “=”(sum) 
  11.       : (c)(val), [addend]”i”(400) 
  12.        : “rbx” 
  13.       ); 

我们先来看第3行的汇编指令。因为存在寄存器引用和通过序号引用的操作数,所以使用两个“%”引用寄存器。%1引用的是输入操作数val,其中c表示使用rcx寄存器保存val,也就是说在执行这条汇编指令前,首先将val的值赋值到rcx寄存器中,然后汇编指令再将rcx寄存器的值赋值到rax寄存器中。

第4行的汇编指令引用的addend是第2个输入操作数的符号名字,因为这是一个立即数,所以这个变量前面使用了c修饰符。这是GCC的一个语法,表示后面是个立即数。

第5条指令求rbx寄存器和rax寄存器的和,并将结果保存到rax寄存器中。

第6条指令中的%0引用的是输出操作数sum,这是C代码中的变量,因为sum是只写的输出操作数,所以使用约束“=”。所以第6行的汇编指令是将计算的结果存储到变量sum中。

从这段代码中我们看到,在汇编代码中使用了rbx寄存器,而rbx寄存器没有出现在输出、输入操作数中,所以内联汇编需要把rbx寄存器列入clobber list中,见第10行代码,告诉GCC汇编指令污染了rbx寄存器,如果有必要,则需要在执行内联汇编指令前自行保存rbx寄存器,执行内联汇编指令后再自行恢复rbx寄存器。

二、虚拟机切入和退出及相关的上下文保存

了解了内联汇编的语法后,接下来我们开始探讨虚拟机切入和退出部分的内联汇编指令:

  1. static void vmx_vcpu_run(struct kvm_vcpu *vcpu) 
  2.     struct vcpu_vmx *vmx = to_vmx(vcpu); 
  3.     … 
  4.     asm( 
  5.          
  6.         "push %%"R"dx; push %%"R"bp;" 
  7.         "push %%"R"cx \n\t" 
  8.         "cmp %%"R"sp, %c[host_rsp](%0) \n\t" 
  9.         "je 1f \n\t" 
  10.         "mov %%"R"sp, %c[host_rsp](%0) \n\t" 
  11.         __ex(ASM_VMX_VMWRITE_RSP_RDX) "\n\t" 
  12.         "1: \n\t" 
  13.          
  14.         "mov %c[cr2](%0), %%"R"ax \n\t" 
  15.         "mov %%cr2, %%"R"dx \n\t" 
  16.         "cmp %%"R"ax, %%"R"dx \n\t" 
  17.         "je 2f \n\t" 
  18.         "mov %%"R"ax, %%cr2 \n\t" 
  19.         "2: \n\t" 
  20.          
  21.         "cmpl $0, %c[launched](%0) \n\t" 
  22.          
  23.         "mov %c[rax](%0), %%"R"ax \n\t" 
  24.         "mov %c[rbx](%0), %%"R"bx \n\t" 
  25.         … 
  26.         "mov %c[rcx](%0), %%"R"cx \n\t"  
  27.  
  28.  
  29.          
  30.         "jne .Llaunched \n\t" 
  31.         __ex(ASM_VMX_VMLAUNCH) "\n\t" 
  32.         "jmp .Lkvm_vmx_return \n\t" 
  33.         ".Llaunched: " __ex(ASM_VMX_VMRESUME) "\n\t" 
  34.         ".Lkvm_vmx_return: " 
  35.          
  36.         "xchg %0,     (%%"R"sp) \n\t" 
  37.         "mov %%"R"ax, %c[rax](%0) \n\t" 
  38.         "mov %%"R"bx, %c[rbx](%0) \n\t" 
  39.         "pop"Q" %c[rcx](%0) \n\t" 
  40.         "mov %%"R"dx, %c[rdx](%0) \n\t" 
  41.         … 
  42.         "mov %%cr2, %%"R"ax   \n\t" 
  43.         "mov %%"R"ax, %c[cr2](%0) \n\t" 
  44.  
  45.  
  46.         "pop  %%"R"bp; pop  %%"R"dx \n\t" 
  47.         "setbe %c[fail](%0) \n\t" 
  48.           : : "c"(vmx), "d"((unsigned long)HOST_RSP), 
  49.         [launched]"i"(offsetof(struct vcpu_vmx, launched)), 
  50.         [fail]"i"(offsetof(struct vcpu_vmx, fail)), 
  51.         [host_rsp]"i"(offsetof(struct vcpu_vmx, host_rsp)), 
  52.         [rax]"i"(offsetof(struct vcpu_vmx,  
  53.                    vcpu.arch.regs[VCPU_REGS_RAX])), 
  54.         [rbx]"i"(offsetof(struct vcpu_vmx,  
  55.                    vcpu.arch.regs[VCPU_REGS_RBX])), 
  56.         … 
  57.         [cr2]"i"(offsetof(struct vcpu_vmx, vcpu.arch.cr2)) 
  58.           : "cc", "memory" 
  59.         , R"ax", R"bx", R"di", R"si" 
  60. #ifdef CONFIG_X86_64 
  61.         , "r8", "r9", "r10", "r11", "r12", "r13", "r14", "r15" 
  62. #endif 
  63.           ); 
  64.     … 

CPU从Host模式切换到Guest模式时,并不会自动保存部分寄存器,典型的比如通用寄存器。因此,第7行代码KVM将宿主机的通用寄存器保存到栈中。当发生VM退出时,KVM从栈中将这些保存的宿主机的通用寄存器恢复到CPU的物理寄存器中。这里,宏R在64位下值为r,32位下为e,所以通过定义这个宏,从编码层面更简洁地支持64位和32位。但是读者可能有疑问,为什么这里只保存这两个寄存器?事实上,KVM最初的实现是将所有的通用寄存器都压入栈中了。后来使用了GCC内联汇编的clobber list特性,将所有可能会被内联汇编代码影响的寄存器都写入clobber list中,GCC自己负责保存和恢复操作这些寄存器的内容。代码第57~61行就是clobber list。这里面有两个特殊的寄存器:rdx/edx和rbp/ebp,其中rdx/edx寄存器是GCC保留的regparm特性,不能放在clobber list中,另外一个rbp/ebp寄存器也不生效,所以KVM手动保存了这两个寄存器。

此外,KVM在第8行代码保存了rcx/ecx寄存器,这里的rcx/ecx寄存器有着特殊的使命。当从Guest退出到Host时,CPU不会自动保存Guest的一些寄存器,典型的如通用寄存器,KVM手动将其保存到了结构体vcpu_vmx中的子结构体中。因此,在Guest退出的那一刻,首先必须要获取结构体vcpu_vmx的实例,也就是第3行代码中的变量vmx,将CPU寄存器中的状态保存到这个vmx中,也就是说,在保存完Guest的状态后,才能进行其他操作,避免破坏Guest的状态。于是,每次从Host切入Guest前的最后一刻,KVM将vmx的地址压入栈顶,然后在Guest退出时从栈顶第一时间取出vmx。那么如何将vmx压入栈顶呢?参见第47行代码,这里使用了GCC内联汇编的input约束,即在执行汇编代码前,告诉编译器将变量vmx加载到rcx/ecx寄存器,那么在执行第8行代码,即将rcx/ecx寄存器的内容压入栈时,实际上是将变量vmx压入栈顶了。

在Guest退出时,CPU会自动将VMCS中Host的rsp/esp寄存器恢复到物理CPU的rsp/esp寄存器中,所以此时可以访问VCPU线程在Host态下的栈。在Guest退出后的第1行代码,即第36行代码,调用xchg指令将栈顶的值和序号%0指代的变量进行交换,根据第47行代码可见,%0指代变量vmx,对应的寄存器是rcx/ecx,也就是说,这行代码将切入Guest之前保存到栈顶的变量vmx的地址恢复到了rcx/ecx寄存器中,%0引用的也是这个地址,那么就可以使用%0引用这个地址保存Guest的寄存器了。

读者可能会问,Guest没有使用变量vmx,也没有破坏它,那么Host是否可以直接使用这个变量呢?事实上,从底层来看,对于存放在栈中的变量vmx,GCC通常使用栈帧基址指针rbp/ebp或寄存器引用。但是,在Guest退出的第一时间,除了专用寄存器,这些通用寄存器中保存的都是Guest的状态,所以自然也无法通过rbp/ebp加偏移的方式来引用vmx。因为退出Guest时CPU自动恢复Host的栈顶指针,所以KVM巧妙地利用了这一点,借助栈顶保存vmx。然后,通过交换栈顶的变量和rcx/ecx寄存器,实现了在rcx/ecx寄存器中引用vmx的同时,又将Guest的rcx/ecx寄存器的状态保存到了栈中。

获取到了保存Guest状态的地址,接下来保存Guest的状态,见代码第37~43行。

退出Guest后的第1行代码(即第36行)将Guest的rcx/ecx寄存器的值保存到了栈中,所以第39行代码从栈顶弹出Guest的rcx/ecx的值到保存Guest状态的内存中rcx/ecx相应的位置。

并不是每次Guest退出到切入,Host的栈都会发生变化,因此Host的rsp/esp也无须每次都更新。只有rsp/esp变化了,才需要更新VMCS中Host的rsp/esp字段,以减少不必要的写VMCS操作。所以KVM在VCPU中记录了host_rsp的值,用来比较rsp/esp是否发生了变化,见代码第9~13行。

将Host的rsp/esp写入VMCS中的指令是:

  1. ASM_VMX_VMWRITE_RSP_RDX 

写VMCS的指令有两个参数,一个指明写VMCS中哪个字段,另外一个是写入的值。rsp/esp很好理解,指明写入的值在rsp/esp寄存器里。那么rdx是什么呢?见第47行代码对寄存器rdx/edx的约束:

  1. "d"((unsigned long)HOST_RSP) 

结合宏HOST_RSP的定义:

  1.  
  2. enum vmcs_field { 
  3.     … 
  4.     HOST_RSP                        = 0x00006c14
  5.     … 
  6. }; 

可见,ASM_VMX_VMWRITE_RSP_RDX就是将rsp/esp的值写入VMCS中Host的rsp字段。

VMX没有定义CPU自动保存cr2寄存器,但是事实上,Host可能更改cr2的值,以下面这段代码为例:

  1. commit 1c696d0e1b7c10e1e8b34cb6c797329e3c33f262 
  2. KVM: VMX: Simplify saving guest rcx in vmx_vcpu_run 
  3. linux.git/arch/x86/kvm/x86.c 
  4.  
  5.  
  6. void kvm_inject_page_fault(struct kvm_vcpu *vcpu, …) 
  7.     ++vcpu->stat.pf_guest; 
  8.     vcpu->arch.cr2 = fault->address; 
  9.     kvm_queue_exception_e(vcpu, PF_VECTOR, fault->error_code); 

所以,在切入Guest前,KVM检测物理CPU的cr2寄存器与VCPU中保存的Guest的cr2寄存器是否相同,如果不同,则需要使用Guest的cr2寄存器更新物理CPU的cr2寄存器,见第14~20行代码。但是绝大数情况下,从Guest退出到下一次切入Guest,cr2寄存器的值不会发生变化,另一方面,加载cr2寄存器的开销很大,所以只有在cr2寄存器发生变化时才需要重新加载cr2寄存器。

有些Guest的退出是由页面异常引起的,比如通过MMIO方式访问外设的I/O,而页面异常的地址会记录在cr2寄存器中,因此在Guest退出时,KVM需要保存Guest的cr2,见代码第42~43行。由于指令格式的限制,mov指令不支持控制寄存器到内存地址的复制,因此需要通过rax/eax寄存器中转一下。

在切入Guest前,除了加载cr2寄存器外,还需要加载那些物理CPU不会自动加载的通用寄存器,见代码第24~27行。

考虑到xchg是个原子操作,会锁住地址总线,因此为了提高效率,后来KVM摒弃了这条指令,设计了一种新的方案。KVM在VCPU的栈中为Guest的rcx/ecx寄存器分配了一个位置。这样,当Guest退出时,在使用rcx/ecx寄存器引用变量vmx前,可以将Guest的rcx/ecx寄存器临时保存到VCPU的栈中为其预留的位置:

  1. commit 40712faeb84dacfcb3925a88231daa08b3624d34 
  2. KVM: VMX: Avoid atomic operation in vmx_vcpu_run 
  3. linux.git/arch/x86/kvm/vmx.c 
  4.  
  5.  
  6.  static void vmx_vcpu_run(struct kvm_vcpu *vcpu) 
  7.  { 
  8.      … 
  9.      asm( 
  10.           
  11.          "push %%"R"dx; push %%"R"bp;" 
  12.          "push %%"R"cx \n\t"  
  13.          "push %%"R"cx \n\t" 
  14.          … 
  15.          ".Lkvm_vmx_return: " 
  16.           
  17.          "mov %0, %c[wordsize](%%"R"sp) \n\t" 
  18.          "pop %0 \n\t" 
  19.          "mov %%"R"ax, %c[rax](%0) \n\t" 
  20.          "mov %%"R"bx, %c[rbx](%0) \n\t" 
  21.          "pop"Q" %c[rcx](%0) \n\t" 
  22.      … 
  23.          [wordsize]"i"(sizeof(ulong)) 
  24.      … 
  25.  } 

第7行代码就是KVM为Guest的rcx/ecx寄存器在栈上预留的空间,第8行代码是将变量vmx压入栈中。

在Guest退出的那一刻,CPU的rcx/ecx寄存器中存储的是Guest的状态,所以使用rcx/ecx寄存器前,需要将Guest的状态保存起来。保存的位置就是进入Guest前,KVM为其在栈上预留的位置,即栈顶的下一个位置,见第12行代码,即栈顶加上一个字(word)的偏移。

保存好Guest的值后,rcx/ecx寄存器就可以使用了,第13行代码将栈顶的值即vmx弹出到rcx/ecx寄存器中。弹出栈顶的vmx后,下面就是Guest的rcx/ecx寄存器了,所以第16行代码将Guest的rcx/ecx寄存器保存到结构体VCPU中的相关寄存器数组中。

 

来源:今日头条内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯