本章主要讲述两种图形学技术，支持在不增加objects的poly primitive的情况下，在场景中增加更多的细节。第一种是normal mapping，通过创建一些“fake” geometry（虚设的多边形图元）模拟光照作用。第二种是displacement mapping，根据纹理数据moving vertices actually（与“fake”相对应，这里指真实的移动）来创建凹凸不平的表面。

前面几章，已经讨论了specualr maps，environment maps以及transparency maps，这些texture maps都提供了附加的数据信息。Specular maps中的数据用于限制specular highlight，environment maps则包含了用于reflective surfaces的colors，transparency maps用于控制output-merge阶段的alpha blending。这些额外的信息由每一个pixel提供，比仅由每一个vertex提供，具有更高的精度。同样 ，一个normal map也是对每一个pixel都提供表面的法向量数量，该额外的数据可以应用于多种技术上。
Normal maps的其中一个应用是虚构一个凹凸表面的细节，比如石墙。可以使用足够的geometry来模拟这中凹凸不平的墙面，使用的vertices越多，得到的细节也越多。这样就可以在场景中更好的处理光照，远离光源的石块就会显示为较暗的区域。但是，增加geometry会导致计算成本也增大。相反，对于一个含有少量poly geometry的object（即使是一个flat plane），使用normal map方法，也可以模拟与大量增加geometry情况下同样的光照效果。这种应用就称为normal mapping。

图9.1中显示了用于一面石墙的color map（左图）和normal map（右图）。相对于color map，normal map看起来有点奇怪。虽然可以把norml map显示出来，但是normal map中存储的是3D directions vectors（3维的方向向量）。对normal map进行采样时，从RGB通道中得到的结果表示方向向量的x，y，z分量。这些法向量可用于一些效果的计算，比如diffuse lighting。

图9.1 A color map (left) and normal map (right) for a stone wall. (Textures by Nick
Zuccarello, Florida Interactive Entertainment Academy.)
RGB texture的每一个channels都存储一个unsigned 8-bit值（unsigned char），该类型的数值范围为[0, 255]。但是一个规范化的方向向量，对应的xyz各个分量值范围是[-1, 1]。因此，法线向量存储到texture之前必须先转换到范围[0, 255]，对texture进行采样的时候必须再转换到范围[-1, 1]。可以使用如下的公式，把浮点型向量从范围[-1, 1]转换到范围[0, 255]:

再使用下面的方程式变换回来：

实际工作中，一般会使用图像处理软件（比如Adobe Photoshop）把一个normal map编码成RGB texture格式。但是采样texture时需要在shader中手动计算，把数据从范围[0, 255]转换回[-1, 1]。在采样过程中已经执行了浮点除法（除以255）操作，所以得到的采样结果在范围[0, 1]之间。因此，只需要使用下面的方程函数把范围[0, 1]转换到范围[1, 1]:

f(x) = 2x ? 1

或者，也可以使用16位或32位浮点型数值作为normal maps的texture格式，这样可以产生更好的细节效果，但会牺牲一些性能。

一般使用每一个vertex的法线来计算diffuse，同样也可以使用每一个pixel的法线。但是法线必须与light处于同一个坐标空间。对于per-vertex法线，由object space提供。但是normal maps的法线值处于tangent space。
Tangent space（或者texture space）是一个相对于纹理的坐标系，由三个相互正交的向量确定：surface normal向量，tangent向量以及binormal向量。图9.2描述了这三个向量。

图9.2 An illustration of tangent space. (Texture by Nick Zuccarello, Florida Interactive Entertainment Academy.)

其中normal向量，N，是一个vertex的表面法向量。Tangent向量，T，与表面的法线垂直，与指向texture的u轴方向。Binormal向量，B，则指向texture的v轴方向。
可以使用这三个向量创建一个TBN（tangent, binormal, normal）变换矩阵，如下所示：

可以使用这个矩阵把向量由tangent space变换到object space中。但是，由于light vector通常是在world space中，因此需要把从normal map中采样得到的noraml从tangent space变换到world space。或者换一种方式，直接使用已经处于world space中的向量创建TBN矩阵。

注意
可以把normals直接编码到world space中，就可以省去从tangent space到world space的变换。但是，使用这些normals的objects只能保持静止不动（不能执行变换）。另外，这些normals也不能简单地在多个ojbects之间重用（因为这些normals不能再进行变换）。

TBN矩阵有一个非常值得关注的特性，该矩阵由三个orthonormal向量（相互正交的单位向量）构成，并形成了一个正交基（定义了一个坐标系）。也就说该矩阵是一个正交矩阵，而正交矩阵的逆等于其转置。因此，把一个向量从object或者world space变换回tangent space（inverse mapping反向映射），只需要把该向量与TBN矩阵的转置相乘即可。另外，根据TBN矩阵的orthonormal性质，如果已经知道了任意两个向量，就可以推导出第三个向量。通常情况下，normal和tangent向量与geometry一起存储，而binormal向量（在vertex shader中）由这两个向量进行cross product计算得出。执行这种计算是对GPU运算和数据传输（在CPU和GPU之间）高成本之间的一种折衷的方法。

根据上面所讨论的方法，列表9.1列出了一种normal mapping effect的代码。
列表9.1 NormalMapping.fx

#include "include\\Common.fxh"

cbuffer CBufferPerFrame
{
    float4 AmbientColor : AMBIENT <
        string UIName =  "Ambient Light";
        string UIWidget = "Color";
    > = {1.0f, 1.0f, 1.0f, 1.0f};
    
    float4 LightColor : COLOR <
        string Object = "LightColor0";
        string UIName =  "Light Color";
        string UIWidget = "Color";
    > = {1.0f, 1.0f, 1.0f, 1.0f};

    float3 LightDirection : DIRECTION <
        string Object = "DirectionalLight0";
        string UIName =  "Light Direction";
        string Space = "World";
    > = {0.0f, 0.0f, -1.0f};

    float3 CameraPosition : CAMERAPOSITION < string UIWidget="None"; >;
}

cbuffer CBufferPerObject
{
    float4x4 WorldViewProjection : WORLDVIEWPROJECTION < string UIWidget="None"; >;
    float4x4 World : WORLD < string UIWidget="None"; >;
    
    float4 SpecularColor : SPECULAR <
        string UIName =  "Specular Color";
        string UIWidget = "Color";
    > = {1.0f, 1.0f, 1.0f, 1.0f};

    float SpecularPower : SPECULARPOWER <
        string UIName =  "Specular Power";
        string UIWidget = "slider";
        float UIMin = 1.0;
        float UIMax = 255.0;
        float UIStep = 1.0;
    > = {25.0f};	
}

Texture2D ColorTexture <
    string ResourceName = "default_color.dds";
    string UIName =  "Color Texture";
    string ResourceType = "2D";
>;

Texture2D NormalMap <
    string ResourceName = "default_bump_normal.dds";
    string UIName =  "Normap Map";
    string ResourceType = "2D";
>;

SamplerState TrilinearSampler
{
    Filter = MIN_MAG_MIP_LINEAR;
    AddressU = WRAP;
    AddressV = WRAP;
};

RasterizerState DisableCulling
{
    CullMode = NONE;
};

/************* Data Structures *************/

struct VS_INPUT
{
    float4 ObjectPosition : POSITION;
    float2 TextureCoordinate : TEXCOORD;
    float3 Normal : NORMAL;
    float3 Tangent : TANGENT;
};

struct VS_OUTPUT
{
    float4 Position : SV_Position;	
    float3 Normal : NORMAL;
    float3 Tangent : TANGENT;
    float3 Binormal : BINORMAL;
    float2 TextureCoordinate : TEXCOORD0;
    float3 LightDirection : TEXCOORD1;
    float3 ViewDirection : TEXCOORD2;
};

/************* Vertex Shader *************/

VS_OUTPUT vertex_shader(VS_INPUT IN)
{
    VS_OUTPUT OUT = (VS_OUTPUT)0;
    
    OUT.Position = mul(IN.ObjectPosition, WorldViewProjection);    
    OUT.Normal = normalize(mul(float4(IN.Normal, 0), World).xyz);
    OUT.Tangent = normalize(mul(float4(IN.Tangent, 0), World).xyz);
    OUT.Binormal = cross(OUT.Normal, OUT.Tangent);
    OUT.TextureCoordinate = get_corrected_texture_coordinate(IN.TextureCoordinate);
    OUT.LightDirection = normalize(-LightDirection);
    
    float3 worldPosition = mul(IN.ObjectPosition, World).xyz;
    float3 viewDirection = CameraPosition - worldPosition;
    OUT.ViewDirection = normalize(viewDirection);
        
    return OUT;
}

/************* Pixel Shader *************/

float4 pixel_shader(VS_OUTPUT IN) : SV_Target
{
    float4 OUT = (float4)0;
    
    float3 sampledNormal = (2 * NormalMap.Sample(TrilinearSampler, IN.TextureCoordinate).xyz) - 1.0; // Map normal from [0..1] to [-1..1]
    float3x3 tbn = float3x3(IN.Tangent, IN.Binormal, IN.Normal);    

    sampledNormal = mul(sampledNormal, tbn); // Transform normal to world space
    
    float3 viewDirection = normalize(IN.ViewDirection);
    float4 color = ColorTexture.Sample(TrilinearSampler, IN.TextureCoordinate);
    float3 ambient = get_vector_color_contribution(AmbientColor, color.rgb);
    
    LIGHT_CONTRIBUTION_DATA lightContributionData;
    lightContributionData.Color = color;
    lightContributionData.Normal = sampledNormal;
    lightContributionData.ViewDirection = viewDirection;
    lightContributionData.LightDirection = float4(IN.LightDirection, 1);
    lightContributionData.SpecularColor = SpecularColor;
    lightContributionData.SpecularPower = SpecularPower;
    lightContributionData.LightColor = LightColor;
    float3 light_contribution = get_light_contribution(lightContributionData);
    
    OUT.rgb = ambient + light_contribution;
    OUT.a = 1.0f;
    
    return OUT;
}

/************* Techniques *************/

technique10 main10
{
    pass p0
    {
        SetVertexShader(CompileShader(vs_4_0, vertex_shader()));
        SetGeometryShader(NULL);
        SetPixelShader(CompileShader(ps_4_0, pixel_shader()));
            
        SetRasterizerState(DisableCulling);
    }
}

Normal Mapping Preamble

在该effect中，首先使用了一个ambient light，specular highlight以及一个directional light。新增了一个用于表示normal map的Texture2D对象，VS_INPUT结构体包含一个surface normal和一个tangent vector（处于object space中）。VS_OUPUT中新增了表示tangent和binormal的成员，在传递给下一个管线阶段之间，需要变换到world space中。

在vertex shader中，先把normal和tangent向量变换到world space中，然后计算这两个向量的cross product得到binormal向量。在pixel shader，先对normal map进行采样，再把采样得到的normal向量由范围[0, 1]转换到范围[-1, 1]。然后创建TBN矩阵，并用该矩阵把采样的normal向量变换到world space中。当normal变换到world space中之后，接下来的光照计算与之前的完全一样。

注意
如果你发现vertex shader是一个性能瓶颈，可以在输入参数中直接提供bionormal（与surface normal和tangent一起）。这是为了平衡vertex shader性能和图形总线中数据传输成本的一种折衷方法。更普遍的情况是，图形管线成为了瓶颈。

图9.3显示了在一个带有stone wall纹理的plane上，使用normal mapping effect的输出结果。左图中使用了图9.1中的normal map。而右图中，使用了一个normal map但是没有任何效果。两幅图中，ambient light都是禁用的，direcitonal light是纯白色，full-intensity（强度值为1.0），specular highlight的power值为100，intensity值为0.35。

图9.3 NormalMapping.fx applied to a plane with a stone wall texture using a normal
map (left) and without a normal map (right). (Textures by Nick Zuccarello, Florida Interactive
Entertainment Academy.)