《Kinect应用开发实战》读书笔记干货分享
发表于2017-11-14
对于初学来说，《《Kinect应用开发实战》这本书还不错，讲述了挺多的基础和细节。非常感谢本书作者。下面分享的是阅读过程中记录的笔记，希望对各位有用。
-------------------------------------
1. Kincet分Windows版本和XBox360版本，区别其中是window版本针对Window平台做了优化，并且支持近景模式，而XboX的不支持此模式。
2. 书中书Kinect传动马达上下覆盖角度为正负28度.而Kinect官方指导上写的是正负的27度。其实，实测的时候，可能得到的角度会超超过这个。因为角度本身就有误差的。
3. Kinect SDK 建议，避免频繁的调用Tilt功能，最低标准是每秒不超过2次。(或每20秒不超过15次)调用。我之前用的时候，一秒都调用好多次啊，汗颜啊。
4. Kinect For Xbox 360有效视野范围：0.8～3.5米，一个人推荐最佳距离为2.26米，两个玩家的距离为2.5米。
5. 深度图像默认大小为320*240，而彩色图像格式默认为640*480的。
6. Kinect 人脸识别是抽取人脸中层结构特征，识别率大约为85%。
7. 深度图像获取是激光的散斑原理。深度图像到游戏Avatar是需要一些边缘检测，噪声处理，然后玩家的深度图区域分割，剔除无用背景信息，识别和计算人体部位，映射为骨骼节点,也就是达芬奇的维特鲁威人。
8. 在Kinect硬件采集，芯片处理不是延迟的主要原因，而软件的处理。 Kinect 对于有2米左右物体而言，X和Y维度上的精度为3mm,Z维度为1cm。注意单位是毫米啊。
9. Kinect SDK一代版本，支持20个骨骼节点的三维坐标，因为头部只有一个点，因此无法识别面部朝向。当然的SDK不支持手指关节的跟踪精度。本书版本为1.5版本，网上查1.7同样不支持。1.8不清楚，估计也不行。
Kinect安装了4个麦克风阵列，可以在左50度到有50度的范围内推断说话者的声源位置。
10. Kinect SDK系统架构
11. 应用程序根据NUI 提供的API，选择不同质量，格式，带宽的图像数据。图像的数据流是一组连续静止图像帧的集合。在初始化NUI时，可设置图像分辨率、图 像类型和视频流缓冲区大小。一个应用程序最多可以申请4个缓冲区，建议为2个。
12. 深度图像的每个像素有2个字节构成，共有16位。高13位物体的距离，以毫米为单位，低3位，用户的索引编号（0～7），其中0表示没有找到用户。
13. 获取数据流模式有两种：一个是轮询模式，使用GetNextFrame。一个是事件模式，注册数据流的FrameReady事件。不能对同一数据流同时使用两种模式。
在某些时候，为保持深度图像和彩色图像尽可能同步，可采用轮询模式。
14. 关于点坐标：
a) 深度图像的坐标系，XY为深度图像的像素坐标，Z为深度值，单位为毫米
b) 骨骼坐标系统，XYZ为空间坐标，单位为米。
c) 彩色图像坐标系，XY为彩色图像的像素坐标。
15. 骨骼镜像为X轴反转。
16. Kinect 交互设计七条军规：
a) 控制手势集符合人类的自然手势
挥手来获取焦点控制；悬停控制“确定”；双手靠近或伸展来表示放大或缩小。所有姿势必须是有意识的，不能与用户休息或放松的无意识动作一致。
b) 让用户的肢体移动幅度尽量的小
让菜单在用户触手可及的范围内。
c) 操作界面的对象采用Metro（美俏）风格。
可配合“磁石效应”按钮，可自动吸附。
d) “确认操作”保持简单、一致
由于Kinect没有Press能力，只有光标的跟踪能力。
一个是悬停，选择的悬停建议时间为1.5s；
一个是滑动；
一个实手掌前推（个人觉得功夫熊猫里面的左手来向前出击来确认也是很棒的）。
e) 手势操作尽可能在同一个平面内。
降低识别的复杂度。
f) 从三维的视角去看交互设计
g) 配有简单明了的手势说明
i. 静态姿势。
ii. 动态姿势，动图来表示。
17. 骨骼数据的处理十分消耗CPU的，当应用程序暂时不需要处理骨骼数据时候，可以考虑暂停骨骼跟踪（SkeletonStream.IsEnabled=false;），暂停骨骼跟踪可使游戏画面更为流畅。
-------------------------------------
1. Kincet分Windows版本和XBox360版本，区别其中是window版本针对Window平台做了优化，并且支持近景模式，而XboX的不支持此模式。
2. 书中书Kinect传动马达上下覆盖角度为正负28度.而Kinect官方指导上写的是正负的27度。其实，实测的时候，可能得到的角度会超超过这个。因为角度本身就有误差的。
3. Kinect SDK 建议，避免频繁的调用Tilt功能，最低标准是每秒不超过2次。(或每20秒不超过15次)调用。我之前用的时候，一秒都调用好多次啊，汗颜啊。
4. Kinect For Xbox 360有效视野范围：0.8～3.5米，一个人推荐最佳距离为2.26米，两个玩家的距离为2.5米。
5. 深度图像默认大小为320*240，而彩色图像格式默认为640*480的。
6. Kinect 人脸识别是抽取人脸中层结构特征，识别率大约为85%。
7. 深度图像获取是激光的散斑原理。深度图像到游戏Avatar是需要一些边缘检测，噪声处理，然后玩家的深度图区域分割，剔除无用背景信息，识别和计算人体部位，映射为骨骼节点,也就是达芬奇的维特鲁威人。
8. 在Kinect硬件采集，芯片处理不是延迟的主要原因，而软件的处理。 Kinect 对于有2米左右物体而言，X和Y维度上的精度为3mm,Z维度为1cm。注意单位是毫米啊。
9. Kinect SDK一代版本，支持20个骨骼节点的三维坐标，因为头部只有一个点，因此无法识别面部朝向。当然的SDK不支持手指关节的跟踪精度。本书版本为1.5版本，网上查1.7同样不支持。1.8不清楚，估计也不行。
Kinect安装了4个麦克风阵列，可以在左50度到有50度的范围内推断说话者的声源位置。
10. Kinect SDK系统架构
11. 应用程序根据NUI 提供的API，选择不同质量，格式，带宽的图像数据。图像的数据流是一组连续静止图像帧的集合。在初始化NUI时，可设置图像分辨率、图 像类型和视频流缓冲区大小。一个应用程序最多可以申请4个缓冲区，建议为2个。
12. 深度图像的每个像素有2个字节构成，共有16位。高13位物体的距离，以毫米为单位，低3位，用户的索引编号（0～7），其中0表示没有找到用户。
13. 获取数据流模式有两种：一个是轮询模式，使用GetNextFrame。一个是事件模式，注册数据流的FrameReady事件。不能对同一数据流同时使用两种模式。
在某些时候，为保持深度图像和彩色图像尽可能同步，可采用轮询模式。
14. 关于点坐标：
a) 深度图像的坐标系，XY为深度图像的像素坐标，Z为深度值，单位为毫米
b) 骨骼坐标系统，XYZ为空间坐标，单位为米。
c) 彩色图像坐标系，XY为彩色图像的像素坐标。
15. 骨骼镜像为X轴反转。
16. Kinect 交互设计七条军规：
a) 控制手势集符合人类的自然手势
挥手来获取焦点控制；悬停控制“确定”；双手靠近或伸展来表示放大或缩小。所有姿势必须是有意识的，不能与用户休息或放松的无意识动作一致。
b) 让用户的肢体移动幅度尽量的小
让菜单在用户触手可及的范围内。
c) 操作界面的对象采用Metro（美俏）风格。
可配合“磁石效应”按钮，可自动吸附。
d) “确认操作”保持简单、一致
由于Kinect没有Press能力，只有光标的跟踪能力。
一个是悬停，选择的悬停建议时间为1.5s；
一个是滑动；
一个实手掌前推（个人觉得功夫熊猫里面的左手来向前出击来确认也是很棒的）。
e) 手势操作尽可能在同一个平面内。
降低识别的复杂度。
f) 从三维的视角去看交互设计
g) 配有简单明了的手势说明
i. 静态姿势。
ii. 动态姿势，动图来表示。
17. 骨骼数据的处理十分消耗CPU的，当应用程序暂时不需要处理骨骼数据时候，可以考虑暂停骨骼跟踪（SkeletonStream.IsEnabled=false;），暂停骨骼跟踪可使游戏画面更为流畅。
当然，需要注意，暂停会有副作用，首先，重新会导致延迟几毫秒；其次，会使传感器重新初始化，而此时时间戳和帧编号就会重置为零。若用到时间戳和帧号处理逻辑说话，需要注意。
18. 在处理Kinect数据流的过程中，处理复杂的图形应用采用“轮询模型”，而不是基于事件机制来获取数据。轮询模型可以很好的调节应用的频率。
19. 手势识别大致分为几种：
a) 算法匹配：根据关节位置，结合三角几何快速匹配。
b) 模板匹配：根据预设模板进行数据匹配，测量相似度。
c) 神经网络和支持向量机：神经网络，具有自学习能力，具有分布性，有效的抗噪声和处理不完整的模式，以及具有模式推广能力；支持向量机，是基于统计学理论发展，与神经网络有更好的推测能力。
d) 统计分析和机器学习：基于概率分布，一般都是贝叶斯相似理论。此技术不能对原始数据直接进行识别，需要对大量数据提前特征向量。
20. 暂停手势，由微软提供用户的引导手势之一。通用的暂停为计算左臂与身体的夹角，根据阈值就可以判断。
21. 使用Kienct 来跟踪手掌和手指
22. 最后的推荐：
a) OpencNI，PrimeSense
b) Openkinect ---开源的力量
c) OpenCV
d) KinectJS ---JavaScript
18. 在处理Kinect数据流的过程中，处理复杂的图形应用采用“轮询模型”，而不是基于事件机制来获取数据。轮询模型可以很好的调节应用的频率。
19. 手势识别大致分为几种：
a) 算法匹配：根据关节位置，结合三角几何快速匹配。
b) 模板匹配：根据预设模板进行数据匹配，测量相似度。
c) 神经网络和支持向量机：神经网络，具有自学习能力，具有分布性，有效的抗噪声和处理不完整的模式，以及具有模式推广能力；支持向量机，是基于统计学理论发展，与神经网络有更好的推测能力。
d) 统计分析和机器学习：基于概率分布，一般都是贝叶斯相似理论。此技术不能对原始数据直接进行识别，需要对大量数据提前特征向量。
20. 暂停手势，由微软提供用户的引导手势之一。通用的暂停为计算左臂与身体的夹角，根据阈值就可以判断。
21. 使用Kienct 来跟踪手掌和手指
a) 多点触摸，网址：http://candescentnui.codeplex.com/开发语言为C#，基于OPenNI和Kinect SDK。
b) GesturePak: Github地址：https://github.com/carlfranklin/GesturePak2V1
22. 最后的推荐：
a) OpencNI，PrimeSense
b) Openkinect ---开源的力量
c) OpenCV
d) KinectJS ---JavaScript