一、论文信息

论文题目：孪生支持向量机关键问题的研究

内容摘要：孪 生支持向量机(Twin Support Vector Machines, TWSVM)是在支持向量机(Support Vector Machines, SVM)的基础上提出的一种新的机器学习方法。对于分类问题，TWSVM要寻找的是一对非平行的分类超平面；对于回归问题，TWSVM要在训练数据点两侧 产生一对不平行的函数，分别确定回归函数的 不敏感上、下界。TWSVM在形式上类似于SVM，但其计算效率是SVM的4倍。鉴于TWSVM优秀的学习性能，目前已成为机器学习领域的研究热点。然 而，由于TWSVM是机器学习领域中相对较新的理论，它在很多方面尚不成熟、不完善，需要进一步地研究和改进。其中，关于它的学习算法的研究是该理论的重 点和难点之一。本文主要从提升泛化性能、提高学习速度以及增强学习过程的健壮性等几个方面对TWSVM进行研究。具体的研究内容如下：

1. 对光滑孪生支持向量机的新方法进行研究。针对目前光滑孪生支持向量分类机中采用的Sigmoid光滑函数逼近精度低的问题，采用具有更强逼近能力的 Chen-Harker-Kanzow-Smale (CHKS) 函数作为光滑函数，提出了光滑CHKS孪生支持向量分类机模型。其次，针对光滑孪生支持向量分类机没有考虑到样本位置对算法性能影响的问题，本文设计了一 种隶属度函数，根据样本位置的不同赋予其不同的权重，提出了加权光滑CHKS孪生支持向量分类机模型，并从理论上证明其收敛性。最后，将所提算法推广到回 归问题中，并采用离散粒子群优化 (Particle Swarm Optimization, PSO) 算法作为同时优化算法参数和特征选择的方法，提出了基于离散PSO模型选择的光滑CHKS孪生支持向量回归机，从理论上证明其任意阶光滑性和收敛性。

2. 对孪生支持向量机模型的无约束不可微近似求解方法进行研究。根据优化理论中的Karush-Kuhn-Tucker (KKT)互补条件，建立了孪生支持向量分类机的无约束不可微优化模型，并采用可以直接求解不可微优化问题的自适应调节最大熵函数法作为所提模型的求解方 法。该方法在参数值较小的情况下就可逼近问题的最优解，克服了传统最大熵函数法需取很大的参数值才能逼近最优解，并且有可能导致数值溢出的问题。最后，将 此算法推广到回归问题，提出了基于自适应调节最大熵函数法的孪生支持向量回归机模型。

3. 对最小二乘孪生支持向量回归机及其特征选择算法进行研究。为了提高孪生支持向量回归机(Twin Support Vector Regression, TSVR)的计算效率，引入最小二乘思想，将TSVR二次规划问题的不等式约束条件修正为等式约束条件，并将其代入目标函数，从而将TSVR的二次规划问 题转化成为两个线性方程组问题，提出了最小二乘孪生支持向量回归机学习算法(Least Square TSVR, LSTSVR)。理论分析表明线性情况下的LSTSVR的计算复杂度仅与样本的维数有关，因此，LSTSVR的提出为大样本问题提供了一种有效的求解方 法。在此基础上，为了提高LSTSVR求解高维问题的效率，本文提出了一种LSTSVR特征选择算法。首先，用1范数度量代替LSTSVR的2范数度量， 可将LSTSVR中的两个线性方程组问题转化为两个线性规划问题。其次，通过具有快速收敛能力的牛顿法求解线性规划对偶问题中的外罚问题，原问题可以归结 为求解线性方程系统。除了保留LSTSVR原有的优势，还具有速度快以及非常稀疏性的优势。对线性问题而言，意味着该方法可以自动选择样本的特征，从而达 到降维的目的。

4. 对最小二乘孪生参数化不敏感支持向量回归机进行研究。首先，引入最小二乘方法，将孪生参数化不敏感支持向量回归机(Twin Parametric Insensitive Support Vector Regression, TPISVR)的两个二次规划问题转化为两个线性方程组问题，提出最小二乘孪生参数化不敏感支持向量回归机(Least Square TPISVR, LSTPISVR)，从理论上分析了LSTPISVR的计算复杂性。其次，鉴于LSTPISVR的参数较多的问题，提出一种具有快速全局搜索能力的混沌布 谷鸟优化算法，并将其作为LSTPISVR的参数选择方法，以提高LSTPISVR参数寻优的效率。

二、学术论文

[1] Huajuan Huang, Shifei Ding, ZhongZhi Shi. Primal least squares twin support vector regression. Journal of Zhejiang University-Science C-Computers & Electronics, 2013, 14(9): 722-732 (SCI: 000324103700005).

[2] Shifei Ding, Huajuan Huang. Polynomial smooth twin support vector machines. Applied Mathematics & Information Science, 2014, 8(4):2063-2071 (SCI: 000332452400065).

[3] Shifei Ding, Huajuan Huang. Research on the hybrid models of granular computing and support vector machine. Artificial Intelligence Review, 2013 (SCI源刊在线出版), DOI:10.1007/s10462-013-9393-z.

[4]丁世飞，黄华娟，史忠植. 加权光滑CHKS孪生支持向量机. 软件学报，2013, 24(11):2548-2557 (EI: 20140117166606).

[5] Huajuan Huang, Shifei Ding. Invasive weed optimization algorithm for optimizating the parameters of mixed kernel twin support vector machines. Journal of Computers, 2013, 8(8): 2077-2084 (EI:20133016541735).

[6] Huajuan Huang, Shifei Ding. A novel granular support vector machine based on mixed kernel function. International Journal of Digital Content Technology and its Applications, 2012, 6(20): 484-492 (EI: 20124715701887).

[7] 黄华娟，丁世飞. 多项式光滑孪生支持向量回归机. 微电子学与计算机, 2013,30(10):5-8.

[8] Huajuan Huang, Shifei Ding. A PSO-SVM method of time series prediction based on fuzzy information granulation. INFORMATION-An International Interdisciplinary Journal, 2013, 16(6B): 4165-4172 (SCI源刊).

[9] Shifei Ding, Huajuan Huang. Forecasting method of stock price based on polynomial smooth twin support vector regression. Intelligent Computing Theories 9^th International Conference, ICIC2013, Proceedings: LNCS 7995, 2013, 96-105(EI: 20133516670133).

[10] Shifei Ding, Huajuan Huang. Ploynomial smooth twin support vector machines based on invasive weed optimization algorithm. Journal of Computers, 2014, 9(5): 1226-1233(EI: 20142017714493).

三、参加的研究项目

1.    国家重点基础研究计划(973计划)项目 “脑机协同的认知计算模型”. (No. 2013CB329502)

2.     国家自然科学基金项目“面向大规模复杂数据的多粒度知识发现关键理论与方法研究”.(No. 61379101)

3.     国家自然科学基金项目“多元空间数据的模式分析方法研究及其在测量中的应用”.(No. 41074003)

4.     中国科学院智能信息处理重点实验室开放基金“高维复杂数据的粒度支持向量机理论与算法研究”.(No. 2010-1)

5.     北京邮电大学智能通信软件与多媒体北京市重点实验室开放基金“粒度SVM方法与应用研究”.

6.     广西混杂计算与集成设计分析重点实验室开放基金“基于群智能优化的孪生支持向量回归机”.(No. HCIC201304)

四、获奖情况

1.    2011.09-2012.07：中国矿业大学一等奖学业奖学金

2.    2012.09-2013.07：中国矿业大学一等奖学业奖学金

3.    2013.09-2014.07：中国矿业大学一等奖学业奖学金