项目2 PROJECT 2　小型智能健康推荐助手

本项目通过Kaggle公开数据集，进行心脏病和慢性肾病的特征筛选和提取，选择随机森林机器学习模型进行训练，预判是否有疾病、针对相应的症状或需求给出药物推荐，实现具有实用性的智能医疗助手。

2.1　总体设计

本部分包括系统整体结构和系统流程。

2.1.1　系统整体结构

系统整体结构如图2-1所示。

2.1.2　系统流程

系统流程如图2-2所示。

2.2　运行环境

需要Python 3.6及以上配置，在Windows环境下推荐下载Anaconda完成Python所需的配置，下载地址为https://www.anaconda.com/，也可以下载虚拟机在Linux环境下运行代码。

2.3　模块实现

本项目包括2个功能，每个功能有3个模块：疾病预测、药物推荐、模块应用，下面分别给出各模块的功能介绍及相关代码。

2.3.1　疾病预测

本模块是一个小型健康预测系统，预测两种疾病——心脏病和慢性肾病。

1．数据预处理

心脏病数据集来源地址为https://archive.ics.uci.edu/ml/datasets/Heart+Disease；慢性肾病数据集来源地址为https://www.kaggle.com/mansoordaku/ckdisease。两个数据集均包括300多名测试者的年龄、性别、静息血压、胆固醇含量等数据。

1）心脏病数据集预处理

加载数据集和数据预处理，大部分是通过Pandas库实现，相关代码如下：

# 导入相应库函数
import pandas as pd
# 读取心脏病数据集
df = pd.read_csv("../Thursday9 10 11/heart.csv")
df.head()

自动从csv中读取相应的数据，如图2-3所示。

检查数据是否有默认值，如果有数据会显示为NaN，且当数据有默认值时不能对数据绘图可视化。

数据集没有默认值，数据的尺度比较大，通过绘图方式观察可以检查出错误数据，如图2-4所示。

# 通过seaborn绘图,观察数据
sns.pairplot(df.dropna(), hue= 'target ')

通过观察，第5列（血液中胆固醇含量）和第10行（静息血压）有部分点和其他点距离较大，绘制数据分布图进一步分析。

# 绘制血液中胆固醇数据分布
df['chol '].hist()
# 绘制静息血压分布图
df['treatbps '].hist()

数据分布如图2-5和图2-6所示。血液中胆固醇含量达到500，静息血压最大值达到200。经过查阅资料，静息血压正常值应该在120~140，但是接近200的患者数据，是符合实际的。取得胆固醇含量最大值的同样是患者，没有不符合实际情况的数据。

下面是改变数据类型，例如，胸痛类型，1~4是类别变量，它的大小并不具备比较性，但是训练时数值大小会影响权重。所以要把类别变量转化为伪变量，把4个类别拆成4件，分别用0、1表示有或没有。

转换成功后如图2-7所示。

最后使用Scikit-learn的train_test_split（）函数自动划分训练集和测试集。

2）慢性肾病数据预处理

通过Pandas读取慢性肾病数据集，读取成功效果如图2-8所示。

对数据类型进行处理，例如食欲（appet）数据为good和poor，脓细胞团（pcc）为notpresent和present，将类别变量转换为伪变量0和1。

转换成功结果如图2-9所示。

检查默认值的变量如图2-10所示。

图2-10中可以看出默认值数量不小，由于数据集不大，需要采用均值归一法，对病人和正常人分别取所有测量值的平均值来填补默认值。

2．模型训练及保存

数据加载进模型之后，需要定义模型结构，寻找优化参数并保存模型。

1）定义模型结构

本部分包括心脏病数据集定义模型和慢性肾病数据集定义模型。

（1）心脏病数据集定义模型。

相关代码如下：

（2）慢性肾病数据集定义模型。

相关代码如下：

2）保存模型

为了能够被Python程序读取，需要将模型保存为.pkl格式的文件，利用pickle库中的模块进行模型的保存。

（1）心脏病模型保存。

相关代码如下：

（2）慢性肾病数据集定义模型。

相关代码如下：

3．模型应用

对于人的疾病来说，误诊带来的风险是极大的，正确率不是100%对患者就是损失。然而以往仅仅预测是否患上疾病，是一个二分类问题。原理上，机器对疾病的预测基于各项指标的权重。本项目充分运用机器学习的优点，将各特征重要性与各指标的数值相乘求和，得到一个加权值。在程序内部，预先对患者和正常人的各指标平均值与对应特征重要性加权求和，得到患者和正常人的平均水平。在定性判断为病人后，将用户的数值与病人均值做对比，定量给出用户的病情相对于大多数患者严重程度；如果用户被判断为正常人，则将他的各项数值与正常人均值做对比，给出用户相对于大多数正常人的亚健康程度。经过处理，不仅做到定性判断，还对用户情况进行量化。一方面防止偶然的误诊带来风险；另一方面给予患者与疾病抗争的希望，给体检正常的人敲响亚健康的警钟。

1）心脏病模型应用

输出的各特征重要性如图2-11所示。

通过图2-11可以看出，年龄因素，对患病是否有影响，并不重要，符合常识。然后分别获得患者和正常人的平均值，如图2-12所示。

患者和正常人加权求和后的值如图2-13所示。

将这个值保存，当用户使用时，判断出是患者还是正常人之后，根据比值大小定量判断具体情况。

2）慢性肾病模型应用创新

通过eli5得到各特征重要性，输出的各特征重要性如图2-14所示。

分别获得患者和正常人的平均值，如图2-15所示。

患者和正常人加权求和后的值如图2-16所示。

将这个值保存，当用户使用时，判断是患者还是正常人之后，根据比值大小定量出具体情况。

2.3.2　药物推荐

本模块是一个小型药物推荐系统，对800余种症状提供药物推荐。

1．数据预处理

UCI ML药品评论数据集来源https://www.kaggle.com/jessicali9530/kuc-hackathon-winter-2018 。包括超20多万条不同用户在某一种症状下服用某药物后的评论，并根据效果从1~10分进行打分。通过分析该数据集，可以对用户症状推荐大众认可的药物。

加载数据集和数据预处理，大部分通过Pandas实现，相关代码如下：

会自动从csv数据源读取相应的数据，如图2-17所示。

数据集中有用户ID（UniqueID）、症状（condition）、服用的药物（drugName）、服用该药物后的评论（review）、打分（rating），其他用户对该用户评论的点赞数（usefulCount）。

本项目根据用户对药物的打分判断是否推荐在该症状下服用此药物。打分为1分和10分可以认为用户不推荐和推荐该药物。然而，用户对药物的打分不只是1分和10分，一般来说，对一种药物有时有效但见效慢、好用但昂贵、有所缓解但效果不明显、副作用不容忽视等。打4分不一定代表评价者的否定态度，打6分也不一定意味着评价者支持。样本总量如图2-18所示，打1分和10分的评论总量如图2-19所示，用户打分分布如图2-20所示。

打分分布如图2-20所示。

图2-19和图2-20可以看出，超过一半的用户打1分和10分，样本数据量足够机器学习用户情感，使用学习到的情感，分析打分在2~9分的用户就是内心深处支持与否。打分为1分和10分的评论情感分析学习如图2-21所示。

评论（review）中，句子两端有引号，编写函数将引号删除。

发现一句话中经常出现不合时宜的符号，该数据集是网络爬虫爬取的，所以有很多字符表示成ASCII码，防止被误识别为分隔，使用正则表达式从审阅文本中删除这些符号。

评论（review）中，句子两端有引号，编写函数将引号删除。

预测的标签是喜欢与不喜欢，但是drugName和condition种类很多，写进程序中可以简化工作量，所以需要将drugName和condition列前置到review中，并将完整的字符串保存为text列。

CountVectorizer类将文本中的词语转换为词频矩阵。通过分词后把所有文档中的全部词作为一个字典，将每行的词用0、1矩阵表示。并且每行的长度相同，长度为字典的长度，在词典中存在，置为1，否则为0。由于大部分文本只用词汇表中很少一部分词，因此，词向量中有大量的0，说明词向量是稀疏的，在实际应用中使用稀疏矩阵存储。

2．模型训练及应用

相关代码如下：

仅取出打分为1分和10分的评论进行情感分析学习，如图2-22所示，打分2~9分的评论如图2-23所示，代入模型分析评论情感为支持或不支持如图2-24所示。

由于是评1分和10分，所以正确率高，接下来将训练好的模型应用到打分为2~9分的评论中。

#读取2~9分的评论
Train_0 = train_0[train.rating.isin([2,3,4,5,6,7,8,9])]
Train_0.head()

将评论经过数据预处理后，代入训练好的模型，得到评论感情分类。

3．模型应用

将两个csv文件合并成一个，本项目对某一特定症状选取支持率前三名的药物。

得到一个csv数据库，但是数据库中除了特定的药物名称，还有一些特殊字符，通过编写Python脚本文件将它们清理干净。

2.3.3　模型测试

本部分包括模型导入及相关代码。

1．模型导入

输入数据包括两部分：如性别、年龄、食欲需要用户手动输入；心率、心电图波形参数，需要用户接入不同的传感器测量。考虑到应用的便捷性，直接从传感器读取所有的参数进行预测。

一位用户输入的数据如图2-25所示，判决结果如图2-26所示。

client_result=rf.predict(client_x)
print('这就是分类预测结果')
print(client_result)

根据数据和模型，首先判断病与非病；其次判断病情严重程度，不能只用是否有病，而是给病情不同程度的评价。将数据乘以每个因素的权重和有病的人平均值做对比。如果直接告诉一个人，得病了，可能无法接受。如果说明情况不太严重，比大多数病人轻，量化后，容易接受，如图2-27所示。

之前平均值是病人比正常人的小，所以大于分界面更好。病情指数比平均数的四分之一还小，量化后督促病人抓紧时间治疗。

2．相关代码

本部分包括模型预测代码、模型应用创新代码、用户接口及界面可视化代码。

1）模型预测

相关代码如下：

2）模型应用创新

相关代码如下：

3）用户接口及界面可视化

本部分为主界面GUI设计及子界面调用。

2.4　系统测试

本部分包括训练准确度、测试效果和模型应用。

2.4.1　训练准确度

心脏病预测准确率达到89%以上，模型训练比较成功，如图2-28~图2-31所示。

慢性肾病预测准确率达到100%，如图2-32~图2-35所示。

2.4.2　测试效果

将数据代入模型进行测试，分类的标签与原始数据进行显示和对比，可以得到验证：模型可以实现疾病预测和药物推荐。模型训练效果如图2-36所示，药物推荐效果如图2-37所示。

2.4.3　模型应用

打开cmd命令，到程序所在文件夹；输入python test.py开始测试；打开应用，初始界面如图2-38所示。

界面从上至下，分别有三个按钮。单击第一个按钮“健康预测”，可以看到界面跳转到疾病预测界面，如图2-39所示。

返回主界面后，单击第二个按钮“药物推荐”，看到界面跳转到药物推荐界面，如图2-40所示；药物推荐助手如图2-41所示；对不在数据库中的症状，提示不存在，不输出任何疾病信息，如图2-42所示。