DL之DNN：基于神经网络(从1层~50层)DNN算法实现对非线性数据集点进行绘制决策边界

目录

输出结果

设计代码

输出结果

设计代码

首先查看数据集

import numpy as np
from sklearn.datasets import make_moons  make_moons数据集可以生成一些非线性数据点
import matplotlib.pyplot as plt
 
 手动生成一个随机的平面点分布，并画出来
np.random.seed(0)
X, y = make_moons(200, noise=0.20)
plt.scatter(X[:,0], X[:,1], s=40, c=y, cmap=plt.cm.Spectral)
plt.title('make_moons generating nonlinear data points')
plt.show()

设计一个简单的人工神经网络：输入两个值，输出0或1，即第一类还是第二类，但DNN其实获得是概率，如属于0的概率是42% 。只包含一层隐藏层，即只对样本点做交集而不做并集
激活函数选择tanh函数，采用softmax分类器(LR的多分类)，并且用互熵损失作为损失函数。BP计算梯度采用SGD算法
 
num_examples = len(X)  样本数
nn_input_dim = 2       输入的维度
nn_output_dim = 2      输出的类别个数
 
 梯度下降参数
epsilon = 0.01      学习率
reg_lambda = 0.01   正则化参数
 
 定义损失函数，以便使用梯度下降算法
def calculate_loss(model):
    W1, b1, W2, b2 = model['W1'], model['b1'], model['W2'], model['b2'] 因为隐藏层有500个神经元，故b1是500维
     向前推进，前向运算
    z1 = X.dot(W1) + b1
    a1 = np.tanh(z1)
    z2 = a1.dot(W2) + b2
    exp_scores = np.exp(z2)
    probs = exp_scores / np.sum(exp_scores, axis=1, keepdims=True) 计算的属于哪一类的是概率
     计算损失
    corect_logprobs = -np.log(probs[range(num_examples), y])
    data_loss = np.sum(corect_logprobs)
     也得加一下L2正则化项
    data_loss += reg_lambda/2 * (np.sum(np.square(W1)) + np.sum(np.square(W2)))
    return 1./num_examples * data_loss
 
 
 建立3个隐层的神经网络
model = build_model(3, print_loss=True)
 
 然后再把决策/判定边界画出来
plot_decision_boundary(lambda x: predict(model, x))
plt.title("Decision Boundary for hidden layer size 3")  即是由500个神经元(段直线)，去交集得出的曲线
plt.show()
 
 

 然后观察不同的隐藏层个数(1, 2, 3, 4, 5, 20, 50)对结果的影响
plt.figure(figsize=(16, 32))
hidden_layer_dimensions = [1, 2, 3, 4, 5, 20, 50]
for i, nn_hdim in enumerate(hidden_layer_dimensions):
    plt.subplot(5, 2, i+1)
    plt.title('Hidden Layer size %d' % nn_hdim)
    model = build_model(nn_hdim)
    plot_decision_boundary(lambda x: predict(model, x))
plt.show()

相关文章推荐

DL之LoR&DNN：Neural_network_example绘制非线性数据集点的决策边界