Для задач классификации в качестве функции активации хорошо подходит softmax — возвращает число от 0 до 1, которое можно интерпретировать как вероятность класса.<\/p>\n
Y = softmax(X * W + b)<\/pre>\nгде X — массив картинок, каждая кодируется массивом из 784 значений 1 или 0 по пикселям, W — веса каждого пиксела и b — константа (bias)
\nЗадача нейронной сети на каждом шаге, на каждой пачке данных, подбирать оптимальные веса для каждого пикселя путём минимизации функции ошибки<\/p>\ncross-entropy = -sum( Y_ans_i * log(Yi) )<\/pre>\nгде Yi — предсказанное значение, Y_ans_i — реальное значение.<\/p>\n
\nПри работе с нейросетями — формируешь структуру сети, подаёшь на вход много данных и снимаешь результат. А внутри происходит магия — нейросеть сама каким-то образом выделяет закономерности. Ещё добавить к этому сложную математическую модель оптимизации, получается работа с чёрным ящиком. Поэтому разработчикам очень важно наглядно видеть результат работы. Martin написал замечательную визуализацию процесса обучения сети, где показываются графики точности, ошибки, и самих изображений цифр, на которых тестируется модель.<\/p>\nБазовый вариант одноуровневой нейросети с 10 нейронами выдаёт 92.6% точности. Это очень мало, если учесть, что максимальная точность предсказывания для этой задачи 99.7%. Поэтому нейронку можно и нужно улучшать и оптимизировать. Первое, что можно сделать — это создать глубокую нейросеть — добавить ещё слои. При добавлении слоёв с активацией ReLU<\/a> из 200, 100, 60, 30 нейронов к базовому уровню softmax из 10 нейронов, точность возрастает до 97.2%<\/p>\n
Следующий шаг — это регулирование learning rate decay — порога изменения весов W для нахождения минимума функции ошибки. Чем меньше значение порога — тем точнее будут подбираться веса и тем больше итераций и данных нужно, чтобы выровнялась точность предсказаний. With decaying learning rate from 0.003 to 0.0001 decay_speed 2000, 10K iterations, final test accuracy equals 0.9824.<\/p>\n
\nНаконец, можно использовать свёрточную (convolutional) нейронную сеть для классификации картинок. В обычной нейросети каждый нейрон связан со всеми нейронами предыдущего слоя, и каждая связь имеет свой вес. В свёрточной нейросети в операции свёртки используется небольшая матрица, «окно», которое двигается по всему слою и формирует сигнал активации для нейрона на следующем уровне с соответствующей позицией. Эта матрица (окно, ядро свёртки) построена таким образом, что графически кодирует какой-либо один признак, например, наличие наклонной линии под определенным углом. Тогда следующий слой, получившийся в результате операции свёртки матрицы весов, показывает наличие данной наклонной линии в обрабатываемом слое и её координаты, формируя карту признаков (feature map)
\nТак, добавив 3 свёрточных слоя (6x6str1 5x5str2 4x4str2) к полносвязному слою relu из 200 нейронов и softmax 10, получим точность<\/a> 99.2%<\/p>\nПрезентация — http:\/\/goo.gl\/pHeXe7,<\/a> код демки — https:\/\/github.com\/martin-gorner\/tensorflow-mnist-tutorial<\/a>
\nИнтервью на хабре с Мартином https:\/\/habrahabr.ru\/company\/it_people\/blog\/303832\/<\/a> В нём он рассказывает про TFlearn<\/a> — высокоуровневая надстройка над TensorFlow с синтаксическим сахаром для создания моделей, которую планируется внедрить в ядро TF, а пока что можно пользоваться отдельным контрибом.<\/p>\n", "date_published": "2016-07-05T11:02:51+03:00", "date_modified": "2016-07-05T00:14:12+03:00", "tags": [ "machine learning", "ml", "pycon", "python" ], "_date_published_rfc2822": "Tue, 05 Jul 2016 11:02:51 +0300", "_rss_guid_is_permalink": "false", "_rss_guid": "22", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [] } } ], "_e2_version": 4116, "_e2_ua_string": "Aegea 11.2 (v4116)" }
![](\"https:\/\/keen.nerevar.com\/pictures\/MNIST_2016-07-04_23-05-12.png\")
![](\"https:\/\/keen.nerevar.com\/pictures\/scaled\/Tensorflow_and_deep_learning_-_without_a_PhD_-_Google_Slides_2016-07-04_23-20-05.scaled.png\")