(no subject)

[anna_frid]

Последние несколько дней я разбиралась с нейронными сетями на примере заголовков желтой газеты Daily Mail - точнее, выжимок из заголовков, служащих названиями веб-страниц. Практических применений этому добру пока не нашлось, но развлекуха получается прекрасная.

Например, можно брать любое слово и смотреть, какие слова - на материалах, напомню, заголовков Daily Mail - кажутся нейронной сети близкими по смыслу к данному, то есть могут встретиться в похожем контексте.

Числа после слов не слишком осмысленны, но вот каковы подборки!

model.most_similar("woman")

[('womans', 0.7180080413818359),
('mother', 0.6403418183326721),
('stranger', 0.6242644190788269),
('nurse', 0.6231988668441772),
('grandmother', 0.6228614449501038),
('man', 0.6143352389335632),
('teenager', 0.6095441579818726),
('pensioner', 0.5887019634246826),
('patient', 0.5778872966766357),
('student', 0.575697124004364)]

model.most_similar("man")

[('woman', 0.6143352389335632),
('teenager', 0.5835971832275391),
('mans', 0.5656498074531555),
('pensioner', 0.5557718276977539),
('stranger', 0.540886640548706),
('trucker', 0.5337430238723755),
('suspect', 0.5272442102432251),
('bystander', 0.5262438058853149),
('motorist', 0.5239924192428589),
('homeowner', 0.5030730366706848)]


То есть смотрите: в мире Daily Mail и мужчины, и женщины могут быть подростками, пенсионерами и посторонними людьми. Но женщины еще бывают матерями и бабушками, медсестрами, пациентками и, что самое интересное, студентками. А мужчины студентами, отцами или там дедами не бывают, зато бывают водителями (в том числе дальнобойщиками), домовладельцами, подозреваемыми и очевидцами. По-моему, это прекрасно.

Кидайте английские слова в комменты, расскажу, на что они похожи в мире Daily Mail.

Comments

[yakov_a_jerkov]

Последние несколько дней я разбиралась с нейронными сетями

Вы бы подробнее про это не могли написать?

[anna_frid]

Разбираюсь по вот этому туториалу: https://www.kaggle.com/c/word2vec-nlp-tutorial#part-1-for-beginners-bag-of-words (точнее, по второй его части). Глубокой теории не знаю, только то, что там по ссылкам выложено. А вместо кинорецензий взяла заголовки Daily Mail, благо, полный архив доступен в сети и вполне себе скачивается - по крайней мере, на уровне заголовков. Кстати, в последние годы в Daily Mail одних заголовков порядка ста килобайт в день. Это ж сколько они генерируют пурги-то!

[yakov_a_jerkov]

Спасибо. Я как раз сейчас пытаюсь что-то делать с Python'ом, так что почитаю.

[raisadobkach]

А мне всегда забавно наблюдать за поисковиками: начинаешь вводить в поисковую строку гугля или яндекса что-нибудь, а программный интеллект тебе предлагает что-нибудь эдакое...

[anna_frid]

Да-да. Вот, скажем, между турами. Кому интересна программа, все гуглят жену и возраст!

[raisadobkach]

Дадада. Я тоже проводила ровно такой же эксперимент, причем на разных языках :))