Для задач NLP бывает полезно предварительно определить язык текста с которым мы сейчас работаем.<\/p>\n
Например, это может пригодиться в случае, если:<\/p>\n
В работе я использую для решения этой задачи три библиотеки: fastText<\/a> от Facebook, Compact Language Detector v3<\/a> от Google и langdetect<\/a>. У каждой из них свои преимущества и недостатки связанные с размерами моделей, скоростью работы и точностью. Но, в целом, судя по опыту, точнее всего работает именно fastText.<\/p>\n Для задачи определения языка<\/a> у fastText есть две готовые модели: побольше, на 126 мб<\/a> и поменьше, на 917 кб<\/a>. Вторая будет менее точная, но обе поддерживают одинаковое количество языков — 176 штук.<\/p>\n Качаем обе и посмотрим как с ними работать:<\/p>\n Загружаем обе модели:<\/p>\n Пробуем в работе:<\/p>\n И получаем довольно странный результат:<\/p>\n Почему так? Библиотека настроена на работу с предложениями, а не с отдельными словами, поэтому точность на очень коротких текстах будет хромать. Хотя, забавно, что маленькая модель сработала тут лучше, чем большая. Попробуем с текстом подлиннее:<\/p>\n И получаем вполне приемлемый результат:<\/p>\n Когда использовать какую модель из двух? Это зависит от желаемой точности и скорости работы. Если важнее точность, то можно использовать большую модель, а если скорость, то маленькую. Главное, если мы применяем определение языка в пайплайне обучения, например, классификатора спама, использовать, по возможности, ту же самую модель и в продакшне. А то итоговое качество может сильно хромать.<\/p>\n",
"date_published": "2021-05-07T17:21:10+03:00",
"date_modified": "2021-05-07T17:21:04+03:00",
"_date_published_rfc2822": "Fri, 07 May 2021 17:21:10 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "82",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": []
}
},
{
"id": "53",
"url": "https:\/\/agasiev.com\/all\/facebook-fasttext\/",
"title": "fastText эмбеддинги",
"content_html": " fastText<\/a> — библиотека для векторного представления слов и классификации текстов от Facebook AI Research.<\/p>\n Для её сборки, нам потребуется компилятор с поддержкой C++11 (gcc-4.6.3, clang-3.3 и новее):<\/p>\n Если у вас установлено несколько компиляторов разных версий, то можно запустить установку, явно указав путь к нужной версии компилятора:<\/p>\n\r\nwget https:\/\/dl.fbaipublicfiles.com\/fasttext\/supervised-models\/lid.176.bin\r\nwget https:\/\/dl.fbaipublicfiles.com\/fasttext\/supervised-models\/lid.176.ftz\r\n<\/code>\n<\/pre>\n\r\nimport fastText\r\n\r\nmodel_big = fastText.load_model('.\/lid.176.bin')\r\nmodel_small = fastText.load_model('.\/lid.176.ftz')\r\n<\/code>\n<\/pre>\n\r\nprint(model.predict([\"hi\"]))\r\nprint(model_small.predict([\"hi\"]))\r\n<\/code>\n<\/pre>\n\r\n([['__label__ca']], [array([0.5109927], dtype=float32)])\r\n([['__label__en']], [array([0.12450418], dtype=float32)])\r\n<\/code>\n<\/pre>\n\r\nprint(model.predict([\"hi there, human\"]))\r\nprint(model_small.predict([\"hi there, human\"]))\r\n<\/code>\n<\/pre>\n\r\n([['__label__en']], [array([0.84252757], dtype=float32)])\r\n([['__label__en']], [array([0.83792776], dtype=float32)])\r\n<\/code>\n<\/pre>\ngit clone https:\/\/github.com\/facebookresearch\/fastText.git\r\ncd fastText\r\nsudo python3 -m pip install .<\/code><\/pre>sudo CC='\/usr\/bin\/gcc-4.9' python3 -m pip install .<\/code><\/pre>Используем уже натренированную модель<\/h2>\n