Ключевым моментом при автоматическом заполнении формы является выбор наиболее подходящей по тематике категории из заранее предопределенного списка. Эту процедуру, казалось бы, простейшую для ручного выполнения самим человеком, автоматически довольно сложно реализовать, поскольку список возможных категорий априори неизвестен специалисту, регистрирующему сайт в каталогах.

Следует отметить также тот факт, что списки категорий часто представляют в псевдоиерархическом виде при помощи различных разделителей слов («>», «::», «-», «|»). При этом, физически список категорий на веб-странице имеет плоскую структуру.

В широко популярной программе Allsubmiter автоматизация выбора категории основывается на заданном списке ключевых слов. Слова заданы в порядке уменьшения их приоритета, например:

туризм отдых тур услуги агентства прочее разное другое

Сначала программа анализирует по порядку категории в списке на наличие первого ключевого слова, затем, в случае не нахождения соответствия, производиться поиск на наличие второго ключевого слова и так далее до тех пор, пока не найдется категория, название которой содержит ключевое слово. Далеко не всегда в результате применения данного способа автоматического выбора категории получается верный результат. К примеру, описанный способ бессилен для такого списка:

Туризм > Гостиницы
Туризм > Пансионаты
Туризм > Агентства
...

В данном случае программа произведёт неверный выбор категории «Туризм > Гостиницы». В связи с этим, описанный выше метод является неэффективным при автоматическом выборе категории (по статистике категория выбирается правильно в 50-75% случаев) и требует доработки, усложнения анализа списка.

Автором настоящей статьи была разработана новая методика автоматического выбора категории из заданного списка, дающая на 85-95% верный результат при условии, что подходящая по тематике категория на самом деле имеется в анализируемом списке и список ключевых слов составлен правильно.

Суть методики также заключается в предварительном составлении списка ключевых слов, расположении их в порядке убывания приоритета и последующем анализе имеющегося списка категорий. Имея заданный список Li, (i=1..n) из n ключевых слов, введем понятие веса ключевого слова:

Далее, анализируя последовательно категории списка Kj, (j=1..m), получаем показатели суммарного веса для каждой категории (сумма весов всех ключевых слов, содержащихся в названии категории):

В конечном счете, категория, имеющая наибольший суммарный вес Wсумм j будет являться наиболее подходящей для заданного изначально списка ключевых слов. Таким образом, благодаря введению веса ключевых слов, описанная методика позволяет давать достаточно точные результаты даже при анализе списков с похожими названиями категорий.