Встречайте BugFinders, британскую компанию, занимающуюся краудсорсингом искусства тестирования приложений.

Если вам поручено находить критические ошибки в приложениях и на веб-сайтах крупных клиентов, таких как Met Office, Tesco и Bang & Olufsen, привлечение помощи тестировщиков, полученных через Интернет, может показаться не самой разумной идеей. Однако, по словам технического директора и основателя BugFinders Мартина Маджа, это единственный разумный способ сделать это.

BugFinders описывает свою работу как «настоящее краудсорсинговое тестирование», нанимая тестировщиков-фрилансеров со всего мира, чтобы выявлять и сообщать о недостатках в программном обеспечении своих клиентов. Сообщество из 55 000 тестировщиков сидит в ожидании следующей работы, некоторые из них зарабатывают до 800 фунтов стерлингов в неделю, причем многие делают это исключительно ради задачи.

Почему онлайн-аутсорсинг так успешно работает для тестирования программного обеспечения? И как BugFinders предотвращает достояние общественности деликатные недостатки в программном обеспечении крупных брендов? Как бы вы, если у вас есть навыки, могли бы присоединиться к команде? Чтобы выяснить это, мы встретились с Мартином Маджем.

Игра чисел

М. Мадж, технический директор и основатель BugFinders

Мадж начал тестировать приложения задолго до того, как о краудсорсинге даже услышали, не говоря уже о желательности. Он возглавлял группу тестирования в мобильной сети Orange примерно в начале десятилетия, когда количество устройств, на которых нужно было тестировать, было крошечным по сравнению с сегодняшним днем. «В то время для обеспечения хорошего покрытия нужно было охватить всего 15 устройств, и для этого мы использовали команду из двух человек», — сказал он.

Однако вскоре разработчики приложений начали жаловаться на отсутствие ошибок, и Мадж не мог понять, почему. «Оказалось, что точно так же, как в головоломках «Найди отличия» всего две картинки, если дать тестировщику более трех устройств или трех браузеров для проверки одного и того же приложения, к четвертому ему в принципе надоедает и он не видеть ошибки, если только они не очень большие», — сказал он.

Была еще одна проблема: с бумом приложений, вызванным появлением iPhone и Android, команда Маджа просто не успевала за ним. «Я и мой соучредитель (который оказался женой Маджа, Донной) пришли к идее, что нам нужно использовать большую команду удаленных людей для выполнения работы». Донна уже владела собственной фирмой по подбору персонала, предоставляя им уже существовавшую сеть фрилансеров, и, следовательно, в 2011 году родилась BugFinders.

Опытные тестировщики

«Если вы дадите тестировщику более трех устройств или трех браузеров для проверки одного и того же приложения, на четвертом им, по сути, станет скучно».

BugFinders не похож на другие краудсорсинговые трудовые проекты, такие как Mechanical Turk от Amazon, где практически каждый может заработать несколько фунтов, выполняя относительно черную работу. BugFinders специально набирает опытных тестировщиков, в идеале тех, кто уже имеет опыт работы тестировщиком не менее трех лет. Они могут повысить свои существующие навыки и зарплату, зарабатывая внештатный доход в свободное время, или они могут быть одними из элитных тестировщиков, которые могут получать зарплату полный рабочий день, проводя тестирование из дома.

Найти количество тестировщиков, необходимое для эффективного краудсорсинга, оказалось сложнее – и дороже – чем думал Мадж, даже с учетом опыта Донны в сфере подбора персонала.

Хотя они быстро собрали приличное сообщество тестировщиков, работающих неполный рабочий день, в Великобритании, Mudge нуждались в тестировщиках, доступных в нескольких часовых поясах, чтобы, когда клиенты отказывались от приложения, требующего тестирования в течение короткого периода времени, у BugFinders были люди, которые могли работать круглосуточно. «Мы отправили людей по всему миру на одном этапе для набора людей», — сказал он. «Это сработало очень хорошо».

Действительно, число тестировщиков превысило отметку в 25 000 человек — то, что Мадж назвал «критической точкой, благодаря которой мы могли эффективно взяться за проект в любое время, день и ночь, 365 дней в году и реализовать его». С тех пор это число выросло до 55 000, во многом благодаря существующим тестировщикам, ссылающимся на коллег, хотя любой может зарегистрироваться через веб-сайт компании (см. bugfinders.com/register).

Команда тестировщиков, которая могла бы почти заполнить стадион «Эмирейтс» «Арсенала», кажется чертовски трудоспособной, но если учесть, что теперь вам нужно тестировать приложения/веб-сайты на 152 устройствах, чтобы охватить только 80% трафика, вы начинаете понимать, что необходимость иметь так много людей, к которым можно было бы обратиться.

«Большинство наших клиентов, когда мы начинаем с ними общаться, внутри компании обслуживают около пяти устройств», — сказал Мадж. «Они упускают огромные возможности для улучшения своего мобильного опыта. По сути, с помощью 300 тестировщиков мы иногда охватываем 400 и более мобильных устройств – то есть более 80%».

Внутренняя проверка

BugFinders не полагается исключительно на результаты своих тестировщиков-фрилансеров. Собственная команда проверит и сопоставит ошибки, выявленные независимыми тестировщиками, прежде чем о них будет сообщено клиенту в четкой и последовательной форме. А тестировщикам приходится доказать свою стойкость, прежде чем им разрешат работать над реальными проектами. «Сначала они проходят процедуру проверки», — сказал Мадж. «Они займутся типовым проектом, выявят некоторые ошибки, мы их вынесем». Если они преодолеют это препятствие, следующим шагом станут живые проекты начального уровня. «Обычно это будут такие вещи, как электронная коммерция, которые немного менее сложны, и люди обычно знают, как они работают».

Те, кто последовательно выполняет точную работу, могут быть продвинуты по карьерной лестнице в элитную команду, где заработок действительно станет больше, чем карманные деньги. «Иногда они зарабатывают 800 фунтов в неделю», — сказал Мадж. «В разных частях света, даже в Великобритании, это довольно хорошие деньги за то, чтобы сидеть целый день в пижаме, верно?»

Какой бы прибыльной ни была эта работа, Мадж настаивает на том, что около 20% тестировщиков занимаются ею вовсе не ради денег. Он приводит в пример тестировщика в Лондоне, который работает подрядчиком «примерно на 1000 фунтов в день» в качестве руководителя тестирования в банке. «Его жена гуляет по вторникам и четвергам, и он говорит: «Мне нравится поддерживать свои навыки в актуальном состоянии, поэтому вместо того, чтобы смотреть Coronation Street, я хочу провести небольшое тестирование и поработать над новейшими приложениями». Любой, кто когда-либо досмотрел весь эпизод «Улицы Коронации», несомненно, сможет посочувствовать.

Строжайшее доверие

Конечно, я сказал Маджу, что один из самых больших страхов таких клиентов, как банки, заключается в том, что разрушительные ошибки в их программном обеспечении будут публично раскрыты или проданы хакерам? Он настаивает на обратном, сравнивая это с первыми днями Интернета, когда вам советовали не вводить личные данные на веб-сайты из-за страха, что все были волками в овечьей шкуре. «Все изменилось», — сказал он. «Просто некорректно говорить, что мы можем протестировать что-то внутри компании, потому что вы собираетесь создать приложение, которое не будет отвечать потребностям ваших клиентов. Тебе придется преодолеть эту проблему».

BugFinders не полагается исключительно на доверие клиентов. Высококонфиденциальные запуски будут тестироваться только элитной командой тестировщиков, доказавших свои способности и лояльность компании на протяжении ряда лет. Всем тестировщикам также предлагается подписать соглашение о неразглашении информации, «и до сих пор у нас вообще никогда не было никаких проблем с конфиденциальностью», – настаивал Мадж.

«В этом сообществе есть профессиональный элемент, который занимается самоконтролем».

«Помните: тестировщики делают это не для того, чтобы узнать чьи-то секреты; они делают это, потому что им нравится тестировать и… они профессионалы. В этом сообществе есть профессиональный элемент, своего рода самоконтроль», — добавил он.

Второй шанс

Несмотря на огромную рабочую силу, состоящую из 55 000 внештатных тестировщиков, в BugFinders работает всего 21 штатный сотрудник, хотя к концу года планируется увеличить это число до 30 или 35. Около половины нынешней рабочей силы занимается проверкой ошибок командой фрилансеров, а это большая ответственность, лежащая на плечах менее дюжины сотрудников.

Проверка также является настолько уникальной работой (BugFinders использует собственное специальное программное обеспечение для сопоставления и сообщения об ошибках), что персонал приходится обучать самостоятельно. «Поскольку это никогда не та работа, в которой у кого-то есть опыт, мы привлекаем людей, которые долгое время были безработными», — сказал Мадж, описывая компанию как социальное предприятие. «Мы даем им испытание и, если у них это хорошо получается, мы берем их на работу. С точки зрения Челтнема (где базируется BugFinders), Центр занятости любит нас».

Однако пути от внештатного тестировщика до штатного персонала нет; это две разные дисциплины, требующие двух разных наборов навыков. «Мы собираемся отправить в Австралию Боинги 747 за два часа с дополнительными ракетами на крыльях», – сказал он, в то время как испытатели, скорее всего, поедут «в аэропорт Глостера и возьмут Cessna на полдня». В любом случае, это определенно лучше, чем смотреть Кен Барлоу в «Роверс».