Мысливслух->One man army

heroЯ недавно читал статью про Data Mining в Компьютерре. Это  извлечение информации из гигантских массивов данных, применяется в очень многих областях. Ну например, поиск мошенничества в финансовых отчетах, или Direct Marketing…

Рассказывает про извлечение данных сын великого математика Ильи Пятецкого-Шапиро – Григорий Пятецкий-Шапиро. Все очень интересно, но мое внимание особо привлек один абзац, вот он

Кто заказывает вашей фирме KDnuggets датамайнинговые проекты? Насколько они масштабны (по количеству участников, ресурсам, времени выполнения)? Требуют ли разработки нового ПО специально для каждого проекта?

- Многие думают, что Kdnuggets - большая компания с веб-программистами, редакторами, менеджерами по развитию бизнеса, отделом кадров и т. п. На самом деле она состоит из одного человека - меня самого, а все ее дела я веду при помощи множества скриптов, автоматически выполняющих большинство необходимых действий.

Время от времени я получаю интересные заказы на консалтинговые проекты, которые тоже обычно выполняю самостоятельно. Главное, что требуется от консультанта по датамайнингу, - интуиция, которая подсказывает, как найти интересные объекты в массиве данных и как при помощи существующих методов и технологий обнаруживать именно то, что принесет пользу заказчику.

Вполне наглядный пример, того о чем говорил Тим Феррис в “Четырехчасовой рабочей неделе”. Один человек – и швец, и жнец, и менеджер, и продавец, и начальник и исполнитель. Эта идея меня очень захватывает, и это, на мой взгляд, то, к чему надо стремиться. Нет, разумеется, все самому делать необязательно, но создать автоматизированную систему, которая работает, и работает устойчиво – заслуживает огромного уважения. Такие примеры существуют.

Вспоминается также забавный случай, прочитанный мной в какой-то книге по оптимизации, привожу по памяти, поэтому за абсолютную точность не ручаюсь. В одной крупной западной производственной фирме решили устроить минимизацию издержек, или как там это называется… Позвали экспертов, которые проанализировав ситуацию, предложили составить список сотрудников в каждом отделе, устроить комплексные тесты, и по результатам уволить самого худшего работника. После этого производство встало. Оказалось, что в одном из подразделений работал всего ОДИН сотрудник, который с помощью хитростей и технических приспособлений выполнял работу за весь отдел. Как было сказано, минимум (и максимум) в множестве состоящем из одного элемента автоматически достигается на этом самом элементе. Ну, и мораль: прежде чем звать экспертов, чтобы сокращать издержки, всегда стоит подумать. Хорошенько подумать.

9 коммент.:

gnawer комментирует...

Это всё очень круто, но самая распрекрасная автоматизированная система сломается, когда заказчик сегодня хочет лампочку, завтра силикатный кирпич, а послезавтра кролика с лампочкой в заднице.

Nazarovsky Alexander комментирует...

Вот поэтому нужно знать строить УСТОЙЧИВЫЕ системы. Никто же не делает крупные веб-сервисы без бэкапов и на одном сервере? И к черту таких заказчиков, сам понимаешь. Клиент не всегда прав, особенно когда хочет чтобы ты ему за копейку построил дворец.
З.Ы. OpenID-комментарии работают, вау!

gnawer комментирует...

Мы делаем крупный веб-сервис (десятки тысяч юзеров), без бэкапов и на одном сервере.

Nazarovsky Alexander комментирует...

Да брось, не верю. Наверняка резервное копирование в каком-нибудь виде есть, только ты об этом не знаешь.

Nazarovsky Alexander комментирует...

вот кстати, что бывает с теми, кто неправильно предохраняется
http://news.bbc.co.uk/2/hi/technology/8049780.stm

Serge Mikhailov комментирует...

Мой прошлый бизнес был связан с бухгалтерским ПО.

Соответсвенно, я имел базы всех своих клиентов и проводил над ними исследования.

Однако продать знания так и не удалось. Продажники и сами все знали. А мне покупать и перепродавать "Китайские электроды" на которых можно было сделать 300% было лень.

Как то с сомнением отношусь к заявлению цитируемого автора.

С чем соглашусь, так с тем, что нужно анализировать данные под себя, а не под дядю.
Дядя не поверит. А ты заработаешь через год, а может быть и через два.

Nazarovsky Alexander комментирует...

Сергей, ну вот если бы не лень было перепродавать, то что тогда?
И я не понял в чем сомнения? В том, что он работает в своей фирме один? Так это вопрос точки зрения, можно (и некоторые авторы утверждают что и нужно) рассматривать себя как компанию из одного сотрудника, и считать, что каждый в итоге работает на себя, даже если он пока лишь подметает пол в макдональдсе.
Идея-то не в том, что надо все всенепременно делать самому, а в том, что надо брать управление и ответственность исключительно в свои руки.

Serge Mikhailov комментирует...

сомнение в том, что он занимается Миндингом. А не в том, что он работает один. Я тоже работаю дома и сам на себя уже 8 лет.

Мининг - иди туда, не знаю куда, найди то, не знаю что.

Возможно, парень занимается простой статистической обработкой. Например, вывести оборачиваемость товара и наценку и на основании этого сделать вывод.

Тогда, статистика названа минингом :)

Nazarovsky Alexander комментирует...

Я скажу, что этот парень и есть создатель отрасли Data Mining и президент вот этой конференции ACM http://www.sigkdd.org/
В то, что он занимается в том числе и статобработкой - сомнений нет, вопрос на каком уровне :)