r-labs

Мобильный интернет

2010-03-03T20:42:00.007+03:00

Подвалило мне тут счастье в виде pcap дампа. Играюсь понемногу. Вот статистика GPRS трафика у одного из операторов "тройки": Чем эта диаграмма интересна: +3 это, в действительности, +30 - номера германские, а +4 - это +44 (Великобритания), +7 - Россия. По оси абцисс - в некотором смысле мера активности использования услуги. Получается, в основном мобильным интернетом пользуются иностранцы, что

Этот год прошёл бестолково

2009-08-26T14:42:00.012+04:00

Этот год прошёл бестолково. Из универа ушёл, занимался всякой фигнёй за еду. Единственное маленькое достижение - спроектировал программно - аппаратную систему для фильтрации в 10G и более Ethernet сетях. Но она, похоже, не будет реализована. Я уже написал модель на SystemC, осталось закончить окружение и тесты. Если не удастся продать алгоритм / модель за поездку в Перу и если знакомые FPGA

Paper-Based Visualization Competition: The Winner and More

2009-02-13T17:19:00.001+03:00

Paper-Based Visualization Competition: The Winner and More

The Lost Numbers

2008-09-30T14:04:00.004+04:00

В справочнике по целочисленным последовательностям, чего только не найдёшь. The Lost Numbers

"Все жители Крита - лжецы"...

2008-09-25T23:08:00.002+04:00

Оказывается известная антиномия "Все жители Крита - лжецы" от критянина Епименида в полном варианте звучит так: "Все жители Крита лжецы, скверные животные, ленивые утробы". Вот так! Этот Епименид у них, похоже, был не логиком, а кем - то вроде дессидента. Епименид - отец дессидентства!

О программировании

2008-08-28T12:09:00.002+04:00

Шесть мартышек, может быть, и напечатают Шекспира за миллион лет, а вот создать хороший программный код у них вряд ли получится....

Наглядная математическая статистика

2008-08-14T21:14:00.004+04:00

Несколько глав из "Наглядной математической статистики: ch04.djvu ... ch08.djvu. Это теория. Практические главы во второй части. Я их, может быть, позже отсканирую.

.Last.value

2008-08-05T18:30:00.003+04:00

Ну вот и пригодилось! ) Запустил hclust в top-level. Полчаса программа чего - то шуровала в свопе и затем счастливо сообщила: Call: hclust(d = dist(tdm), method = "ward") Cluster method : ward Distance : euclidean Number of objects: 468 От повторного запуска меня спасло .Last.value

Десятый день (string kernel)

2008-08-01T22:10:00.006+04:00

ЗАДАЧА Поставлена задача - сравнение слов, из - за орфографических ошибок или применения различных схем транслитерации незначительно различающихся в написании. Обычно эти слова - имена собственные, например, фамилии и имена индийских программистов / богов. РЕШЕНИЕ Есть идея - использовать метрический подход. Меру схожести можно задавать по - разному, но я не буду "изобретать велосипед", а

Вероятность и статистика в примерах и задачах

2008-07-22T11:11:00.012+04:00

Формально вот отрывок из аннотации к книге: Для освоения теории вероятностей и математической статистики тренировка в решении задач и выработка интуиции важны не меньше, чем изучение доказательств теорем; большое разнообразие задач по этому предмету затрудняет студентам переход от лекций к экзаменационным задачам, а от них - к практике. ... Необходимые теоретические сведения приводятся по ходу

Повода для паники нет!

2008-07-11T15:17:00.006+04:00

Из - за ошибки в генераторе случайных чисел для протокола DNS, многие, в том числе и корневые сервера были уязвимы. Подробности здесь и здесь. Пишут - повода для паники нет. Удивительно, сколь долго такая коварная ошибка оставалась незамеченной. Развёрнутый доклад об уязвимости Камински представит на blackhat.

Математические методы обучения по прецедентам

2008-06-11T10:23:00.004+04:00

Отличный курс лекций: http://www.ccas.ru/voron/teaching.html В курсе рассматриваются различные задачи машинного обучения (machine learning), в том числе задачи классификации, кластеризации, регрессии и прогнозирования. Изучаются различные методы решения этих задач. Лучшее, что я видел на русском языке, и, может быть, лучший курс вообще.

День девятый (Vim RCP)

2008-05-26T13:07:00.011+04:00

ЗАДАЧА Простенькое GUI приложение, позволяющее вручную определять кодировку текста. РЕШЕНИЕ Тексты встречаются в различных кодировках, в основном в KOI8-R и Cp1251. Для текстов больших объёмов узнать какая именно из этих кодировок встретилась можно автоматически по соотношению заглавных и прописных букв. Оставшиеся "огрызки" от СAPS и Cp866 MODE фриков обрабатываются в Vim'е: "run as: "gvim

Не могу молчать!

2008-05-17T13:38:00.002+04:00

Уже месяц использую Assembla. Очень доволен. Они - лучшие.

Две статьи

2008-05-14T16:35:00.005+04:00

Две интересные статьи: Using String Kernels to Identify Famous Performers from their Playing Style Robust De-anonymization of Large Datasets (How to Break Anonymity of the Netflix Prize Dataset)

Разговор с психотерапевтом.

2008-03-04T00:00:00.010+03:00

Давеча из любопытства запустил Emacs, а там в меню психоаналитик "сидит" (как знать, может потомок Элизы). Далее два отрывка. В первом я попытался "исповедать" бота. Во втором - проверял его терпение. I am the psychotherapist. Please, describe your problems. Each time you are finished talking, type RET twice. I don't have any problems. Why do you say you do not have any problems? What do you

День восьмой (Неслучайные числа)

2008-02-23T15:29:00.015+03:00

ЗАДАЧА Мультипликативный датчик и плохие параметры. РЕШЕНИЕ Один из способов генерации псевдослучайных чисел - мультипликативный датчик rndvec <- function(len, m, d) { k <- 1 vec <- vector() for (i in 1:len) { k <- (k * m) %% d vec[i] <- k/d } vec } при m == 2^16 + 3, d == 2^31 даёт следующее распределение на кубе: > vs <- rndvec(9999, 2^16 + 3, 2^31) > x <- vs[vs %% 3

День седьмой (Pipe operator)

2008-02-14T20:34:00.009+03:00

ЗАДАЧА Поиск удобных способов организации кода. Реализация оператора |>. Частичная аппликация. РЕШЕНИЕ Интересное наблюдение - в R аргументы передаются фактически в виде ассоциативного списка, а значит, можно было бы реализовать 'каррирование по ключу'. Что это значит? ># в псевдокоде: >paste_dot_sep <- paste((collapse='.')) ># Это тоже, что paste_dot_sep <- function(x) paste(x,

О результатах Netflix contest

2008-02-08T14:09:00.001+03:00

В декабрьском номере scgn за прошлый год была интересная статья о конкурсе на миллион от Netflix и промежуточных результатах. В ней рассказывается о весьма драматической победе BellKor/KorBell. Впечатляет. После описания данных и условий конкурса идёт обзор различных стратегий для рекомендательных систем типа Collaborative Filtering и их комбинаций. По ходу дела авторами было разработано

День шестой (projecteuler.net problem # 11)

2008-01-24T15:07:00.003+03:00

ЗАДАЧА Решить, например, http://projecteuler.net/index.php?section=problems&id=11 РЕШЕНИЕ В решении вычисления размениваются на память: bttm <- rep(0, 20) dat_ <- rbind(dat.mtx, bttm, bttm, bttm) lft_rght <- rep(0, 20 + 3) dat <- cbind(lft_rght, lft_rght, lft_rght, dat_, lft_rght, lft_rght, lft_rght) За счёт набивки лишними нулями код упростится. Важное замечание

Наглядная математическая статистика. Отличная книга!

2008-01-21T20:13:00.003+03:00

Купил её недавно в магазине по цене раза в два большей чем в том же www.books.ru, но нисколечки не жалею. Сейчас понимаю, что отдал бы и троекратную сумму. Очень хорошая работа, давно не держал на руках такую книгу, с удовольствием читаю. Это учебник только по статистике и анализу данных. Необходимый минимум материала по теории вероятностей вынесен в приложения. Книга очень напоминает "

Мимоходом

2008-01-19T17:51:00.000+03:00

На лабораторные нет ни времени, ни идей. Я конечно что - то делаю, но так, по мелочи - ничего интересного не получается. Поигрался с картами Кохонена (пакет RWeka не потребовался) - результаты ожидаемые. Осваивал карты на выборных данных - ничего необычного, 3 кластера (нет, не левые - центр - правые, а то, что я назвал бы: протестные, едро, лузиры ). Любопытно, правда как прошла кластеризация

Красивости

2008-01-04T21:51:00.000+03:00

Сегодня с искренним удивлением обнаружил, что IE не совем корректно отображает записи и форматирует код. Кроме того, захотелось подсветки синтаксиса. Подсветку нашёл на прогрессивном и идеологически дружественном блоге sunday-lab. И с форматированием повозился. Что теперь будет под файрфоксом боюсь представить.

Мимоходом

2007-12-25T19:30:00.001+03:00

Почитал отрывки из книги о применении СОК в анализе финансовых данных. Понравилась четырнадцатая глава с конкретными рецептами - советами. Первая глава даёт хорошее представление о том, что есть СОК. Оцифровка любительская. Уважаю авторов сайта http://www.omegahat.org и пакетов, выложенных на нём. В основном там разнообразные привязки, как, например, Rlibstree к http://www.icir.org/christian/

День пятый (пакет XML)

2007-12-19T14:45:00.001+03:00

ЗАДАЧА Выполнить синтаксический анализ HTML документа, выяснить возможности выполнения XPath запросов. РЕШЕНИЕ Некоторое время я потратил на "ложный след" - решил проводить вычистку (xml-изацию) документа с помощью JTidy. В связи с чем поставил rJava. К сожалению, это пакет не очень продуман в плане удобства пользования - пользователь обязывается использовать соглашения JNI для именования типов

День четвёртый (web harvesting)

2007-12-06T12:47:00.001+03:00

ЗАДАЧА Для работы с данными из веба надо сначало извлечь их. Затем сконвертировать в объекты, понимаемые R. Поскольку содержание страниц может меняться, надо как - то автоматизировать сбор данных, по возможности сделав его устойчивым к изменению страницы или, по крайней мере, легко модифицируемым. РЕШЕНИЕ Полностью автоматизировать сбор, основываясь, например, на регулярности элементов DOM не

А мне книгу дали

2007-11-02T20:45:00.000+03:00

Читать времени нет, но отдавать пора. Я отсканировал из неё интересные места. Книга называется что - то вроде: "Анализ финансовых данных и самоорганизующиеся карты Кохонена." Прикладной направленности книга. Но к моим данным, как можно применять SOM, пока не вижу. Хотя для первичного анализа очень симпатично смотрятся картинки, да. Выложу сканы с соответствующей меткой. Забавно - в процессе

День третий (an investigation)

2007-10-22T13:49:00.000+04:00

TASK An Investigation. R and tail recursion. Lazy evaluation in R. SOLUTION With a Google's help i found this message: http://finzi.psych.upenn.edu/R/Rhelp02a/archive/73651.html > Some functional languages have a feature called tail recursion that > can provide performance improvements if you write your recursions > to take advantage of it: > > http://en.wikipedia.org/wiki/

День второй (lazy list)

2007-10-20T11:45:00.000+04:00

ЗАДАЧА Реализация ленивых списков и ленивых вычислений над ними. РЕШЕНИЕ Первоначально я сконструировал список так: > nums_from <-function(n) c(function() n, function() c(function() n + 1, function() nums_from(n + 2))) Сразу же выяснил, что писать функции, работающие с ним не очень удобно: > ints <- nums_from(1) > ints[[1]]() [1] 1 > ints[[2]]()[[1]]() [

День первый (an arithmetic)

2007-10-17T23:59:00.001+04:00

ЗАДАЧА При некотором натуральном n числа 4n+5 и 9n+4 - точные квадраты. Доказать, что число 5n+4 делится на 29. РЕШЕНИЕ В действительности - это задача на вычеты, и не важно даже - точные квадраты первые два числа или нет. И вот почему: 9n + 4 - (4n + 5) = 5n - 1, 5n + 4 = 0 mod 29 <=> 5n - 1 = 24 mod 29 Используя R проверим: > ns <- 1:29 # а дальше повторы > ns[1] 1 2 3 4 5 6 7 8 9 10 11

Запись вводная

2007-10-14T21:19:00.000+04:00

Основные темы этих лабораторных записей: анализ данныхпрограммирование на языке R (и не только)R, как программаЗа образец взяты записки inferno программиста. Мотивы те же. Формат записей следующий: Задача - тема лабораторной Решение - решение, как я его вижу на текущий момент Вывод - оставлю как отдушину для графоманства )