r - fread error "unexpected character ending field" -
could please me?
i trying load large tsv file (4 mln rows), , using 'fread' (enormous speed :)
problem when reaching line program crashes. last message verbose "bumping column 12 int64 real on data row 2220004, field contains '0.54'"
i tried copy till row 'skip' option - worked fine, after when trying copy last rows thrown error: unexpected character ("Ам) ending field 5 of line 2220005
after tried disable header, drop 12th column, input column classes - nothing worked.
any ideas how overcome issue?
my code:
library(data.table) movies <- fread('avito_train.tsv', verbose=true, nrows=2220002) movies2 <- fread('avito_train.tsv', verbose=true, sep="\t", skip=2220004, colclasses=c("integer", "character", "character","character","character", "character","integer","integer","integer","integer","integer","real", "numeric")) oh if change text withing tsv file in slavic.
it works fine me using latest version of data.table github. 2 recent changes in readme may have solved :
fread() :
* accepts line breaks inside quoted fields. clayton stanley highlighting :
fread , quoted multi-line column value
* accepts trailing backslash in quoted fields. user2970844 highlighting :
fread , column trailing backslash
here output (on slow netbook 4gb ram struggles gets there) :
$ file avito_train.tsv avito_train.tsv: utf-8 unicode text, long lines > dt = fread("downloads/avito_train.tsv",verbose=true) input contains no \n. taking filename open file opened, filesize 2.915 gb file opened , mapped ok detected eol \n (no \r afterwards), unix , mac standard. using line 30 detect sep (the last non blank line in first 'autostart') ... sep='\t' found 13 columns first row 13 fields occurs on line 1 (either column names or first row of data) fields on line 1 character fields. treating column names. count of eol after first data row: 3995804 subtracted 1 last eol , trailing empty lines, leaving 3995803 data rows type codes ( first 5 rows): 1444441111113 type codes (+ middle 5 rows): 1444441111113 type codes (+ last 5 rows): 1444441111113 type codes: 1444441111113 (after applying colclasses , integer64) type codes: 1444441111113 (after applying drop or select (if supplied) allocating 13 column slots (13 - 0 dropped) read 3995803 rows , 13 (of 13) columns 2.915 gb file in 00:10:49 82.590s ( 13%) memory map (rerun may quicker) 2.930s ( 0%) sep , header detection 68.290s ( 11%) count rows (wc -l) 0.000s ( 0%) column type detection (first, middle , last 5 rows) 3.550s ( 1%) allocation of 3995803x13 result (xmb) in ram 491.590s ( 76%) reading data 0.000s ( 0%) allocation type bumps (if any), including gc time if triggered 0.000s ( 0%) coercing data read in type bumps (if any) 0.080s ( 0%) changing na.strings na 649.030s total .
> head(dt) itemid category subcategory title 1: 10000010 Транспорт Автомобили с пробегом toyota sera, 1991 2: 10000025 Услуги Предложения услуг Монтаж кровли 3: 10000094 Личные вещи Одежда, обувь, аксессуары Костюм steilmann 4: 10000101 Транспорт Автомобили с пробегом ford focus, 2011 5: 10000132 Транспорт Запчасти и аксессуары Турбина 3.0 bar 6: 10000152 Транспорт Автомобили с пробегом ВАЗ 2115 samara, 2005 description 1: Новая оригинальная линзованая оптика на ксеноне (ближний, дальний), новые задние фонари, новые 16-е диски, новая передняя резина, задние с небольшим износом. ^p Срочно! Торг! ^p Актуально, пока висит объявление!!! 2: Выполняем монтаж кровли фальцевой ^p Тел:8@@phone@@ 3: Юбка и топ из панбархата. Под топ трикотажная майка. vобразный вырез спереди и сзади. На юбке по подолу мягкий волан. Длина приблизительно по колено (+3-4 см). Размер 40 4: Автомобиль в отличном техническом состоянии, все работает, включается, переключается и т.д. Нареканий по подвеске, коробке и двигателю нет. Два комплекта резины зима/лето в отличном состоянии. Продается СРОЧНО в связи с семейными обстоятельствами!!! Возможен ТОРГ при осмотре в разумных пределах. 5: Продам турбину на двигатель v-6 . v-8 и мощнее 16 клапанов и выше..... 6: Автомабиль вхорошем состаянием НЕ ГНЕЛАЯ борт комп музыка званите всё раскажу званите влюбое время 8 @@phone@@ attrs 1: {""Год выпуска"":""1991"", ""Тип кузова"":""Купе"", ""Пробег"":""10 000 - 14 999"", ""Коробка передач"":""Автоматическая"", ""Объем двигателя"":""1.5"", ""Тип двигателя"":""Бензиновый"", ""Марка"":""toyota"", ""Модель"":""sera"", ""Цвет"":""Оранжевый"", ""Привод"":""Передний"", ""Руль"":""Правый"", ""Состояние"":""Не битый""} 2: {""Вид услуги"":""Ремонт, строительство""} 3: {""Вид одежды"":""Женская одежда"", ""Предмет одежды"":""Платья и юбки"", ""Размер"":""46–48 (l)""} 4: {""Марка"":""ford"", ""Модель"":""focus"", ""Год выпуска"":""2011"", ""Пробег"":""80 000 - 84 999"", ""Тип кузова"":""Седан"", ""Цвет"":""Чёрный"", ""Объём двигателя"":""1.6"", ""Коробка передач"":""Механическая"", ""Тип двигателя"":""Бензиновый"", ""Привод"":""Передний"", ""Руль"":""Левый"", ""Состояние"":""Не битый""} 5: {""Вид товара"":""Запчасти"", ""Тип товара"":""Для автомобилей""} 6: {""Марка"":""ВАЗ (lada)"", ""Модель"":""2115 samara"", ""Год выпуска"":""2005"", ""Пробег"":""140 000 - 149 999"", ""Тип кузова"":""Седан"", ""Цвет"":""Синий"", ""Объём двигателя"":""1.5"", ""Коробка передач"":""Механическая"", ""Тип двигателя"":""Бензиновый"", ""Привод"":""Передний"", ""Руль"":""Левый"", ""Состояние"":""Не битый""} price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours 1: 150000 na 0 0 0 0 0.03 2: 0 na 0 1 0 0 22.38 3: 1500 na 0 0 0 0 0.41 4: 365000 na 0 0 0 0 8.87 5: 5000 na 0 0 0 0 11.82 6: 0 na 0 1 0 0 22.55 .
> tail(dt) itemid category subcategory title 1: 99999929 Для дома и дачи Ремонт и строительство Алюминиевые раздвижки профиль проведал 2: 99999962 Транспорт Запчасти и аксессуары bridgestone-blizzak ws-60-225/50 r17-зима-комплект 3: 99999973 Недвижимость Квартиры 1-к квартира, 39 м² 4: 99999974 Услуги Предложения услуг Ремонт, отделочные работы под ключ 5: 99999977 Бытовая электроника Аудио и видео nokia оригинал 6: 99999982 Личные вещи Товары для детей и игрушки Продам мобиль на кроватку description 1: 2 одинаковых балкона размер 1560(ширина)*1050(высота) по две секции , на 2 полозных рамах,белые,новые.В комплекте есть зацепы и язычки для замков.Баконы абсолютно новые(ошиблись в размере,не устанавливались)Цена 4000 одна конструкция,две отдам за 7000. 2: Комплект 4 шины. Протектор 5-6 мм,равномерный износ. ^p Стоимость комплекта 16 000 рублей ^p Дополнительные номера телефонов ^p 8-@@phone@@ 3: пустая.после ремонта.риэлтор 4: Отделочные работы. Комплексный ремонт квартир, домов. ^p - выравнивание стен, потолков ^p - гипсокартон ^p - устройство откосов ^p - шпаклёвка ^p - окраска водоимульсионными составами ^p - обои 5: в отличном состоянии 6: Механический.В отличном состоянии.Также могу отдать крепеж,но он переломлен пополам,но там вполне можно склеить клеем и прослужит еще(фото). attrs price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours 1: {""Вид товара"":""Окна и балконы""} 4000 na 0 0 0 0 0.69 2: {""Вид товара"":""Шины, диски и колёса"", ""Тип товара"":""Шины""} 16000 na 0 1 0 0 0.04 3: {""Тип объявления"":""Сдам"", ""Количество комнат"":""1"", ""Срок аренды"":""На длительный срок"", ""Адрес"":""Автовокзал""} 11000 na 0 0 0 0 0.20 4: {""Вид услуги"":""Ремонт, строительство""} 0 na 0 0 0 0 23.50 5: {""Вид товара"":""Наушники""} 300 na 0 0 0 0 5.72 6: {""Вид товара"":""Игрушки""} 300 na 0 0 0 0 19.08 .
> dim(dt) [1] 3995803 13 .
$ lscpu architecture: x86_64 cpu op-mode(s): 32-bit, 64-bit byte order: little endian cpu(s): 2 on-line cpu(s) list: 0,1 thread(s) per core: 1 core(s) per socket: 2 socket(s): 1 numa node(s): 1 vendor id: authenticamd cpu family: 20 model: 2 stepping: 0 cpu mhz: 800.000 # i.e. slow netbook (4gb ram) bogomips: 1995.01 virtualisation: amd-v l1d cache: 32k l1i cache: 32k l2 cache: 512k numa node0 cpu(s): 0,1
Comments
Post a Comment