Zotonic
Zotonic
zotonic@conference.zotonic.com
Sunday, 19 February 2012< ^ >
arjan has set the subject to: Zotonic - the Erlang CMS
Room Configuration

GMT+1
[09:17:27] Michael Connors joins the room
[09:21:03] Michael Connors leaves the room
[10:14:21] maas.maarten.zeeman joins the room
[10:45:09] maas.maarten.zeeman leaves the room
[10:50:05] maas.maarten.zeeman joins the room
[11:22:01] arjan leaves the room
[11:23:03] arjan joins the room
[11:32:07] <arjan> hey maas
[11:32:15] <arjan> ik probeerde gisteren je eiconv library
[11:32:24] <maas.maarten.zeeman> hey
[11:32:26] <arjan> werkt aardig goed
[11:32:32] <maas.maarten.zeeman> :-)
[11:32:39] <arjan> maar heb jij ervaring met de //translit en //ignore opties?
[11:32:49] <arjan> volgens de manual schijn je dat te kunnen toevoegen aan de output encoding
[11:33:00] <arjan> maar dat lijkt niet te werken
[11:33:09] <arjan> via erlang
[11:33:12] <maas.maarten.zeeman> ik gebruik hem voor channel met translit geloof ik
[11:33:25] <arjan> oh toch wel, hmm
[11:33:41] <maas.maarten.zeeman> ik geef die string gewoon door aan de onderliggende library. Verder doet de lib er niet zoveel mee.
[11:33:52] <arjan> dat dacht ik ook idd
[11:33:55] <arjan> vreemd
[11:34:01] <arjan> ik moest unicode -> utf8
[11:34:11] <arjan> twitter stuurt soms invalid unicode characters mee
[11:34:25] <maas.maarten.zeeman> hmm. zou het iets met end of string bytes te maken kunne hebben?
[11:34:41] <arjan> wat zijn dat?
[11:34:44] <maas.maarten.zeeman> gebruik hem meestal voor any in -> utf8
[11:34:54] <maas.maarten.zeeman> vooral russisch en chinees.
[11:35:04] <arjan> want het waren meestal 2 karakters aan het eind van de string idd
[11:35:16] <arjan> bijv. deze: [73,32,102,101,101,108,32,109,97,100,32,115,105,99,107,32,55357,56862]
[11:35:26] <arjan> die twee laatste zijn ongeldig
[11:35:39] <arjan> maar soms waren het er ook meer dan 2
[11:36:06] <maas.maarten.zeeman> aha ok. via de translit en ignore zou dat moeten werken dacht ik.
[11:36:27] <maas.maarten.zeeman> Veel van de erlang api functies werken met eos
[11:36:59] <maas.maarten.zeeman> dan weten ze de lengte niet meer. zou het even moeten checken met wat test input in een test-case.
[11:38:09] <arjan> mm
[11:38:45] <arjan> maak ik wel even
[11:40:25] arjan leaves the room
[11:40:31] <maas.maarten.zeeman> welke input encoding is dat dan?
[11:56:42] <maas.maarten.zeeman> hmm. kan iconv eigenlijk wel multi-byte input verwerken?
[12:06:55] <maas.maarten.zeeman> hmm, it is wel mogelijk, maar ik denk dat vanuit erlang vandaan er nog wat met erlangs versie van unicode gedaan moet worden om het iconv in te sturen.
[12:59:58] arjan joins the room
[13:00:23] <arjan> ben ik weer
[13:00:42] <arjan> hoe bedoel je dat?
[13:00:48] <arjan> (ik ben niet zo'n unicode held ;))
[13:04:45] <arjan> aaaaah
[13:04:46] <arjan> http://www.fileformat.info/info/unicode/char/1f61e/index.htm
[13:04:58] <arjan> 55357,56862
[13:10:35] <arjan> dus blijkbaar is het utf16 in erlang
[13:10:52] <arjan> dat wat twitter naar me stuurt
[13:12:03] <arjan> maar toch krijg ik hem niet door eiconv heen
[13:42:51] maas.maarten.zeeman leaves the room: Working from home
[15:51:23] maas.maarten.zeeman joins the room
[15:53:11] <maas.maarten.zeeman> was even weg. bezig met zoon onze eerste geocache op te speuren... utf16...
[15:53:46] <maas.maarten.zeeman> pff, moet er ook even induiken. Heb het nog alleen van 8-bit naar 8-bit coderingen.
[16:01:27] maas.maarten.zeeman leaves the room: Working from home
[16:31:53] maas.maarten.zeeman joins the room
[16:32:52] <maas.maarten.zeeman> Hoe krijg je die data binnen dan? Via inets httpc? Dan moet het in de header staan.
[16:42:20] maas.maarten.zeeman leaves the room
[18:00:20] maas.maarten.zeeman joins the room
[18:42:02] <arjan> ja via httpc idd
[18:42:07] <arjan> maar staat niet in de headers
[18:42:11] <arjan> twitter api
[18:42:17] <arjan> bij twitter zelf zijn ze er ook onduidelijk over
[18:42:21] <arjan> het zit in json gecodeerd
[18:43:06] <arjan> "\uD83D\uDE1E" stuurt twitter
[19:48:49] Maas-Maarten Zeeman joins the room
[19:55:43] <Maas-Maarten Zeeman> That is hex encoded utf-16 in a json string.
[19:58:21] <Maas-Maarten Zeeman> The rest is probably just ascii
[20:09:30] <Maas-Maarten Zeeman> You should be able to convert that to utf8 with unicode:characters_to_binary
[20:16:23] Maas-Maarten Zeeman leaves the room
[20:17:09] Maas-Maarten Zeeman joins the room
[20:18:45] <Maas-Maarten Zeeman> unicode:characters_to_binary([128542], utf16).
<<240,159,152,158>>
[20:18:53] <Maas-Maarten Zeeman> This works.
[20:24:09] <Maas-Maarten Zeeman> this is the utf8 encoding of the sad face
[21:04:55] <arjan> nice
[21:05:39] <maas.maarten.zeeman> via de utf16 lukt het me nog niet.
[21:07:02] <maas.maarten.zeeman> unicode:characters_to_binary([55357, 56862], utf16). -> error
[21:07:11] <arjan> yup same here
[21:07:28] <arjan> vreemd
[21:07:58] <arjan> oh nee,
[21:08:01] <maas.maarten.zeeman> Best wel. Het zou moeten werken
[21:08:13] <maas.maarten.zeeman> erlang en unicode.....
[21:08:21] <arjan> [55357, 56862] is natuurlijk in utf16
[21:08:42] <arjan> *niet* in unicode
[21:08:44] <maas.maarten.zeeman> en [128542] niet.... dat is utf32
[21:09:28] <arjan> moet eerst utf16 -> unicode
[21:09:32] <arjan> en dan unicode -> utf8
[21:09:33] <maas.maarten.zeeman> gek genoeg kijkt characters_to_binary er niet naar
[21:09:56] <maas.maarten.zeeman> erlang gebruikt intern utf8 geloof ik
[21:11:03] <maas.maarten.zeeman> bij python snap ik het nog, maar bij erlang?
[21:11:46] <arjan> nee ik snap het idd niet
[21:12:25] <maas.maarten.zeeman> volgens mij is unicode in erlang een list met integers
[21:12:45] <maas.maarten.zeeman> dus characters to binary werkt dan niet.
[21:13:25] <maas.maarten.zeeman> want [55357, 56862] zijn geen characters
[21:14:38] <arjan> maar daar kan je wel een input encoding aan geven
[21:15:02] <maas.maarten.zeeman> o ja.
[21:15:14] <maas.maarten.zeeman> even checken of de bit syntax werkt
[21:17:04] <maas.maarten.zeeman> grappig.. de utf32 wel. <<128542/utf32>>. <<0,1,246,30>>
[21:24:53] <maas.maarten.zeeman> got it.
[21:25:00] <maas.maarten.zeeman> :-)
[21:25:18] <maas.maarten.zeeman> Dit is geen utf-16 (volgens erlang)
[21:25:36] <maas.maarten.zeeman> Moet via een omweggetje... eerst een binary maken
[21:25:46] <maas.maarten.zeeman> B = <<55357:16/big-unsigned-integer, 56862:16/big-unsigned-integer>>. <<216,61,222,30>>
[21:25:58] <maas.maarten.zeeman> dan werkt characters to binary wel
[21:26:05] <maas.maarten.zeeman> unicode:characters_to_binary(B, utf16). <<240,159,152,158>>
[21:26:24] <maas.maarten.zeeman> snap jij het nog?
[21:28:01] <arjan> ah
[21:28:37] <maas.maarten.zeeman> Blijkbaar kan ie wel utf16 decoden, maar dan moet het in een binary zitten
[21:29:29] <arjan> maar hoe maak ik een binary van zo'n lijst :)
[21:30:12] <arjan> anyway
[21:30:24] <arjan> ik ga afk, bedankt voor je hulp, weer wat geleerd vandaag :)
[21:30:52] <maas.maarten.zeeman> me too. moet nog even een nettopje bestellen :-)
[21:31:16] arjan leaves the room
[21:31:56] <maas.maarten.zeeman> zag iets in mochijson2.erl
[22:57:47] maas.maarten.zeeman leaves the room
[23:39:10] Maas-Maarten Zeeman leaves the room
Powered by ejabberd Powered by Erlang Valid XHTML 1.0 Transitional Valid CSS!