QGIS version 1.8の文字化けに関して

Previous Topic Next Topic
 
classic Classic list List threaded Threaded
19 messages Options
Reply | Threaded
Open this post in threaded view
|

QGIS version 1.8の文字化けに関して

NUIMURA, Takayuki
みなさま、


名古屋大学の縫村です。
悪名高いQGIS version 1.8の日本語文字化けに関して、以下のようにすることで
回避することができることがわかりました(既知の解決方法でしたらすみません)。

・Windowsのスタンドアローン版の場合
C:\Program Files (x86)\Quantum GIS Lisboa\binフォルダにあるqgis.batファ
イルの2行目に以下の行を加えます。
SET SHAPE_ENCODING=UTF-8


・Ubuntu Linuxの場合
ターミナルで以下のコマンドを実行してQGISを起動する
SHAPE_ENCODING=UTF-8
export SHAPE_ENCODING
qgis

参考サイト:
http://hub.qgis.org/issues/5255


Mac環境が無いため、Macでも上記のUbuntuの方法で対応できるのか確認できずに
困っています。どなたかMacユーザーの方、情報をいただけると助かります。

よろしくお願いいたします。



--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:+81-52-789-3479, Fax:+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Toshikazu SETO-2
瀬戸です。

Mac Book air(late-2010/OSX 10.8.2)で、Macportsを介してQGIS1.8.0を
インストールしましたが、shpファイルを読み込む際にshift-JISを指定しておくと
文字化けは発生していないようです。

Macには、馬場さんがcontributorをされているFinkを用いたコンパイル方法
バイナリ配布を行なっているKyngChaosのバージョンhttp://www.kyngchaos.com/
さまざまありますので、その他でもできるかもしれません。



"NUIMURA, Takayuki" <[hidden email]> wrote:

>みなさま、
>
>
>名古屋大学の縫村です。
>悪名高いQGIS version 1.8の日本語文字化けに関して、以下のようにすることで
>回避することができることがわかりました(既知の解決方法でしたらすみません)。
>
>・Windowsのスタンドアローン版の場合
>C:\Program Files (x86)\Quantum GIS Lisboa\binフォルダにあるqgis.batファ
>イルの2行目に以下の行を加えます。
>SET SHAPE_ENCODING=UTF-8
>
>
>・Ubuntu Linuxの場合
>ターミナルで以下のコマンドを実行してQGISを起動する
>SHAPE_ENCODING=UTF-8
>export SHAPE_ENCODING
>qgis
>
>参考サイト:
>http://hub.qgis.org/issues/5255
>
>
>Mac環境が無いため、Macでも上記のUbuntuの方法で対応できるのか確認できずに
>困っています。どなたかMacユーザーの方、情報をいただけると助かります。
>
>よろしくお願いいたします。
>
>
>
>--
>Takayuki NUIMURA
>Graduate School of Environmental Studies, Nagoya University
>D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>Phone:+81-52-789-3479, Fax:+81-52-789-3436
>
>縫村崇行
>名古屋大学大学院 環境学研究科
>〒464-8601 名古屋市千種区不老町D2-1(510)
>Phone/FAX:052-789-3479
>
>E-mail: [hidden email]
>Skype: t_nuimura
>_______________________________________________
>OSGeoJapan-discuss mailing list
>[hidden email]
>http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>

--
Toshikazu SETO
Postdoctoral Fellow
Ritsumeikan University
e-mail: [hidden email]
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

kouichi kita
In reply to this post by NUIMURA, Takayuki

北海道の喜多です。
WindowsXPのスタンドアローン版で試してみました。
Shift-JISのshapefile は、属性データのフィールド名はOKでしたが、データは文字化けしました。何も改編していないものとは違う文字に化けていました。
試したデータは基盤地図情報を変換ツールでshapefile に変換した行政区画です。
「UTF-8」を「CP932」とか「SHIFT -JIS」などに変えてもダメでした。

shift -JISでも化けない方法があれば教えてほしいです。私たちの仕事で使うデータはすべてShift -JIS で作られているものですから・・・・。
現在公開されている、OSGEO4W版もShift-JIS は文字化けします。

現状では、1.7.4か、NEXT-GIS を使うしか無いようです。

よろしくお願いします。

2012/10/04 17:44 "NUIMURA, Takayuki" <[hidden email]>:
みなさま、


名古屋大学の縫村です。
悪名高いQGIS version 1.8の日本語文字化けに関して、以下のようにすることで
回避することができることがわかりました(既知の解決方法でしたらすみません)。

・Windowsのスタンドアローン版の場合
C:\Program Files (x86)\Quantum GIS Lisboa\binフォルダにあるqgis.batファ
イルの2行目に以下の行を加えます。
SET SHAPE_ENCODING=UTF-8


・Ubuntu Linuxの場合
ターミナルで以下のコマンドを実行してQGISを起動する
SHAPE_ENCODING=UTF-8
export SHAPE_ENCODING
qgis

参考サイト:
http://hub.qgis.org/issues/5255


Mac環境が無いため、Macでも上記のUbuntuの方法で対応できるのか確認できずに
困っています。どなたかMacユーザーの方、情報をいただけると助かります。

よろしくお願いいたします。



--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436">+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss

_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Minoru Akagi
はじめまして,

赤木と申します。

> SET SHAPE_ENCODING=UTF-8
とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。

SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
QGIS master 1.9では「Ignore shapefile encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
SET SHAPE_ENCODING=DUMMY

DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。


赤木 実
http://space.geocities.jp/bischofia_vb/
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Minoru Akagi
すみません,訂正です

> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
と先ほど書きましたが,スタンドアロン版(1.8)で確認したところ文字化けしてしまっています。
スタンドアロン版のgdal19.dllはTestCapability(OLCStringsAsUTF8)に関する変更が行われる前のものです。
スタンドアロン版ではgdal19.dllを新しいもの(OSGeo4W版のもの)に置き換えるという対処も必要です。

赤木 実
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

NUIMURA, Takayuki
In reply to this post by Minoru Akagi
瀬戸さん、 喜多さん、赤木さん、及びdiscuss MLのみなさま、


縫村です。
文字化けに関する情報いただきありがとうございました。
これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
変勉強になりました。

赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
きますね。





On 2012/10/05 11:23, Minoru Akagi wrote:

> はじめまして,
>
> 赤木と申します。
>
>> SET SHAPE_ENCODING=UTF-8
> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>
> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
> QGIS master 1.9では「Ignore shapefile
> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
> SET SHAPE_ENCODING=DUMMY
>
> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>
>
> 赤木 実
> http://space.geocities.jp/bischofia_vb/
>
>
>
> --
> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
> _______________________________________________
> OSGeoJapan-discuss mailing list
> [hidden email]
> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>


--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:+81-52-789-3479, Fax:+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Nobusuke Iwasaki-3
縫村さん,みなさん

いわさきです。
貴重な情報ありがとうございます。参考になりました。

今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。

また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。

2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:

> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>
>
> 縫村です。
> 文字化けに関する情報いただきありがとうございました。
> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
> 変勉強になりました。
>
> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
> きますね。
>
>
>
>
>
> On 2012/10/05 11:23, Minoru Akagi wrote:
>> はじめまして,
>>
>> 赤木と申します。
>>
>>> SET SHAPE_ENCODING=UTF-8
>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>
>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>> QGIS master 1.9では「Ignore shapefile
>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>> SET SHAPE_ENCODING=DUMMY
>>
>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>
>>
>> 赤木 実
>> http://space.geocities.jp/bischofia_vb/
>>
>>
>>
>> --
>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>> _______________________________________________
>> OSGeoJapan-discuss mailing list
>> [hidden email]
>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>
>
>
> --
> Takayuki NUIMURA
> Graduate School of Environmental Studies, Nagoya University
> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>
> 縫村崇行
> 名古屋大学大学院 環境学研究科
> 〒464-8601 名古屋市千種区不老町D2-1(510)
> Phone/FAX:052-789-3479
>
> E-mail: [hidden email]
> Skype: t_nuimura
> _______________________________________________
> OSGeoJapan-discuss mailing list
> [hidden email]
> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss



--
岩崎 亘典
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Yoichi Kayama
かやまです

縫村さん
赤木さん

情報ありがとうございます。
OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
ですがいかがでしょうか?

別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
ファイルは文字化けせずによむことができました。

FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
つかうとだめなようです。

今のとこカラム名に日本語使わなないほうがいいかもしれません。


2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:

> 縫村さん,みなさん
>
> いわさきです。
> 貴重な情報ありがとうございます。参考になりました。
>
> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>
> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>
> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>
>>
>> 縫村です。
>> 文字化けに関する情報いただきありがとうございました。
>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>> 変勉強になりました。
>>
>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>> きますね。
>>
>>
>>
>>
>>
>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>> はじめまして,
>>>
>>> 赤木と申します。
>>>
>>>> SET SHAPE_ENCODING=UTF-8
>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>
>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>> QGIS master 1.9では「Ignore shapefile
>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>> SET SHAPE_ENCODING=DUMMY
>>>
>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>
>>>
>>> 赤木 実
>>> http://space.geocities.jp/bischofia_vb/
>>>
>>>
>>>
>>> --
>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>> _______________________________________________
>>> OSGeoJapan-discuss mailing list
>>> [hidden email]
>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>
>>
>>
>> --
>> Takayuki NUIMURA
>> Graduate School of Environmental Studies, Nagoya University
>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>
>> 縫村崇行
>> 名古屋大学大学院 環境学研究科
>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>> Phone/FAX:052-789-3479
>>
>> E-mail: [hidden email]
>> Skype: t_nuimura
>> _______________________________________________
>> OSGeoJapan-discuss mailing list
>> [hidden email]
>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>
>
>
> --
> 岩崎 亘典
> _______________________________________________
> OSGeoJapan-discuss mailing list
> [hidden email]
> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

NUIMURA, Takayuki
縫村です。


皆さんのご協力のおかげで、どのような場合に文字化けするのかが大分把握でき
てきました。ありがとうございます。


>嘉山さん
OSGeo4Wでの新規Shapefile作成ですが、作成時にUTF-8で作ると文字化けは起こ
りませんでした。また、FieldCalclaterで日本語カラムのデータを別の日本語カ
ラムに値(テキスト)をコピーする計算を行ったところ、問題なく実行できました。

使用環境は
Windows 7 x64
OSGeo4W内のパッケージは以下の通り
QGIS 1.8.0-3
gdal 1.9.1-2

もしよろしければ、嘉山さんの環境でUTF-8で新規Shapefile作成をして確認頂け
ませんでしょうか?

ですが、プラグインなどによってはエラーが無いとは言いきれないので、カラム
名に日本語はなるべく使わないほうが良いと講習会では紹介しようと思います。




On 2012/10/05 14:14, Yoichi Kayama wrote:

> かやまです
>
> 縫村さん
> 赤木さん
>
> 情報ありがとうございます。
> OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
> カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
> ですがいかがでしょうか?
>
> 別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
> ファイルは文字化けせずによむことができました。
>
> FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
> つかうとだめなようです。
>
> 今のとこカラム名に日本語使わなないほうがいいかもしれません。
>
>
> 2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:
>> 縫村さん,みなさん
>>
>> いわさきです。
>> 貴重な情報ありがとうございます。参考になりました。
>>
>> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>>
>> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>>
>> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>
>>>
>>> 縫村です。
>>> 文字化けに関する情報いただきありがとうございました。
>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>> 変勉強になりました。
>>>
>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>> きますね。
>>>
>>>
>>>
>>>
>>>
>>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>>> はじめまして,
>>>>
>>>> 赤木と申します。
>>>>
>>>>> SET SHAPE_ENCODING=UTF-8
>>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>>
>>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>>> QGIS master 1.9では「Ignore shapefile
>>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>>> SET SHAPE_ENCODING=DUMMY
>>>>
>>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>>
>>>>
>>>> 赤木 実
>>>> http://space.geocities.jp/bischofia_vb/
>>>>
>>>>
>>>>
>>>> --
>>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>>> _______________________________________________
>>>> OSGeoJapan-discuss mailing list
>>>> [hidden email]
>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>
>>>
>>>
>>> --
>>> Takayuki NUIMURA
>>> Graduate School of Environmental Studies, Nagoya University
>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>>
>>> 縫村崇行
>>> 名古屋大学大学院 環境学研究科
>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>> Phone/FAX:052-789-3479
>>>
>>> E-mail: [hidden email]
>>> Skype: t_nuimura
>>> _______________________________________________
>>> OSGeoJapan-discuss mailing list
>>> [hidden email]
>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>
>>
>>
>> --
>> 岩崎 亘典
>> _______________________________________________
>> OSGeoJapan-discuss mailing list
>> [hidden email]
>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss


--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:+81-52-789-3479, Fax:+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Yoichi Kayama
縫村さん

かやまです

qgis.bat  に以下の記述

SET SHAPE_ENCODING=UTF-8

Shapeファイルのエンコーディング指定を UTF-8に設定
(ベクトルレイヤの追加 ダイアログのエンコーディング指定 のとこを
UTF-8で選択。この設定はWinの場合レジストリか何かに残るようです。
プラグイン等でファイルを読む時に、ここのエンコーディング指定に影響されるので
注意が必要)

この状態で Shapeファイルの新規作成で日本語が化けません。

ただし、ShapeFileのフィールド名は利用できるバイト数が少ないので
注意が必要。UTF-8の場合日本語は1文字3バイトつかいます。
Shapeのカラムの長さは10バイトが最長なのでUTF-8の場合日本語3文字が
限界ではないでしょうか。



2012年10月5日 14:53 NUIMURA, Takayuki <[hidden email]>:

> 縫村です。
>
>
> 皆さんのご協力のおかげで、どのような場合に文字化けするのかが大分把握でき
> てきました。ありがとうございます。
>
>
>>嘉山さん
> OSGeo4Wでの新規Shapefile作成ですが、作成時にUTF-8で作ると文字化けは起こ
> りませんでした。また、FieldCalclaterで日本語カラムのデータを別の日本語カ
> ラムに値(テキスト)をコピーする計算を行ったところ、問題なく実行できました。
>
> 使用環境は
> Windows 7 x64
> OSGeo4W内のパッケージは以下の通り
> QGIS 1.8.0-3
> gdal 1.9.1-2
>
> もしよろしければ、嘉山さんの環境でUTF-8で新規Shapefile作成をして確認頂け
> ませんでしょうか?
>
> ですが、プラグインなどによってはエラーが無いとは言いきれないので、カラム
> 名に日本語はなるべく使わないほうが良いと講習会では紹介しようと思います。
>
>
>
>
> On 2012/10/05 14:14, Yoichi Kayama wrote:
>> かやまです
>>
>> 縫村さん
>> 赤木さん
>>
>> 情報ありがとうございます。
>> OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
>> カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
>> ですがいかがでしょうか?
>>
>> 別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
>> ファイルは文字化けせずによむことができました。
>>
>> FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
>> つかうとだめなようです。
>>
>> 今のとこカラム名に日本語使わなないほうがいいかもしれません。
>>
>>
>> 2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:
>>> 縫村さん,みなさん
>>>
>>> いわさきです。
>>> 貴重な情報ありがとうございます。参考になりました。
>>>
>>> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>>>
>>> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>>>
>>> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>>>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>>
>>>>
>>>> 縫村です。
>>>> 文字化けに関する情報いただきありがとうございました。
>>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>>> 変勉強になりました。
>>>>
>>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>>> きますね。
>>>>
>>>>
>>>>
>>>>
>>>>
>>>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>>>> はじめまして,
>>>>>
>>>>> 赤木と申します。
>>>>>
>>>>>> SET SHAPE_ENCODING=UTF-8
>>>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>>>
>>>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>>>> QGIS master 1.9では「Ignore shapefile
>>>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>>>> SET SHAPE_ENCODING=DUMMY
>>>>>
>>>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>>>
>>>>>
>>>>> 赤木 実
>>>>> http://space.geocities.jp/bischofia_vb/
>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>>>> _______________________________________________
>>>>> OSGeoJapan-discuss mailing list
>>>>> [hidden email]
>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>
>>>>
>>>>
>>>> --
>>>> Takayuki NUIMURA
>>>> Graduate School of Environmental Studies, Nagoya University
>>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>>>
>>>> 縫村崇行
>>>> 名古屋大学大学院 環境学研究科
>>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>>> Phone/FAX:052-789-3479
>>>>
>>>> E-mail: [hidden email]
>>>> Skype: t_nuimura
>>>> _______________________________________________
>>>> OSGeoJapan-discuss mailing list
>>>> [hidden email]
>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>
>>>
>>>
>>> --
>>> 岩崎 亘典
>>> _______________________________________________
>>> OSGeoJapan-discuss mailing list
>>> [hidden email]
>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>
>
> --
> Takayuki NUIMURA
> Graduate School of Environmental Studies, Nagoya University
> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>
> 縫村崇行
> 名古屋大学大学院 環境学研究科
> 〒464-8601 名古屋市千種区不老町D2-1(510)
> Phone/FAX:052-789-3479
>
> E-mail: [hidden email]
> Skype: t_nuimura
> _______________________________________________
> OSGeoJapan-discuss mailing list
> [hidden email]
> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Yoichi Kayama
縫村さん

みなさん

かやまです

Shapeファイルの日本語をUTF-8にする件ですが先ほど記述しました文字数の問題は
カラム名のところだけではなく、データの部分にも影響します。

Shapeファイルの属性フィールドで文字列型の長さは最大255バイトしか利用できません。
文字列フィールドの最大バイト数は数値で指定されているので、それ以上の長さのデータを
フィールドに格納することはできません。

ShftJISの場合日本語1文字が2バイトですのでShftJISで作成されたShapeFileを
UTF-8に変換する場合は日本語データのバイト数が多くなって元のフィールド長では
格納できなくなる場合があります。

また、フィールド長にしても最大255バイトなので、フィールド長を長くしても対応できない
場合がShftJIS->UTF-8変換ではあります。

このような不便があるのでShftJISで作成されているShapeファイルをUTF-8に変換すると
いうような作業をするよりはSpatialite等で日本語文字列がはいったデータを扱ったほうが
いいと思っています。
ただしQGISでのデータ加工結果はShapeFileでしか対応していない機能が多いので
その場合の日本語が大丈夫かとかの問題はあります。

既存のShapeFileの日本語はほとんどShftJISですからShiftJISのShapeFileを読む需要
はあります。



2012年10月5日 15:22 Yoichi Kayama <[hidden email]>:

> 縫村さん
>
> かやまです
>
> qgis.bat  に以下の記述
>
> SET SHAPE_ENCODING=UTF-8
>
> Shapeファイルのエンコーディング指定を UTF-8に設定
> (ベクトルレイヤの追加 ダイアログのエンコーディング指定 のとこを
> UTF-8で選択。この設定はWinの場合レジストリか何かに残るようです。
> プラグイン等でファイルを読む時に、ここのエンコーディング指定に影響されるので
> 注意が必要)
>
> この状態で Shapeファイルの新規作成で日本語が化けません。
>
> ただし、ShapeFileのフィールド名は利用できるバイト数が少ないので
> 注意が必要。UTF-8の場合日本語は1文字3バイトつかいます。
> Shapeのカラムの長さは10バイトが最長なのでUTF-8の場合日本語3文字が
> 限界ではないでしょうか。
>
>
>
> 2012年10月5日 14:53 NUIMURA, Takayuki <[hidden email]>:
>> 縫村です。
>>
>>
>> 皆さんのご協力のおかげで、どのような場合に文字化けするのかが大分把握でき
>> てきました。ありがとうございます。
>>
>>
>>>嘉山さん
>> OSGeo4Wでの新規Shapefile作成ですが、作成時にUTF-8で作ると文字化けは起こ
>> りませんでした。また、FieldCalclaterで日本語カラムのデータを別の日本語カ
>> ラムに値(テキスト)をコピーする計算を行ったところ、問題なく実行できました。
>>
>> 使用環境は
>> Windows 7 x64
>> OSGeo4W内のパッケージは以下の通り
>> QGIS 1.8.0-3
>> gdal 1.9.1-2
>>
>> もしよろしければ、嘉山さんの環境でUTF-8で新規Shapefile作成をして確認頂け
>> ませんでしょうか?
>>
>> ですが、プラグインなどによってはエラーが無いとは言いきれないので、カラム
>> 名に日本語はなるべく使わないほうが良いと講習会では紹介しようと思います。
>>
>>
>>
>>
>> On 2012/10/05 14:14, Yoichi Kayama wrote:
>>> かやまです
>>>
>>> 縫村さん
>>> 赤木さん
>>>
>>> 情報ありがとうございます。
>>> OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
>>> カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
>>> ですがいかがでしょうか?
>>>
>>> 別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
>>> ファイルは文字化けせずによむことができました。
>>>
>>> FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
>>> つかうとだめなようです。
>>>
>>> 今のとこカラム名に日本語使わなないほうがいいかもしれません。
>>>
>>>
>>> 2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:
>>>> 縫村さん,みなさん
>>>>
>>>> いわさきです。
>>>> 貴重な情報ありがとうございます。参考になりました。
>>>>
>>>> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>>>>
>>>> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>>>>
>>>> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>>>>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>>>
>>>>>
>>>>> 縫村です。
>>>>> 文字化けに関する情報いただきありがとうございました。
>>>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>>>> 変勉強になりました。
>>>>>
>>>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>>>> きますね。
>>>>>
>>>>>
>>>>>
>>>>>
>>>>>
>>>>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>>>>> はじめまして,
>>>>>>
>>>>>> 赤木と申します。
>>>>>>
>>>>>>> SET SHAPE_ENCODING=UTF-8
>>>>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>>>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>>>>
>>>>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>>>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>>>>> QGIS master 1.9では「Ignore shapefile
>>>>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>>>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>>>>> SET SHAPE_ENCODING=DUMMY
>>>>>>
>>>>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>>>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>>>>
>>>>>>
>>>>>> 赤木 実
>>>>>> http://space.geocities.jp/bischofia_vb/
>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>>>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>>>>> _______________________________________________
>>>>>> OSGeoJapan-discuss mailing list
>>>>>> [hidden email]
>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> Takayuki NUIMURA
>>>>> Graduate School of Environmental Studies, Nagoya University
>>>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>>>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>>>>
>>>>> 縫村崇行
>>>>> 名古屋大学大学院 環境学研究科
>>>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>>>> Phone/FAX:052-789-3479
>>>>>
>>>>> E-mail: [hidden email]
>>>>> Skype: t_nuimura
>>>>> _______________________________________________
>>>>> OSGeoJapan-discuss mailing list
>>>>> [hidden email]
>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>
>>>>
>>>>
>>>> --
>>>> 岩崎 亘典
>>>> _______________________________________________
>>>> OSGeoJapan-discuss mailing list
>>>> [hidden email]
>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>
>>
>> --
>> Takayuki NUIMURA
>> Graduate School of Environmental Studies, Nagoya University
>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>
>> 縫村崇行
>> 名古屋大学大学院 環境学研究科
>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>> Phone/FAX:052-789-3479
>>
>> E-mail: [hidden email]
>> Skype: t_nuimura
>> _______________________________________________
>> OSGeoJapan-discuss mailing list
>> [hidden email]
>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

NUIMURA, Takayuki
嘉山さん、


縫村です。
情報ありがとうございました。

UTF-8で新規にShapefileを作るのならともかく、Shapefile(ShiftJIS)から
Shapefile(UTF-8)への変換には多くの問題があるため避けるべきということです
ね。そしていずれにせよShapefileフォーマットでの日本語カラム名は避けるべ
きと。


GIS学会でのQGIS講習会では、
Windowsでは
OSGeo4WのQGIS1.8のqgis.batに"SET SHAPE_ENCODING=DUMMY"を追記するやり方

Ubuntuでは
export SHAPE_ENCODING=DUMMY
のあとにQGIS起動するやり方で
行いたいと思います。

なお講習会では、Shift-JISのShapefileを使用します(UTF-8への変換などは行
いません)。



今回の一連のやり取り非常に勉強になりました。
QGIS講習会の講義スライドにはこれらの情報をまとめて載せたいと思います。ま
た講習会後はWebにて公開する予定です。





On 10/05/2012 04:03 PM, Yoichi Kayama wrote:

> 縫村さん
>
> みなさん
>
> かやまです
>
> Shapeファイルの日本語をUTF-8にする件ですが先ほど記述しました文字数の問題は
> カラム名のところだけではなく、データの部分にも影響します。
>
> Shapeファイルの属性フィールドで文字列型の長さは最大255バイトしか利用できません。
> 文字列フィールドの最大バイト数は数値で指定されているので、それ以上の長さのデータを
> フィールドに格納することはできません。
>
> ShftJISの場合日本語1文字が2バイトですのでShftJISで作成されたShapeFileを
> UTF-8に変換する場合は日本語データのバイト数が多くなって元のフィールド長では
> 格納できなくなる場合があります。
>
> また、フィールド長にしても最大255バイトなので、フィールド長を長くしても対応できない
> 場合がShftJIS->UTF-8変換ではあります。
>
> このような不便があるのでShftJISで作成されているShapeファイルをUTF-8に変換すると
> いうような作業をするよりはSpatialite等で日本語文字列がはいったデータを扱ったほうが
> いいと思っています。
> ただしQGISでのデータ加工結果はShapeFileでしか対応していない機能が多いので
> その場合の日本語が大丈夫かとかの問題はあります。
>
> 既存のShapeFileの日本語はほとんどShftJISですからShiftJISのShapeFileを読む需要
> はあります。
>
>
>
> 2012年10月5日 15:22 Yoichi Kayama <[hidden email]>:
>> 縫村さん
>>
>> かやまです
>>
>> qgis.bat  に以下の記述
>>
>> SET SHAPE_ENCODING=UTF-8
>>
>> Shapeファイルのエンコーディング指定を UTF-8に設定
>> (ベクトルレイヤの追加 ダイアログのエンコーディング指定 のとこを
>> UTF-8で選択。この設定はWinの場合レジストリか何かに残るようです。
>> プラグイン等でファイルを読む時に、ここのエンコーディング指定に影響されるので
>> 注意が必要)
>>
>> この状態で Shapeファイルの新規作成で日本語が化けません。
>>
>> ただし、ShapeFileのフィールド名は利用できるバイト数が少ないので
>> 注意が必要。UTF-8の場合日本語は1文字3バイトつかいます。
>> Shapeのカラムの長さは10バイトが最長なのでUTF-8の場合日本語3文字が
>> 限界ではないでしょうか。
>>
>>
>>
>> 2012年10月5日 14:53 NUIMURA, Takayuki <[hidden email]>:
>>> 縫村です。
>>>
>>>
>>> 皆さんのご協力のおかげで、どのような場合に文字化けするのかが大分把握でき
>>> てきました。ありがとうございます。
>>>
>>>
>>>> 嘉山さん
>>> OSGeo4Wでの新規Shapefile作成ですが、作成時にUTF-8で作ると文字化けは起こ
>>> りませんでした。また、FieldCalclaterで日本語カラムのデータを別の日本語カ
>>> ラムに値(テキスト)をコピーする計算を行ったところ、問題なく実行できました。
>>>
>>> 使用環境は
>>> Windows 7 x64
>>> OSGeo4W内のパッケージは以下の通り
>>> QGIS 1.8.0-3
>>> gdal 1.9.1-2
>>>
>>> もしよろしければ、嘉山さんの環境でUTF-8で新規Shapefile作成をして確認頂け
>>> ませんでしょうか?
>>>
>>> ですが、プラグインなどによってはエラーが無いとは言いきれないので、カラム
>>> 名に日本語はなるべく使わないほうが良いと講習会では紹介しようと思います。
>>>
>>>
>>>
>>>
>>> On 2012/10/05 14:14, Yoichi Kayama wrote:
>>>> かやまです
>>>>
>>>> 縫村さん
>>>> 赤木さん
>>>>
>>>> 情報ありがとうございます。
>>>> OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
>>>> カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
>>>> ですがいかがでしょうか?
>>>>
>>>> 別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
>>>> ファイルは文字化けせずによむことができました。
>>>>
>>>> FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
>>>> つかうとだめなようです。
>>>>
>>>> 今のとこカラム名に日本語使わなないほうがいいかもしれません。
>>>>
>>>>
>>>> 2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:
>>>>> 縫村さん,みなさん
>>>>>
>>>>> いわさきです。
>>>>> 貴重な情報ありがとうございます。参考になりました。
>>>>>
>>>>> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>>>>>
>>>>> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>>>>>
>>>>> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>>>>>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>>>>
>>>>>>
>>>>>> 縫村です。
>>>>>> 文字化けに関する情報いただきありがとうございました。
>>>>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>>>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>>>>> 変勉強になりました。
>>>>>>
>>>>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>>>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>>>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>>>>> きますね。
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>>>>>> はじめまして,
>>>>>>>
>>>>>>> 赤木と申します。
>>>>>>>
>>>>>>>> SET SHAPE_ENCODING=UTF-8
>>>>>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>>>>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>>>>>
>>>>>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>>>>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>>>>>> QGIS master 1.9では「Ignore shapefile
>>>>>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>>>>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>>>>>> SET SHAPE_ENCODING=DUMMY
>>>>>>>
>>>>>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>>>>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>>>>>
>>>>>>>
>>>>>>> 赤木 実
>>>>>>> http://space.geocities.jp/bischofia_vb/
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> --
>>>>>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>>>>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>>>>>> _______________________________________________
>>>>>>> OSGeoJapan-discuss mailing list
>>>>>>> [hidden email]
>>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Takayuki NUIMURA
>>>>>> Graduate School of Environmental Studies, Nagoya University
>>>>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>>>>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>>>>>
>>>>>> 縫村崇行
>>>>>> 名古屋大学大学院 環境学研究科
>>>>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>>>>> Phone/FAX:052-789-3479
>>>>>>
>>>>>> E-mail: [hidden email]
>>>>>> Skype: t_nuimura
>>>>>> _______________________________________________
>>>>>> OSGeoJapan-discuss mailing list
>>>>>> [hidden email]
>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> 岩崎 亘典
>>>>> _______________________________________________
>>>>> OSGeoJapan-discuss mailing list
>>>>> [hidden email]
>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>
>>>
>>> --
>>> Takayuki NUIMURA
>>> Graduate School of Environmental Studies, Nagoya University
>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>> Phone:+81-52-789-3479, Fax:+81-52-789-3436
>>>
>>> 縫村崇行
>>> 名古屋大学大学院 環境学研究科
>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>> Phone/FAX:052-789-3479
>>>
>>> E-mail: [hidden email]
>>> Skype: t_nuimura
>>> _______________________________________________
>>> OSGeoJapan-discuss mailing list
>>> [hidden email]
>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss


--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:+81-52-789-3479, Fax:+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

kouichi kita

縫村さん、赤木さん、嘉山さん、みなさま

北海道の喜多です。
今回のやり取りは大変貴重な情報でした。ありがとうございます。
私もブログや逆引き辞典などで紹介したいと思います。

早く本家のダウンロードファイルにも、今回の内容が反映されることを願っています。

2012/10/05 16:39 "nuimura" <[hidden email]>:
嘉山さん、


縫村です。
情報ありがとうございました。

UTF-8で新規にShapefileを作るのならともかく、Shapefile(ShiftJIS)から
Shapefile(UTF-8)への変換には多くの問題があるため避けるべきということです
ね。そしていずれにせよShapefileフォーマットでの日本語カラム名は避けるべ
きと。


GIS学会でのQGIS講習会では、
Windowsでは
OSGeo4WのQGIS1.8のqgis.batに"SET SHAPE_ENCODING=DUMMY"を追記するやり方

Ubuntuでは
export SHAPE_ENCODING=DUMMY
のあとにQGIS起動するやり方で
行いたいと思います。

なお講習会では、Shift-JISのShapefileを使用します(UTF-8への変換などは行
いません)。



今回の一連のやり取り非常に勉強になりました。
QGIS講習会の講義スライドにはこれらの情報をまとめて載せたいと思います。ま
た講習会後はWebにて公開する予定です。





On 10/05/2012 04:03 PM, Yoichi Kayama wrote:
> 縫村さん
>
> みなさん
>
> かやまです
>
> Shapeファイルの日本語をUTF-8にする件ですが先ほど記述しました文字数の問題は
> カラム名のところだけではなく、データの部分にも影響します。
>
> Shapeファイルの属性フィールドで文字列型の長さは最大255バイトしか利用できません。
> 文字列フィールドの最大バイト数は数値で指定されているので、それ以上の長さのデータを
> フィールドに格納することはできません。
>
> ShftJISの場合日本語1文字が2バイトですのでShftJISで作成されたShapeFileを
> UTF-8に変換する場合は日本語データのバイト数が多くなって元のフィールド長では
> 格納できなくなる場合があります。
>
> また、フィールド長にしても最大255バイトなので、フィールド長を長くしても対応できない
> 場合がShftJIS->UTF-8変換ではあります。
>
> このような不便があるのでShftJISで作成されているShapeファイルをUTF-8に変換すると
> いうような作業をするよりはSpatialite等で日本語文字列がはいったデータを扱ったほうが
> いいと思っています。
> ただしQGISでのデータ加工結果はShapeFileでしか対応していない機能が多いので
> その場合の日本語が大丈夫かとかの問題はあります。
>
> 既存のShapeFileの日本語はほとんどShftJISですからShiftJISのShapeFileを読む需要
> はあります。
>
>
>
> 2012年10月5日 15:22 Yoichi Kayama <[hidden email]>:
>> 縫村さん
>>
>> かやまです
>>
>> qgis.bat  に以下の記述
>>
>> SET SHAPE_ENCODING=UTF-8
>>
>> Shapeファイルのエンコーディング指定を UTF-8に設定
>> (ベクトルレイヤの追加 ダイアログのエンコーディング指定 のとこを
>> UTF-8で選択。この設定はWinの場合レジストリか何かに残るようです。
>> プラグイン等でファイルを読む時に、ここのエンコーディング指定に影響されるので
>> 注意が必要)
>>
>> この状態で Shapeファイルの新規作成で日本語が化けません。
>>
>> ただし、ShapeFileのフィールド名は利用できるバイト数が少ないので
>> 注意が必要。UTF-8の場合日本語は1文字3バイトつかいます。
>> Shapeのカラムの長さは10バイトが最長なのでUTF-8の場合日本語3文字が
>> 限界ではないでしょうか。
>>
>>
>>
>> 2012年10月5日 14:53 NUIMURA, Takayuki <[hidden email]>:
>>> 縫村です。
>>>
>>>
>>> 皆さんのご協力のおかげで、どのような場合に文字化けするのかが大分把握でき
>>> てきました。ありがとうございます。
>>>
>>>
>>>> 嘉山さん
>>> OSGeo4Wでの新規Shapefile作成ですが、作成時にUTF-8で作ると文字化けは起こ
>>> りませんでした。また、FieldCalclaterで日本語カラムのデータを別の日本語カ
>>> ラムに値(テキスト)をコピーする計算を行ったところ、問題なく実行できました。
>>>
>>> 使用環境は
>>> Windows 7 x64
>>> OSGeo4W内のパッケージは以下の通り
>>> QGIS 1.8.0-3
>>> gdal 1.9.1-2
>>>
>>> もしよろしければ、嘉山さんの環境でUTF-8で新規Shapefile作成をして確認頂け
>>> ませんでしょうか?
>>>
>>> ですが、プラグインなどによってはエラーが無いとは言いきれないので、カラム
>>> 名に日本語はなるべく使わないほうが良いと講習会では紹介しようと思います。
>>>
>>>
>>>
>>>
>>> On 2012/10/05 14:14, Yoichi Kayama wrote:
>>>> かやまです
>>>>
>>>> 縫村さん
>>>> 赤木さん
>>>>
>>>> 情報ありがとうございます。
>>>> OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
>>>> カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
>>>> ですがいかがでしょうか?
>>>>
>>>> 別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
>>>> ファイルは文字化けせずによむことができました。
>>>>
>>>> FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
>>>> つかうとだめなようです。
>>>>
>>>> 今のとこカラム名に日本語使わなないほうがいいかもしれません。
>>>>
>>>>
>>>> 2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:
>>>>> 縫村さん,みなさん
>>>>>
>>>>> いわさきです。
>>>>> 貴重な情報ありがとうございます。参考になりました。
>>>>>
>>>>> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>>>>>
>>>>> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>>>>>
>>>>> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>>>>>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>>>>
>>>>>>
>>>>>> 縫村です。
>>>>>> 文字化けに関する情報いただきありがとうございました。
>>>>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>>>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>>>>> 変勉強になりました。
>>>>>>
>>>>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>>>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>>>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>>>>> きますね。
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>>>>>> はじめまして,
>>>>>>>
>>>>>>> 赤木と申します。
>>>>>>>
>>>>>>>> SET SHAPE_ENCODING=UTF-8
>>>>>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>>>>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>>>>>
>>>>>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>>>>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>>>>>> QGIS master 1.9では「Ignore shapefile
>>>>>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>>>>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>>>>>> SET SHAPE_ENCODING=DUMMY
>>>>>>>
>>>>>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>>>>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>>>>>
>>>>>>>
>>>>>>> 赤木 実
>>>>>>> http://space.geocities.jp/bischofia_vb/
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> --
>>>>>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>>>>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>>>>>> _______________________________________________
>>>>>>> OSGeoJapan-discuss mailing list
>>>>>>> [hidden email]
>>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Takayuki NUIMURA
>>>>>> Graduate School of Environmental Studies, Nagoya University
>>>>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>>>>> Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436">+81-52-789-3436
>>>>>>
>>>>>> 縫村崇行
>>>>>> 名古屋大学大学院 環境学研究科
>>>>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>>>>> Phone/FAX:052-789-3479
>>>>>>
>>>>>> E-mail: [hidden email]
>>>>>> Skype: t_nuimura
>>>>>> _______________________________________________
>>>>>> OSGeoJapan-discuss mailing list
>>>>>> [hidden email]
>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> 岩崎 亘典
>>>>> _______________________________________________
>>>>> OSGeoJapan-discuss mailing list
>>>>> [hidden email]
>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>
>>>
>>> --
>>> Takayuki NUIMURA
>>> Graduate School of Environmental Studies, Nagoya University
>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>> Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436">+81-52-789-3436
>>>
>>> 縫村崇行
>>> 名古屋大学大学院 環境学研究科
>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>> Phone/FAX:052-789-3479
>>>
>>> E-mail: [hidden email]
>>> Skype: t_nuimura
>>> _______________________________________________
>>> OSGeoJapan-discuss mailing list
>>> [hidden email]
>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss


--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436">+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss

_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Hiroo Imaki
皆様、

大変参考になる情報有り難うございます。躊躇していましたが早速1.8.0にアップグレードして、文字化け問題も解消できました。以下に皆さんの情報をまとめて私なりに文字化け対処の手順をまとめてみましたのでどなたかの参考になればと思います。
http://www.geopacific.org/opensourcegis/qgis/qgis_install

今木

2012/10/5 喜多耕一 <[hidden email]>

縫村さん、赤木さん、嘉山さん、みなさま

北海道の喜多です。
今回のやり取りは大変貴重な情報でした。ありがとうございます。
私もブログや逆引き辞典などで紹介したいと思います。

早く本家のダウンロードファイルにも、今回の内容が反映されることを願っています。

2012/10/05 16:39 "nuimura" <[hidden email]>:

嘉山さん、


縫村です。
情報ありがとうございました。

UTF-8で新規にShapefileを作るのならともかく、Shapefile(ShiftJIS)から
Shapefile(UTF-8)への変換には多くの問題があるため避けるべきということです
ね。そしていずれにせよShapefileフォーマットでの日本語カラム名は避けるべ
きと。


GIS学会でのQGIS講習会では、
Windowsでは
OSGeo4WのQGIS1.8のqgis.batに"SET SHAPE_ENCODING=DUMMY"を追記するやり方

Ubuntuでは
export SHAPE_ENCODING=DUMMY
のあとにQGIS起動するやり方で
行いたいと思います。

なお講習会では、Shift-JISのShapefileを使用します(UTF-8への変換などは行
いません)。



今回の一連のやり取り非常に勉強になりました。
QGIS講習会の講義スライドにはこれらの情報をまとめて載せたいと思います。ま
た講習会後はWebにて公開する予定です。





On 10/05/2012 04:03 PM, Yoichi Kayama wrote:
> 縫村さん
>
> みなさん
>
> かやまです
>
> Shapeファイルの日本語をUTF-8にする件ですが先ほど記述しました文字数の問題は
> カラム名のところだけではなく、データの部分にも影響します。
>
> Shapeファイルの属性フィールドで文字列型の長さは最大255バイトしか利用できません。
> 文字列フィールドの最大バイト数は数値で指定されているので、それ以上の長さのデータを
> フィールドに格納することはできません。
>
> ShftJISの場合日本語1文字が2バイトですのでShftJISで作成されたShapeFileを
> UTF-8に変換する場合は日本語データのバイト数が多くなって元のフィールド長では
> 格納できなくなる場合があります。
>
> また、フィールド長にしても最大255バイトなので、フィールド長を長くしても対応できない
> 場合がShftJIS->UTF-8変換ではあります。
>
> このような不便があるのでShftJISで作成されているShapeファイルをUTF-8に変換すると
> いうような作業をするよりはSpatialite等で日本語文字列がはいったデータを扱ったほうが
> いいと思っています。
> ただしQGISでのデータ加工結果はShapeFileでしか対応していない機能が多いので
> その場合の日本語が大丈夫かとかの問題はあります。
>
> 既存のShapeFileの日本語はほとんどShftJISですからShiftJISのShapeFileを読む需要
> はあります。
>
>
>
> 2012年10月5日 15:22 Yoichi Kayama <[hidden email]>:
>> 縫村さん
>>
>> かやまです
>>
>> qgis.bat  に以下の記述
>>
>> SET SHAPE_ENCODING=UTF-8
>>
>> Shapeファイルのエンコーディング指定を UTF-8に設定
>> (ベクトルレイヤの追加 ダイアログのエンコーディング指定 のとこを
>> UTF-8で選択。この設定はWinの場合レジストリか何かに残るようです。
>> プラグイン等でファイルを読む時に、ここのエンコーディング指定に影響されるので
>> 注意が必要)
>>
>> この状態で Shapeファイルの新規作成で日本語が化けません。
>>
>> ただし、ShapeFileのフィールド名は利用できるバイト数が少ないので
>> 注意が必要。UTF-8の場合日本語は1文字3バイトつかいます。
>> Shapeのカラムの長さは10バイトが最長なのでUTF-8の場合日本語3文字が
>> 限界ではないでしょうか。
>>
>>
>>
>> 2012年10月5日 14:53 NUIMURA, Takayuki <[hidden email]>:
>>> 縫村です。
>>>
>>>
>>> 皆さんのご協力のおかげで、どのような場合に文字化けするのかが大分把握でき
>>> てきました。ありがとうございます。
>>>
>>>
>>>> 嘉山さん
>>> OSGeo4Wでの新規Shapefile作成ですが、作成時にUTF-8で作ると文字化けは起こ
>>> りませんでした。また、FieldCalclaterで日本語カラムのデータを別の日本語カ
>>> ラムに値(テキスト)をコピーする計算を行ったところ、問題なく実行できました。
>>>
>>> 使用環境は
>>> Windows 7 x64
>>> OSGeo4W内のパッケージは以下の通り
>>> QGIS 1.8.0-3
>>> gdal 1.9.1-2
>>>
>>> もしよろしければ、嘉山さんの環境でUTF-8で新規Shapefile作成をして確認頂け
>>> ませんでしょうか?
>>>
>>> ですが、プラグインなどによってはエラーが無いとは言いきれないので、カラム
>>> 名に日本語はなるべく使わないほうが良いと講習会では紹介しようと思います。
>>>
>>>
>>>
>>>
>>> On 2012/10/05 14:14, Yoichi Kayama wrote:
>>>> かやまです
>>>>
>>>> 縫村さん
>>>> 赤木さん
>>>>
>>>> 情報ありがとうございます。
>>>> OSGeo4Wでテストしてみたのですが、新規 Shapeレイヤを作成する時に
>>>> カラム名に日本語がはいっていると文字化けするとこは私のとこではそのままなの
>>>> ですがいかがでしょうか?
>>>>
>>>> 別のソフトで作られたShiftJIS日本語カラム名や日本語データが混在したShape
>>>> ファイルは文字化けせずによむことができました。
>>>>
>>>> FieldCalclater は日本語のデータはうまく扱えたけど、日本語のカラム名を
>>>> つかうとだめなようです。
>>>>
>>>> 今のとこカラム名に日本語使わなないほうがいいかもしれません。
>>>>
>>>>
>>>> 2012年10月5日 13:07 Nobusuke Iwasaki <[hidden email]>:
>>>>> 縫村さん,みなさん
>>>>>
>>>>> いわさきです。
>>>>> 貴重な情報ありがとうございます。参考になりました。
>>>>>
>>>>> 今度のGIS学会で特別セッションとしてローカライズの話題がありますが,そのような場所でもこういう問題をどうすればいいのか,対応策だけではなく,どの様に働きかけていくのかも含めて,話せればいいですね。
>>>>>
>>>>> また,以前嘉山さんが仰っていた気がするのですが,文字コード関係はちゃんと動いているのかどうかを確認するための標準的な手順を作った方がいいですね。
>>>>>
>>>>> 2012年10月5日 12:20 NUIMURA, Takayuki <[hidden email]>:
>>>>>> 瀬戸さん、   喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>>>>
>>>>>>
>>>>>> 縫村です。
>>>>>> 文字化けに関する情報いただきありがとうございました。
>>>>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>>>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>>>>> 変勉強になりました。
>>>>>>
>>>>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>>>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>>>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>>>>> きますね。
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> On 2012/10/05 11:23, Minoru Akagi wrote:
>>>>>>> はじめまして,
>>>>>>>
>>>>>>> 赤木と申します。
>>>>>>>
>>>>>>>> SET SHAPE_ENCODING=UTF-8
>>>>>>> とすればOGR Shapefileドライバが文字コード変換を行わないのでQGISから出力されるShapefileの文字化けがなくなります。
>>>>>>> しかし喜多さんのおっしゃるようにQGISでUTF-8ではないShapefileを読み込むと文字化けが生じます。QGISはOGRからUTF-8の文字列が渡されたとして処理してしまうからです。
>>>>>>>
>>>>>>> SHAPE_ENCODINGにUTF-8ではなく空文字列を設定すればOGR
>>>>>>> Shapefileドライバの文字コード変換が無効にされ,QGISでユーザが選択した文字コードで文字列が読み込まれるのですがWindowsでは環境変数に空文字列が設定できないようです。
>>>>>>> QGIS master 1.9では「Ignore shapefile
>>>>>>> encoding」というオプションが追加されており,そのオプションをチェックすればSHAPE_ENCODINGに空文字列が設定されて文字化けを回避できますが,1.9のリリースまで待てませんね。
>>>>>>> そこで,QGIS 1.8ではqgis.batに次の行を挿入してみて下さい。
>>>>>>> SET SHAPE_ENCODING=DUMMY
>>>>>>>
>>>>>>> DUMMYという存在しない文字コードを指定することでもOGR側の文字コード変換を無効にすることができます(OGRShapeLayerクラスのコンストラクタで行われる文字コード変換テストをわざと失敗させます)。
>>>>>>> スタンドアロン版とOSGeo4W版のどちらもこの方法で文字化けが回避できるはずです。
>>>>>>>
>>>>>>>
>>>>>>> 赤木 実
>>>>>>> http://space.geocities.jp/bischofia_vb/
>>>>>>>
>>>>>>>
>>>>>>>
>>>>>>> --
>>>>>>> View this message in context: http://osgeo-org.1560.n6.nabble.com/QGIS-version-1-8-tp5006318p5006532.html
>>>>>>> Sent from the OSGeo Japan Local Chapter mailing list archive at Nabble.com.
>>>>>>> _______________________________________________
>>>>>>> OSGeoJapan-discuss mailing list
>>>>>>> [hidden email]
>>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>>>
>>>>>>
>>>>>>
>>>>>> --
>>>>>> Takayuki NUIMURA
>>>>>> Graduate School of Environmental Studies, Nagoya University
>>>>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>>>>> Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479" target="_blank">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436" target="_blank">+81-52-789-3436
>>>>>>
>>>>>> 縫村崇行
>>>>>> 名古屋大学大学院 環境学研究科
>>>>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>>>>> Phone/FAX:<a href="tel:052-789-3479" value="+49527893479" target="_blank">052-789-3479
>>>>>>
>>>>>> E-mail: [hidden email]
>>>>>> Skype: t_nuimura
>>>>>> _______________________________________________
>>>>>> OSGeoJapan-discuss mailing list
>>>>>> [hidden email]
>>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> 岩崎 亘典
>>>>> _______________________________________________
>>>>> OSGeoJapan-discuss mailing list
>>>>> [hidden email]
>>>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
>>>
>>>
>>> --
>>> Takayuki NUIMURA
>>> Graduate School of Environmental Studies, Nagoya University
>>> D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
>>> Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479" target="_blank">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436" target="_blank">+81-52-789-3436
>>>
>>> 縫村崇行
>>> 名古屋大学大学院 環境学研究科
>>> 〒464-8601 名古屋市千種区不老町D2-1(510)
>>> Phone/FAX:<a href="tel:052-789-3479" value="+49527893479" target="_blank">052-789-3479
>>>
>>> E-mail: [hidden email]
>>> Skype: t_nuimura
>>> _______________________________________________
>>> OSGeoJapan-discuss mailing list
>>> [hidden email]
>>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss


--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:<a href="tel:%2B81-52-789-3479" value="+81527893479" target="_blank">+81-52-789-3479, Fax:<a href="tel:%2B81-52-789-3436" value="+81527893436" target="_blank">+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:<a href="tel:052-789-3479" value="+49527893479" target="_blank">052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss

_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss




--
Hiroo Imaki
[hidden email]
http://www.geopacific.org
にほんブログ村 アメリカ中西部情報・ファーゴな毎日


_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

OKI Miyuki
沖です。

 なんか忙しくて見てない間に、すっかり乗り遅れて
しまいました(>_<)。

 shape のフィールド名が文字化けするという話ですが、
手元の gdal-1.9.1 のソースでチェックすると、ちゃんと
対処されているように見えます。

 関係ありそうなのは、
ogrshapelayer.cpp というファイルのコンストラクタ
OGRShapeLayer::OGRShapeLayer
という中身で、

    if( CPLGetConfigOption( "SHAPE_ENCODING", NULL ) != NULL )
        osEncoding = CPLGetConfigOption( "SHAPE_ENCODING", "" );

というように、環境変数 SHAPE_ENCODING で元の文字コードが何かを
取得しているようです。

 ここの環境変数の指定ですが、ソースから推測すると、
CPLString OGRShapeLayer::ConvertCodePage( const char *pszCodePage )
という部分に書かれてまして、

SHAPE_ENCODING=LDID/932

と指定すれば、SJIS と判定してもらえそうな雰囲気です。

フィールド名の変換は、
shape2ogr.cpp というファイルの
OGRFeatureDefn *SHPReadOGRFeatureDefn
という所で、上記コードページに基いて

 CPLRecodeを通じ、UTF-8 に変換されている模様です。

とりあえず、参考まで


_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Toshikazu SETO-2
In reply to this post by NUIMURA, Takayuki
瀬戸です。

先日、macports版のQGIS(1.8)だと読めるとご連絡しましたが、
私の環境では、qgis本体以外のプラグイン等が古かったようで
クリーンインストールした状況だと(QGIS1.8-Python2.7-py27-gdal)他と同様に読めなくなってしまいました。

utf8の場合は問題ないのですが、linuxと同様に
$ SHAPE_ENCODING=UTF-8
$ export SHAPE_ENCODING
$ open qgis.app

でも駄目でした。設定の方法が根本的に違うのかもしれませんが、取り急ぎ。


"NUIMURA, Takayuki" <[hidden email]> wrote:

>瀬戸さん、 喜多さん、赤木さん、及びdiscuss MLのみなさま、
>
>
>縫村です。
>文字化けに関する情報いただきありがとうございました。
>これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>変勉強になりました。
>
>赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>きますね。


--
Toshikazu SETO
Postdoctoral Fellow
Ritsumeikan University
e-mail: [hidden email]
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Seino, Yoichi
清野です。

確認できないままになんとなく問題が解決してしまったっぽいのと、
私事のほうが忙しくて手が回らなかったのですが、
ちょっと違和感を感じています。

bashの環境変数の設定の部分で、
$ SHAPE_ENCODING=UTF-8
$ export SHAPE_ENCODING
と2行に渡ってshellに命令を投げていますが、
1行目が何を意味しているのかよくわかりません。
これできちんと命令は処理されているのでしょうか?

むしろ、
$ export SHAPE_ENCODING=UTF-8
の1行で良いのではないでしょうか?
これなら、bashの環境変数として「SHAPE_ENCODING=UTF-8」を定義した、
という意味になりますが…。

識者の方がいらっしゃいましたらご教示下さいませ…。


2012年10月11日 11:39 Toshikazu SETO <[hidden email]>:

> 瀬戸です。
>
> 先日、macports版のQGIS(1.8)だと読めるとご連絡しましたが、
> 私の環境では、qgis本体以外のプラグイン等が古かったようで
> クリーンインストールした状況だと(QGIS1.8-Python2.7-py27-gdal)他と同様に読めなくなってしまいました。
>
> utf8の場合は問題ないのですが、linuxと同様に
> $ SHAPE_ENCODING=UTF-8
> $ export SHAPE_ENCODING
> $ open qgis.app
>
> でも駄目でした。設定の方法が根本的に違うのかもしれませんが、取り急ぎ。
>
>
> "NUIMURA, Takayuki" <[hidden email]> wrote:
>>瀬戸さん、  喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>
>>
>>縫村です。
>>文字化けに関する情報いただきありがとうございました。
>>これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>変勉強になりました。
>>
>>赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>きますね。
>
>
> --
> Toshikazu SETO
> Postdoctoral Fellow
> Ritsumeikan University
> e-mail: [hidden email]
> _______________________________________________
> OSGeoJapan-discuss mailing list
> [hidden email]
> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

NUIMURA, Takayuki
縫村です。


>清野さん
SHAPE_ENCODING=UTF-8
export SHAPE_ENCODING
と2行でも、

export SHAPE_ENCODING=UTF-8
の1行でも同じ処理がされます。

もともと私がメーリングリストに2行で書いてたのが冗長でした。失礼いたしま
した。


>瀬戸さん
Macでテストしていただきありがとうございます。
情報参考になります。



On 2012/10/11 12:03, Yoichi SEINO wrote:

> 清野です。
>
> 確認できないままになんとなく問題が解決してしまったっぽいのと、
> 私事のほうが忙しくて手が回らなかったのですが、
> ちょっと違和感を感じています。
>
> bashの環境変数の設定の部分で、
> $ SHAPE_ENCODING=UTF-8
> $ export SHAPE_ENCODING
> と2行に渡ってshellに命令を投げていますが、
> 1行目が何を意味しているのかよくわかりません。
> これできちんと命令は処理されているのでしょうか?
>
> むしろ、
> $ export SHAPE_ENCODING=UTF-8
> の1行で良いのではないでしょうか?
> これなら、bashの環境変数として「SHAPE_ENCODING=UTF-8」を定義した、
> という意味になりますが…。
>
> 識者の方がいらっしゃいましたらご教示下さいませ…。
>
>
> 2012年10月11日 11:39 Toshikazu SETO <[hidden email]>:
>> 瀬戸です。
>>
>> 先日、macports版のQGIS(1.8)だと読めるとご連絡しましたが、
>> 私の環境では、qgis本体以外のプラグイン等が古かったようで
>> クリーンインストールした状況だと(QGIS1.8-Python2.7-py27-gdal)他と同様に読めなくなってしまいました。
>>
>> utf8の場合は問題ないのですが、linuxと同様に
>> $ SHAPE_ENCODING=UTF-8
>> $ export SHAPE_ENCODING
>> $ open qgis.app
>>
>> でも駄目でした。設定の方法が根本的に違うのかもしれませんが、取り急ぎ。
>>
>>
>> "NUIMURA, Takayuki" <[hidden email]> wrote:
>>> 瀬戸さん、  喜多さん、赤木さん、及びdiscuss MLのみなさま、
>>>
>>>
>>> 縫村です。
>>> 文字化けに関する情報いただきありがとうございました。
>>> これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>>> 会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>>> 変勉強になりました。
>>>
>>> 赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>>> OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>>> 確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>>> きますね。
>>
>>
>> --
>> Toshikazu SETO
>> Postdoctoral Fellow
>> Ritsumeikan University
>> e-mail: [hidden email]
>> _______________________________________________
>> OSGeoJapan-discuss mailing list
>> [hidden email]
>> http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss


--
Takayuki NUIMURA
Graduate School of Environmental Studies, Nagoya University
D2-1(510), Chikusa-ku, Nagoya 464-8601, Japan
Phone:+81-52-789-3479, Fax:+81-52-789-3436

縫村崇行
名古屋大学大学院 環境学研究科
〒464-8601 名古屋市千種区不老町D2-1(510)
Phone/FAX:052-789-3479

E-mail: [hidden email]
Skype: t_nuimura
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss
Reply | Threaded
Open this post in threaded view
|

Re: QGIS version 1.8の文字化けに関して

Nobusuke Iwasaki-3
In reply to this post by Toshikazu SETO-2

瀬戸さん

いわさきです。

ENCODINGをDUMMYにしても、出来ないでしょうか?

お時間があったらご確認下さい

2012/10/11 11:39 "Toshikazu SETO" <[hidden email]>:
瀬戸です。

先日、macports版のQGIS(1.8)だと読めるとご連絡しましたが、
私の環境では、qgis本体以外のプラグイン等が古かったようで
クリーンインストールした状況だと(QGIS1.8-Python2.7-py27-gdal)他と同様に読めなくなってしまいました。

utf8の場合は問題ないのですが、linuxと同様に
$ SHAPE_ENCODING=UTF-8
$ export SHAPE_ENCODING
$ open qgis.app

でも駄目でした。設定の方法が根本的に違うのかもしれませんが、取り急ぎ。


"NUIMURA, Takayuki" <[hidden email]> wrote:
>瀬戸さん、  喜多さん、赤木さん、及びdiscuss MLのみなさま、
>
>
>縫村です。
>文字化けに関する情報いただきありがとうございました。
>これまで自分は日本語の含まれたShapefileを扱ってこなかったので、今回GIS学
>会前日のQGIS講習会のためいろいろ調べて皆さんと情報交換をさせていただき大
>変勉強になりました。
>
>赤木さんに教えていただいた方法で、スタンドアロン版(1.8)での文字化け、
>OSGeo4W版(1.8)での読み書き(Shift_JIS、UTF-8いずれも)上手くできることを
>確認できました!これで最初の設定だけすれば、QGIS1.8も普通に使うことがで
>きますね。


--
Toshikazu SETO
Postdoctoral Fellow
Ritsumeikan University
e-mail: [hidden email]
_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss

_______________________________________________
OSGeoJapan-discuss mailing list
[hidden email]
http://lists.osgeo.org/mailman/listinfo/osgeojapan-discuss