Doesn't work on Android tablet

[sn0vv]

PCで便利に使わせてもらっています。
電子ペーパーをディスプレイとするタブレットで使えるとステキだと思い、
動作を試したのですが辞書検索はできませんでした。
現状Androidで使うことは無理でしょうか。

試した経緯です。
環境
・Boox Max3 Android version 9
・Bluetooth接続マウス

1. Androidスマホ向けのChromeでは、機能拡張が利用できないので「Kiwiブラウザ」をインストール
2. KiwiブラウザにMouse Dictionaryをインストール
3. 英辞郎の辞書データインポートはできた
4. www.ted.comを開く
5. 拡張アイコン押下でMouse Dictionaryウィンドウが開く
6. Bluetooth接続マウスで単語の上にカーソルを移動するもMouse Dictionaryウィンドウは空白のまま

PCでは、www.ted.comでの検索を確認しています。
もしやタブレットだとmouseoverイベントが発生しないのかと思って
PCとスマホの Pointer Events 挙動まとめ
で調べたら、pointerover, mouseoverは発生しているようです。

[wtetsu]

Androidブラウザについて全く詳しくなく、また動作の想定もしていないのですが、
インポートできてウィンドウまで出たのなら動いてもおかしくはないですね。

Mouse Dictionaryではmousemoveを使用しています。
https://github.com/wtetsu/mouse-dictionary/blob/master/src/main/events.js#L51

しかしもしmousemove自体が機能してもその先の処理がけっこう複雑なので、
それがすべてKiwiでも動くのかどうか謎ですね。

0. mousemoveイベント
1. ポインターのある周辺からテキストっぽいものを取り出す
2. テキストを解析して候補データを作成
3. インポート済み辞書データからテキストを取得
4. いろいろなテキスト処理
5. HTMLを生成し表示

(Edit: 4.でエラーになっている模様)

Mouse Dictionaryはマウスドラッグで選択したテキストを辞書引きする機能があるので、それが動くか試してみていただけないでしょうか。この処理は、上記で言う0~1がないので、マウスを動かした時の処理より単純な動作になります。

もしそれが動けば、mousemove自体かそれにまつわる処理(0~1)に問題があることがわかります。
動かなければ、2.以降の処理に問題がある可能性が高いです。

---

その他気になること:

• ウィンドウの移動やリサイズはできるのでしょうか？
• オプション画面で設定を開くと左に表示されるプレビューウィンドウ上は意味が表示されているのでしょうか？

[sn0vv]

早速のご回答ありがとうございます。

Mouse Dictionaryではmousemoveを使用しています。

mousemoveイベントの発生も「PCとスマホの Pointer Events 挙動まとめ」で確認しました。

Mouse Dictionaryはマウスドラッグで選択したテキストを辞書引きする機能があるので、それが動くか試してみていただけないでしょうか。

動きませんでした。

ウィンドウの移動やリサイズはできるのでしょうか？

ウィンドウの移動・リサイズともできました。
「Jump to corners of the browser」も動きました。

オプション画面で設定を開くと左に表示されるプレビューウィンドウ上は意味が表示されているのでしょうか？

お試し用テキスト「rained cats and dogs」に対して、rain cats and dogs と rain の結果が表示されています。
お試し用テキストを変更すると、プレビューウィンドウ上の意味表示も変更されました。

[wtetsu]

ご確認ありがとうございます。

• テキスト選択で辞書引き → ×
• 移動リサイズ →○
• オプション画面上の辞書引き → ○

以上の結果から、mousemoveイベントや座表取得自体は発生しているので、

• カーソル下のテキストを探す処理がうまく動いていない？ (ここはPCのChrome/Firefoxでも差異がある環境依存な処理)
• メイン機能の方から辞書データにアクセスできない？

のどちらかの可能性が高そうです。
(なんとなく前者の可能性が高そうな気がします)

Kiwiにもしコンソール (PC版のChrome/FirefoxではF12押下でひらくやつ)機能があれば、
そこにエラーが出ている可能性があり、そのエラーメッセージがあれば大きな手がかりになるかもしれません。

[sn0vv]

Kiwiブラウザでは、Developer Toolsが使えないので

MobileConsole demo pageに行き、
Mouse Dictionaryウィンドウを開いて単語の上にカーソルを動かしましたが、
Consoleには特に何も表示されませんでした。

なお、[フロントエンド] AndroidのChromeをPCからデバッグするに従うと、
Android ChromeをPCからデバッグできました。
一方、Kiwiブラウザは「手順3：PCのChromeからAndroidへ接続する」
までは行けるのですが「inspect」をクリックしても、Developer Toolsが起動しませんでした。

[wtetsu]

惜しいところまで動いている気がするのですが、
コンソールのログが見られないとなると、そちらでのこれ以上の調査は難しそうですね。

こちらで実機で調査しないと無理そうです。
(そして私の手元には実機がありません...)

PC Chromeだと↓拡張管理画面からログが見られたりするのですが、
Kiwiにはこのような機能もない感じでしょうか。

[sn0vv]

EdgeのDevToolsが使えました。

なお、Kiwi browser の GitHub Issuesで次を見つけて、確認できました。
Using Kiwi with Chrome Remote Debugging only gives a white page #29

[wtetsu]

仕組みがよくわかっていないのですが、Edge経由でKiwiのデバッグができるということなんでしょうか。

そうだとすると、このmathcAllのエラーですが、KiwiでmatchAllがサポートされていないのかその前段階の処理がおかしいのかこれだけだと不明ですが、大きな手がかりだと思います。

次版では少し改良を入れてみるので、その際は再度動作確認していただければ幸いです。

[sn0vv]

はい、Edge経由でKiwiのデバッグができます。

---

PCとAndroid tablet(Max3)をUSB接続して、
Max3：Kiwiブラウザ起動
PC：Microsoft Edge起動。アドレスバーに「edge://inspect/#devices」入力
Max3で認証してEdgeからinspect

---

KiwiブラウザではmatchAllがサポートされていないようです。

一方、Android Chromeでは動作を確認しました。

改良を入れていただけるとのことで、ありがとうございます。
動作確認は喜んでいたします。

[wtetsu]

@sn0vv

v1.3.13がダウンロード可能になったようなのでお試しください。

matchAllがない環境でも動くようになっているはずです。

[sn0vv]

動きました！
これで洋書の読書がはかどります。感激です。

PDF.jsのデモページを利用して、PCと同程度のPDF辞書検索ができました。
以下のPDF利用方法は、たぶんMouse Dictionaryとは関係ないところで難ありでした。

• Google Documentを利用する　→　なぜかクリックでページが拡大
• Dropboxを利用する　→　単語の一部しか認識されない

---

#ここから先はGitHubにふさわしくないならご指摘ください。編集します。
感謝の意を込めて、ムラサキ 無印・劍のOSTバンドルを求めました。
Mouse Dictionaryの作者に驚いた、まもも小説も買った一ファンより。

[wtetsu]

@sn0vv

ご確認ありがとうございます！
動かない原因が単純な理由で良かったです。

ちなみに以下、Androidタブレットでの利用に関わる話なので、差し支えなければここでお聞きしたく思います。

Mouse DictionaryがAndroidタブレットで動くのであれば自分でも普段用途として欲しくなってくるところなのですが、
KiwiでのMouse Dictionary利用はBluetooth等のマウスが前提となるでしょうか。
あるいはタッチ操作でもまともに動くものなのでしょうか。

---

感謝の意を込めて、ムラサキ 無印・劍のOSTバンドルを求めました。
Mouse Dictionaryの作者に驚いた、まもも小説も買った一ファンより。

ありがとうございます、大変うれしいです😄

[sn0vv]

タッチだとウィンドウの移動・リサイズはできません。
単語タッチで熟語含む辞書検索はできます。
ただし、ウェブサイトのリンクだと開いてしまいます。
よって、タッチのみで使えないことはないけれど、マウスがあった方が良いです。

タッチに最適化したMouse Dictionary 改め Touch Dictionary(仮) があると
幸せな人が世界中にいると思われます。