2021-09-10

DMM GUILDというインターンに参加しました

技術

こんにちは。もう夏も終わりですね。

さて、タイトルの通りですが、つい先日まで合同会社 DMM.comさんのインターンであるDMM GUILDに参加しておりましたので、今日はそのことについて書いていきたいと思います。

DMM GUILDとは

詳しくはこちらのページを見ていただくのが良いかと思いますが、簡単に説明すると、DMMさん側から様々な部署・事業を横断してたくさんの課題が出され、課題をクリアすると課題に応じたポイントが獲得でき、入賞者には賞金まででる面白いインターンになっています。

今年は2週間全日リモート開催とのことで、おうちから参加させていただきました。六本木行ってみたかったわね……

応募

応募の時のことはあまりよく覚えてないのですが、エントリーシートのようなものを書いて送った記憶があります。

その後1回面接があり、自分の経験などについてお話をするといった感じでした。

開発環境

開発環境としては、Intel CPUのMacBook Proが貸与されました。キーボードも英字とJISとを選ぶことができ、また、希望者にはディスプレイも貸与されるようでした。

課題

課題はGitHubのIssue形式で提示され、それをもとにやっていくという感じでした。

内容としては実際のDMMさんのプロダクトを改善していくもので、あまり詳しくは書けないのですが、多事業・多分野の中から自由に選択して課題に取り組むことができました。

私はMacBookで開発をした経験がほとんどないため、この機会にとiOSの課題を1つ取ってみました。 Swiftは初めてでしたが、社員さんのレビューでより良い書き方を教えていただいたりして、勉強になりました。

あとはバックエンドの課題やAWSなどのインフラ周りの課題にも取り組みました。

あまりいい成果は上げられませんでしたが、社員さんにしっかりレビューしていただき、貴重な経験になりました。また、技術的にも成長できたなと感じました。

面談

期間中には3回ほど面談が組まれており、人事の方にDMM GUILDでの目標や達成度合い、要望などを聞いていただきました。

2週間のうちで3回も面談の時間を取っていただき、丁寧にこちらのことを聞いていただき、とてもありがたかったです。

その他

その他には、実際にDMMさんが利用しているSlackワークスペースに入れていただき、timesチャンネルを作ってインターン生同士、中には社員さんも入って、活発に近況報告や情報交換がされていました。私のtimesチャンネルは何故か1日1回ダジャレを言うコーナーになってしまったので、私が毎日ダジャレを言っていくなど、和気あいあいとした様子でした。

f:id:cordx56:20210910183606p:plain — 最終日には別のインターン生の方にダジャレをまとめていただきました

また、DMM社員さんとの会食やビアバッシュというLT大会にも呼んでいただきました。

会食やビアバッシュでは質問に答えていただいたり、面白い話をしていただいたり、DMMの裏側について色々教えていただいたりしました。

最後に

DMM GUILD、とても面白いインターンでした。

DMM社員の皆さん、そしてインターン生の皆さん、短い間でしたが本当にありがとうございました。この経験をもとに引き続き頑張っていきたいと思うので、これからもどうぞよろしくお願いします。

2021-08-29

謎の中華ボードにOpenWrtを突っ込んで10Gbpsルータを組んだ話

技術レビュー

こんにちは。最近人々にノベルゲーの沼に突き落とされました。

それはそうとして、皆さん10Gbpsしたいですよね？私はしたいです。

しかしながら10Gbpsを出せる機械はそう多くありません。それが様々なことができる高性能なルータで、SFP+でともなれば尚更です。

そんなことを思っていたある日、私の欲求を満たす謎の中華ボードを発見しました。それがこのOK1046A-C2です。

高性能なルータが組めるOK1046A-C2をよろしくお願いします。 pic.twitter.com/enG7vlYkMp
— かおるこたゃ (@cordx56) 2021年8月19日

www.forlinx.net

10GbpsのSFP+を2ポート、1GbpsのEthernetを5ポート積んでおり、その他にもWiFiモジュールを接続できるポート、5Gモジュールを接続できるポート、USB3.0と十分なインターフェースを備えています。

UbuntuとLEDE（OpenWrt）が動くとのことで、ソフトウェア面もばっちりです。

今回の記事は、そんな高性能中華ボード、OK1046A-C2との格闘¹とその性能についてお話ししようと思います。

購入までの道のり

購入はアリババが公式の窓口のようです。

www.alibaba.com

アリババに登録して、Contact Supplierボタンを押すと、問い合わせができます。必要量とこちらの要求項目などを軽く記入して、問い合わせましょう。私の場合は問い合わせるとすぐに返信が来ました。要求項目などについて英語でやり取りをして、製品がこちらの要求を満たしているかなどを確認してくれたのち、名刺を送ってもらい、メールアドレスを求められたので返答して、あとはメールでやり取りをしました。

私は1枚の購入だったので、見積もりを出してもらったら$500ということになりました。まぁスペックを考えるとそんなもんだろうと、ここ最近NASの購入と10Gbps環境の整備で完全に緩み切っていたお財布のひもがさらに緩んで、購入に至りました。支払いはPayPalで済ませることができ、問い合わせから購入までかなりスピーディーに進みました。輸送はFedExで、すぐに届きました。

ドキュメント

製品の発送連絡と一緒に、Dropboxの共有リンクでドキュメントを共有してもらいました。ドキュメントは充実とまでは言いませんが、必要最低限の情報は載っているという印象を受けました。とりあえずドキュメントが片手にあれば、OSのインストールまでは何の苦労もなくできるといった感じです。

OpenWrtのインストール

ドキュメントにはちょっと古めのLEDEのスナップショット版のイメージが同梱されており、必要なファイルと共にUSBメモリに入れてOK1046A-C2のUSBポートに挿して起動するだけで、インストールが完了します。これをそのまま使ってもいいのですが、ちょっと古めのLEDEのスナップショットということで、libcが入らなかったり、カーネルが古くてインストールできないパッケージがあったりと、微妙に使いづらいです。

そのため、このLEDEを最新のOpenWrtへとアップグレードしようとしたのですが、ここでちょっとハマりました。

OpenWrtのビルド

まずはOpenWrtをLS1046A向けにビルドします。まずはopenwrt/openwrtをクローンしてきて、ディレクトリに入ります。ここから config.buildinfo をダウンロードしてきて、 .config として保存します。そして、 $ make menuconfig でターゲットのデバイス、出力したいイメージなどを選択します。それが終わったら、 $ make でビルドします。

ビルド環境の構築には、このDockerfileを利用させていただきました。

ext4イメージが出力できない

ext4のイメージが直接ビルドできればいいのですが、私の手元ではうまくいきませんでした。ここを見ると、おそらくイメージ容量が大きすぎてビルドが落ちてしまっているのだと思いますが、ログを調べても怪しいところはなく、何故うまくビルドされないのかはいまだに不明です。

しかしながら、tar.gzファイルはビルドできました。

ext4イメージがどういう構成になっているのかがわかれば手元でtar.gzファイルの中身をext4イメージに移植してあげたのですが、ext4イメージがどういう構成になっているのかもわかりませんでした²。

ここで、ある考えが頭をよぎります。

tar.gzファイルをルートに展開してやればよいのでは？

LEDEからOpenWrt 19.07.8へのアップグレード

ということで、scpコマンドでOK1046A-C2へビルドしたtar.gzファイルを転送します。

それができたら、tar.gzファイルをルートに展開します。

# tar -zxvf openwrt-19.07.8-layerscape-armv8_64b-device-ls1046ardb-rootfs.tar.gz -C /

ここまで出来たら再起動します。

再起動が終わると、古かったLEDEのスナップショットがOpenWrt 19.07.8にアップグレードされています。

こうして無事OpenWrt 19.07.8が使えるようになりました。

今のところこれで問題なく使えています。

性能について

CPUのアーキテクチャはCortex-A72で1.8GHzクアッドコア、RAMは2GBと、ルータとして使うには十分な性能でしょう。

問題は速度です。 10GbpsのSFP+ポートがついてはいますが、実際のところどれくらい速度が出るのかは気になるところだと思います。

iperf3を使ってSFP+で接続している端末とOK1046A-C2間の速度を測ってみることにしました。

OpenWrtへのiperf3のインストールはopkgで簡単にできます。

# opkg update
# opkg install iperf3

iperf3の実行結果は次のようになりました。

[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   634 MBytes  5.31 Gbits/sec
[  4]   1.00-2.00   sec   572 MBytes  4.80 Gbits/sec
[  4]   2.00-3.00   sec   640 MBytes  5.36 Gbits/sec
[  4]   3.00-4.00   sec   653 MBytes  5.48 Gbits/sec
[  4]   4.00-5.00   sec   644 MBytes  5.40 Gbits/sec
[  4]   5.00-6.00   sec   658 MBytes  5.52 Gbits/sec
[  4]   6.00-7.00   sec   641 MBytes  5.38 Gbits/sec
[  4]   7.00-8.00   sec   639 MBytes  5.36 Gbits/sec
[  4]   8.00-9.00   sec   644 MBytes  5.41 Gbits/sec
[  4]   9.00-10.00  sec   611 MBytes  5.13 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  6.19 GBytes  5.32 Gbits/sec                  sender
[  4]   0.00-10.00  sec  6.19 GBytes  5.32 Gbits/sec                  receiver

5Gbps超えです。少し速度が低いのはMTUが低いからとかそんなところだと思いますが、ルータとしては十分な速度でしょう。謎の中華ボードですが、しっかり速度が出ています。うれしいですね。

まとめ

今回は謎の高性能中華ボードOK1046A-C2を紹介しました。

ルータを組んだとは言っても、まだ本運用には至っていません。これからOpenWrtへの理解を深めて、現在運用しているRTX1200を置き換えることを目標にしたいと思います。

この記事を読んでOK1046A-C2に興味がわいてきた方がいれば、ぜひ私と一緒に人柱になりませんか？

言うほど格闘してない↩
最初はただのext4イメージファイルなのかと思ったのですが、どうやら違うようでした。このext4イメージの作り方がわかる方がいらっしゃれば、教えていただければ幸いです。↩

2021-07-27

発言内容を自動で文字起こしするDiscord botを作った話

技術

こんにちは。学生なので夏休みに入りました。皆様いかがお過ごしでしょうか。

今回はDiscordの発言内容を自動で文字起こしするDiscord botを書いたので、それについて技術的にはまった点などを備忘録的に書いていきたいと思います。

そもそも何故そんな需要があったかというと、今の私のインターン先でチームで開発をしているのですが、その会議を文字起こししたいという話があったからでした。

今回のbotはNode.js + TypeScriptで記述しました。普段の私であれば使用言語にPythonを選択するのですが、discord.pyよりもdiscord.jsの方が音声受信周りが充実していたのと、TypeScriptの方が型周りの開発体験が良かった¹ので、TypeScriptを書くことにしました。

実際に作ったものはこちらです。

github.com

では詳細を見ていきましょう。

Discordの音声を受信してWAVファイルにする

Discordの音声受信はユーザごとに音声を受信します。

今回はユーザが一通りしゃべり終わったタイミングでしゃべった内容を文字起こしにかけ、リアルタイムにその内容をテキストチャンネルに投稿したいので、VoiceConnectionのspeakingイベントを監視して、speakingイベント発火時に録音を開始、createStreamの結果得られたReadableStreamがendの時に取得した録音データを文字起こしにかけ、その結果を発言ユーザの名前と共に開始コマンドが入力されたテキストチャンネルに投稿する、という処理を行っています。

詳しくはこのあたりを参照していただければわかるかと思います。

Google Cloud Speech-to-Text APIを使って文字起こし

文字起こしには、精度がそれなりによいGoogle Cloud Speech-to-Textを利用しました。と書きましたが、AWSのTranscribeも結構良さげですね。今まさに悩んでいます²。

まぁとりあえずGoogle Cloud Speech-to-Textで組んだのでその辺の説明をしようと思います。

Google Cloud Speech-to-Textでは、いくつかのファイル形式に対応していますが、WAVが一番扱いやすいと思います。 discord.js側が用意してくれるのは32bitステレオなWAVファイルですが（これについては後述）、Google Cloud Speech-to-Textに渡すためには16bitモノラルなWAVファイルを用意してあげる必要があり、fluent-ffmpegというパッケージを利用してNode.js側からffmpegを叩いて変換をしました。

詳細はsrc/speech.tsを参照してください。

遭遇した問題

ここからは実際に遭遇して、解決が難しかった問題について書いていきます。

discord.jsが実際に吐き出すWAVファイルがガイドの形式と異なる

このことはどのドキュメント、Webサイトにも載っていなかったので確かではないのですが、このガイドに「Signed 16-bit PCM」と書いてあるのに対し、手元で実行した結果得られたファイルをAudacityにかけてみると、32bitにしたところ正常に再生されました。何らかの仕様が変わってそうなった可能性が高そうな気がしますが、これはどこが悪いのかわからない（そもそもDiscord側からはopus形式で来ていて、それを手元でWAVに変換しているっぽい）ので、何とも言えません。とにかく、fluent-ffmpegの読み込み形式を s32le にしたところ正常に音声認識されるようになったので、そのようにしました。

一定時間が経過するとVoiceConnectionのspeakingイベントが発火しなくなる現象への対処

このこともどのドキュメント、Webサイトにも載っていなかったので確かではないのですが、VoiceConnectionを張って一定時間経過すると、speakingイベントが発火しなくなる現象がこちらの手元で起きました。これへの対処としては、一定時間毎に無音をplayしてやることで回避することができました。

これらの問題は二つともなんか腑に落ちませんが、まぁこの対処で動いているので良しとしました。動くことこそ正義³！

おわりに

今回は簡単にですが、自動で発言内容を文字起こしするDiscord botについて説明しました。

Google Cloud Speech-to-TextやAmazon Transcribeの精度は実用には厳しいですが、非常に使いやすいものにはなってきているかと思います。今回はDiscord botとして実装しましたが、ほかにも活用法を検討中です。文字起こしを使ってこういうサービスが欲しい！などあればぜひお話をお聞かせください。

Pythonの漸進的型付け界隈はもうちょっと頑張ってほしいという気持ちがあります。いや私はその辺の研究をしているので、お前が頑張れという話なのですが……↩
私は基本的に業務でも趣味でもAWSを使っているので、GCPを使うよりはAWSを使った方が楽といった事情があります↩
そうかな？↩

2021-07-09

inkwellを使ってRustでLLVMをやっていく

Rust 技術

こんにちは。そろそろ夏ですね。

今回の記事はRustでLLVMをやっていくことができるクレート、inkwellについてです。 inkwellを紹介している記事自体はあるのですが、実際にinkwellを利用して何かを作ってる記事が少なかったのでこの記事を書きました。

LLVM自体はそれなりに情報はあり、またきつねさん本などもあることから、トラブルシューティングはしやすいほうだと思います。とは言いつつLLVMに対しては触りながら知見をためていったこともあり、様々の理解に少し時間がかかってしまいました。この記事や私の書いたソースコードが少しでもRustでLLVMをやろうとする人の役に立てば幸いです。

inkwellを利用して実際に作ったものはこちらです。

github.com

小さな独自のLISP方言をLLVM IRにコンパイルするプログラムです。まだ全然関数などがそろっていないため実用には程遠いです。

inkwell

inkwellの公式ドキュメントはこちらです。

inkwell自体はllvm-sysを安全に（unsafeで囲う必要がなく）、Rust風のAPIで使えるようにしたものです。

導入

LLVMの導入

まずはLLVM自体を導入してあげる必要があります。 LLVMのバージョンを指定しての導入にはllvmenv¹がおすすめです²。

依存ビルドツールにcmake、make、ninja、g++/clang++があるので、これらをインストールします。あとは次のコマンドで導入できます。

$ cargo install llvmenv
$ llvmenv init
$ llvmenv build-entry 12.0.0

inkwellの導入

inkwellを導入は、Cargo.tomlのdependenciesに以下を記述してあげるだけです。

inkwell = { git = "https://github.com/TheDan64/inkwell", branch = "master", features = ["llvm12-0"] }

featuresは利用したいLLVMのバージョンに合わせて変更します。詳しくは inkwellのREADME を見てください。

inkwellを使うためには、環境変数でllvm-sysにLLVMの場所を教えなくてはいけません。 fishでは次のようにして場所を指定します（各々のシェルに応じてコマンドは変えてください）。

$ set -x LLVM_SYS_120_PREFIX (llvmenv prefix)

これでinkwellの導入まで完了です。

実際に動かしてみる

では実際にinkwellを用いてLLVMのプログラムをビルドし動かしてみましょう。

use inkwell::context::Context;
use inkwell::OptimizationLevel;

fn main() {
    let context = Context::create();
    // moduleを作成
    let module = context.create_module("main");
    // builderを作成
    let builder = context.create_builder();

    // 型関係の変数
    let i32_type = context.i32_type();
    let i8_type = context.i8_type();
    let i8_ptr_type = i8_type.ptr_type(inkwell::AddressSpace::Generic);

    // printf関数を宣言
    let printf_fn_type = i32_type.fn_type(&[i8_ptr_type.into()], true);
    let printf_function = module.add_function("printf", printf_fn_type, None);

    // main関数を宣言
    let main_fn_type = i32_type.fn_type(&[], false);
    let main_function = module.add_function("main", main_fn_type, None);

    // main関数にBasic Blockを追加
    let entry_basic_block = context.append_basic_block(main_function, "entry");
    // builderのpositionをentry Basic Blockに設定
    builder.position_at_end(entry_basic_block);

    // ここからmain関数に命令をビルドしていく
    // globalに文字列を宣言
    let hw_string_ptr = builder.build_global_string_ptr("Hello, world!", "hw");
    // printfをcall
    builder.build_call(printf_function, &[hw_string_ptr.as_pointer_value().into()], "call");
    // main関数は0を返す
    builder.build_return(Some(&i32_type.const_int(0, false)));

    // JIT実行エンジンを作成し、main関数を実行
    let execution_engine = module.create_jit_execution_engine(OptimizationLevel::Aggressive).unwrap();
    unsafe {
        execution_engine.get_function::<unsafe extern "C" fn()>("main").unwrap().call();
    }
}

このプログラムは、LLVMでmain関数を宣言し、main関数内でprintf関数を呼び出すコードを実行しています。実行すると、Hello, world!と表示されるはずです。

inkwellを使えば、Rustからこれだけ簡単にLLVMをいじることができます。 LLVMの他の命令を使うには、Builderのメソッドを参照するとよいでしょう。ドキュメント自体はそんなに充実しているとは言えませんが、命令をビルドするメソッドの引数と返り値の型がわかれば後は組み立てていけばいいので、慣れてくればそんなに迷うことはなくなるはずです。

おわりに

今回はRustで簡単にLLVMを扱うクレート、inkwellを紹介し、その導入と命令の記述についてサンプルコードとともに簡単に説明しました。初めてinkwellやLLVMに触る人は、とりあえずは上のサンプルコードに様々な命令を追加してみて、inkwellとLLVMがなんとなくわかってきたら実際の言語作成に取り掛かってみるのが良いのではないでしょうか。

是非皆さんもRustでオレオレコンパイラフロントエンドを作っていきましょう³。

こちらです。メンテナ不足で悩んでいるようですが……↩
aptが使える環境をご利用の方はこっちのほうが楽でいいかもしれません↩
次回はプログラミング言語自作に入門する記事が書きたいですね……↩

2021-04-29

Rustで動的リンクライブラリを作る / 読み込む

Rust 技術

こんにちは。しばらくぶりの投稿になります。

シンプルにRustで動的リンクライブラリを作って読み込む記事が少ないように感じたので本記事を書くことにしました。 Rustで動的にリンクするライブラリを作りたい！、Rustで動的リンクライブラリを読み込みたい！という方は読んでいっていただければと思います。

Rustで動的リンクライブラリを作る

Rustで動的リンクライブラリを作ります。

`Cargo.toml` の編集

Cargo.toml を次のように編集します。

[package]
name = "dylib"
version = "0.1.0"
authors = ["cordx56"]
edition = "2018"

[lib]
crate-type = ["cdylib"]

[dependencies]

重要なのは [lib] 以下の2行です。 crate-type に ["cdylib"] を設定しています。

こうすることで、 $ cargo build がRust以外の言語からも利用できる動的リンクライブラリをビルドしてくれるようになります。このオプションについて詳しくは Linkage - The Rust Reference を参照してください。

ライブラリ本体を書く

ライブラリ本体を書いていきます。

src/lib.rs に次のようなプログラムを書きました。

#[no_mangle]
pub extern "C" fn main() {
    println!("Hello, world!");
}

#[no_mangle] は名前マングリングをしないようにコンパイラに指示します。

extern "C" はCのABIを利用するようにRustコンパイラに指示します。

これでライブラリ本体が書けました。

ライブラリをビルドする

ビルドは簡単で、

$ cargo build

を実行するだけです。

Linux環境であれば、 target/debug/libdylib.so が生成されているはずです。これが動的リンクライブラリです。

Rustで動的リンクライブラリを読み込む

前章で作成した動的リンクライブラリを読み込むプログラムを作ります。

`Cargo.toml` の編集

libloading クレートを利用します。

Cargo.toml を次のように編集します。

[package]
name = "testapp"
version = "0.1.0"
authors = ["cordx56"]
edition = "2018"

[dependencies]
libloading = "0.7.0"

読み込むプログラム本体を書く

動的リンクライブラリを読み込むプログラム本体を書いていきます。

src/main.rs に次のようなプログラムを書きました。

fn main() {
    unsafe {
        match libloading::Library::new("./libdylib.so") {
            Ok(lib) => {
                match lib.get::<libloading::Symbol<unsafe extern fn()>>(b"main") {
                    Ok(func) => {
                        func();
                    },
                    Err(_) => {
                        eprintln!("Function get error!");
                    }
                }
            },
            Err(_) => {
                eprintln!("Library link error!");
            }
        }
    }
}

詳しくはlibloadingのドキュメントを見てください。

動的リンクライブラリを配置する

前章で作成した libdylib.so をカレントディレクトリにコピーします。

実行する

$ cargo run

を実行して、 Hello, world! と表示されれば成功です。

おわり

以上でRustで動的リンクライブラリを作って読み込むことができました。

Rustで作った動的リンクライブラリをCで使ったり、Cで作った動的リンクライブラリをRustで使ったりもできるはずです（試してないので断言できませんが）。それについてはまた後日記事を書こうかなと考えています。

2020-12-31

2020年買ったものとその評価

雑記

こんにちは。年末ですね。皆様よいお年をお過ごしでしょうか。

今回の記事は、私が2020年に買ったものを振り返って買ってよかった度を付けていくものです。皆様の来年のお買い物の参考になれば幸いです。

Corne cherry

買ってよかった度: ★★★★☆

自作キーボードです。この自作キーボードはキー数が少ないのが特徴で、指の動きが少なくて済みます。とてもいいキーボードで気に入っているのですが、独特すぎるキー配列の影響でいまだにミスタイプが減りません……

Nintendo Switch どうぶつの森版

買ってよかった度: ★★☆☆☆

まだNintendo Switchがなかなか手に入りづらかった頃、適当にヨドバシの抽選に申し込んだら当たってしまい、購入したものです。どうぶつの森は楽しかったですが、最近は飽きがきてあまりやっていません。

EIZO FlexScan EV2795

買ってよかった度: ★★★★☆

言わずと知れた高級モニターです。特別定額給付金を利用して買いました。作業環境がこれまでWQHD1枚とFullHD1枚の2枚だったのが、WQHD2枚とFullHD1枚の計3枚になりました。やはりWQHDが2枚あると作業環境が快適ですね。

Surface Pro X

買ってよかった度: ★★☆☆☆

Arm64WindowsタブレットのSurface Pro Xです。 20万出してこのスペックかぁというのは正直あって、買ってよかったかと言われるとびみょいというのが正直な感想です。

Ergohuman Fit Ottoman

買ってよかった度: ★★★★☆

高機能チェアです。まだ買ったばかりなので何とも言えませんが、多少作業が楽になった気がします。

Oculus Quest 2

買ってよかった度: ★★★★☆

今流行りのVR機器です。 VRChatくらいしかやっていませんが、それでも買った価値があったなぁというくらいVRChatが楽しいです。これからVRコンテンツを漁っていきたいとも思っています。おすすめがあったら何か教えてください。

以上が2020年の大きな買い物でした。こうしてみるとそんなにたくさんは大きな買い物をしてないですね…… もうちょっとあるかなと思ったのですが。

2020年も残りわずか1時間半となりました。私は今年中に終わらせたかった研究の実装が終わっていなくてやばいです。大丈夫かなぁ…… それでは皆様よいお年を。

2020-12-09

Tweet generatorのバージョン0.2.0を公開しました。

技術

実際のサービスはこちら。

Tweet generatorの新バージョン公開と共に、ドメイン名も刷新して新たにサービスを公開し直しました。

github.com

本エントリーはリリースノート代わりに、今回刷新された点について書いていきたいと思います。

新機能

鍵アカウント保護機能

これまでは鍵アカウントで生成された学習済みモデルを鍵アカウントを知らない第三者が利用してテキストを生成することで鍵アカウントのツイート内容が推測されてしまうという問題がありました。

今回のアップデートで新機能として鍵アカウント保護機能が追加されました。

鍵垢保護機能できた pic.twitter.com/jnMX2Fgp7J
— かおるこたゃ (@cordx56) 2020年12月8日

鍵アカウントでモデルを学習した場合に、データベースに鍵アカウントであることが記録され、当該アカウントのテキスト生成時にはTwitterアカウントでログインしているかをチェックします。鍵アカウントのテキスト生成時に、鍵アカウントでログインしていない場合には上記画像のエラーメッセージが表示されます。内部的には、ログイン機能が実装されたことになります。モデル生成時に自動でログインをする仕組みになっています。

動的サムネイル画像生成

Twitter cardなどで利用されるサムネイル画像の動的生成に対応しました。

今回の新機能はなんと言ってもこの動的サムネイルですね！ pic.twitter.com/GIoufQsTKa
— かおるこたゃ (@cordx56) 2020年12月8日

画像にあるように、リンクからアカウント名を抽出し、アカウント名を含む画像を生成しています。これにより、どのアカウントの自動生成結果なのかがツイートからわかりにくい問題が解消されました。内部的には、metaタグをNuxt.jsでSSRし、画像はDjango側でPillowを使って生成しています。

その他の改善点

細かい改善点です。

フロントエンドのデザインを微調整

フロントエンドのデザインを少し変えました。例えば、従来オプションがオプションとわかりにくく、入力必須であるかのように見えていた問題を解消するため、オプションであることを明記しました。

データベース内部で保持するアカウント名が大文字小文字を維持して保存するようになった

これまではファイルベースで生成済みモデルを保持していたため、大文字小文字の区別を無くすために、内部的に全て小文字で管理していました。今回データベースに移行するにあたり、内部的に大文字小文字を維持して保存しても、大文字小文字を区別せず検索できるようになりました。以前はモデル生成時にリダイレクトされるリンク先はアカウント名が全て小文字になったものでしたが、この変更により大文字小文字を区別した状態でリダイレクトされるようになりました。

プログラムの話

今回のバージョンアップ計画では、これまで使っていたフレームワークを変える決断をしました。

まず、PythonバックエンドのフレームワークをFlaskからDjangoに変更した点です。これは鍵アカウント保護機能において必要だったため変更しました。勿論、Flaskでログインシステムを一から構築することも考えましたが、データベースの扱いやすさなども考慮した際に、Djangoを利用したほうが開発コストが低いという判断になりました。自分がインターン先やサークルでDjangoを利用する機会が多く、Djangoの知見がたまっていたという背景もあります。

次に、これまでVue.jsを使っていたのをNuxt.jsに変更した点です。インターン先の関係でReactとNext.jsの知見がたまっていたためそちらへの移行を最初に考えたのですが¹、Vue.jsのソースコードが再利用できるNuxt.jsを利用する方向で落ち着きました。フロントエンドでは、動的サムネイル画像生成のために、metaタグをクライアントサイドで変更せず、サーバサイドで生成する必要がありました。そのため、Nuxt.jsでSSRをするという決断に至りました。

おわり

以上が今回のアップデートの概要になります。これからも多くの方に愛されるサービスであるよう、改良を続けていきたいと考えています。今後ともTweet generatorをどうぞよろしくおねがいします。

Tweet generatorについてはこちらの記事もご参照ください。

cordx56.hatenablog.com

コミットログにNext.jsを使おうとして途中で諦めたログが残っています↩

DMM GUILDとは

応募

開発環境

課題

面談

その他

最後に

購入までの道のり

ドキュメント

OpenWrtのインストール

OpenWrtのビルド

ext4イメージが出力できない

LEDEからOpenWrt 19.07.8へのアップグレード

性能について

まとめ

Discordの音声を受信してWAVファイルにする

Google Cloud Speech-to-Text APIを使って文字起こし

遭遇した問題

discord.jsが実際に吐き出すWAVファイルがガイドの形式と異なる

一定時間が経過するとVoiceConnectionのspeakingイベントが発火しなくなる現象への対処

おわりに

inkwell

導入

LLVMの導入

inkwellの導入

実際に動かしてみる

おわりに

Rustで動的リンクライブラリを作る

Cargo.toml の編集

ライブラリ本体を書く

ライブラリをビルドする

Rustで動的リンクライブラリを読み込む

Cargo.toml の編集

読み込むプログラム本体を書く

動的リンクライブラリを配置する

実行する

おわり

新機能

鍵アカウント保護機能

動的サムネイル画像生成

その他の改善点

フロントエンドのデザインを微調整

データベース内部で保持するアカウント名が大文字小文字を維持して保存するようになった

プログラムの話

おわり

`Cargo.toml` の編集

`Cargo.toml` の編集