https://blog.eniehack.net/ Nakaya https://blog.eniehack.net/ Hugo gohugo.io 2020 eniehack. Assets and articles not otherwise specified are licensed under <a href="https://creativecommons.org/licenses/by/4.0/">CC BY 4.0</a>. Source code is licensed under by <a href="https://apache.org/licenses/LICENSE-2.0.txt">Apache-2.0</a>. 2024-03-16T09:04:42Z https://blog.eniehack.net/articles/2021/02/21/aurutils-introduction/ 2021-02-21T13:41:40Z 2021-02-21T13:40:23Z <h2 id="motivation">動機</h2> <p>AURヘルパーは今までyayを使っていて、何ら不自由はなかった。しかし、書籍『UNIXという考え方』やPOSIX原理主義に感銘を受けたというのが大きい。特に前者の書籍にあった「実行速度より可搬性」というのはかなり同意できた。</p> <p>shellscriptの良さはPOSIX準拠である環境であれば、確実に使える点だ。これはPerl、PythonやRubyにはない有利な点である。また、shellscriptは遅いと一般的には考えられているが、パイプなどを意識すれば、shellsciptは高速化可能であることも<sup id="fnref:1"><a href="#fn:1" class="footnote-ref" role="doc-noteref">1</a></sup>、shellscriptのよい点だ。</p> <p>そのような思想に影響を受けたなか、bash製のaurutilsというAURヘルパーを発見し、私は使っていたyayからaurutilsへ移行してみることにした。</p> <h2 id="target-readers">対象読者</h2> <p>ArchLinux系のディストリビューションを使うユーザをこの記事は対象とする。ただし、その中でもTerminalに触れることに抵抗がなく、AURについて知っていることを前提として話を進めることとする。</p> <h2 id="what-is-aurutils">aurutilsとは</h2> <p>aurutilsとはbash製のAURヘルパである。</p> <p>AURヘルパにもgolang製のyay、nim製のpakkuなど、様々なものがある。しかし、それらとは異なり、このaurutilsはpacmanにあるcustom local repositoryという機能<sup id="fnref:2"><a href="#fn:2" class="footnote-ref" role="doc-noteref">2</a></sup>を用いて、AURにあるパッケージをインストールする。</p> <p>具体的に、custom local repositoryを使わないyayと、使うaurutilsではどのように違うのか、比較してみる。 yayなどでは、以下のような動作をする。</p> <ol> <li>AURからパッケージを取得</li> <li>依存関係の解決</li> <li>パッケージのインストールを行う。（ <code>makepkg -si</code> ）</li> </ol> <p>しかし、aurutilsでは</p> <ol> <li>AURからパッケージを取得</li> <li>依存関係の解決</li> <li>ビルドでちらかった環境の整理</li> <li>所定の位置へアーカイブを配置する</li> </ol> <p>だけだ。インストールはaurutilsが行なわない。これは、公式リポジトリのパッケージのように、pacmanが行う。</p> <h3 id="merit">特徴</h3> <p>yay-binを使えば話は別だが、yayはgolangのコンパイラを導入しなければならない。しかし、aurutilsは幾つかのbashスクリプトと、幾つかのmanドキュメントで構成されており、パッケージサイズが小さい。実際に、パッケージアーカイブ( <code>pkg.tar.zst</code> ）の状態で、yay-binは約8MB、aurutilsは約100KBである。 yayのほうが、依存するパッケージは少ないかもしれないが、aurutilsでは依存するパッケージの1つ1つが、小さい。</p> <p>加えて、aurutilsに関してはpaccacheも設定なしにcustomリポジトリに適用できた。しかし、 <code>makepkg.conf</code> に <code>PKGDEST=/path/to/yay/cache</code> のように設定し、 <code>paccache -c /path/to/yay/cache</code> のように実行すれば、yayでも実行できる。しかし設定せずとも、paccacheが使える点では、yayより有利かもしれない。</p> <p>ちなみに、paccacheは<a href="https://archlinux.org/packages/community/x86%5F64/pacman-contrib/">pacman-contrib</a>パッケージにあるコマンドだ。localにあるのパッケージアーカイブを、デフォルトで最新の3つのみを残して、それ以外を削除することができる。</p> <p>ただ、aurutilsは <code>yay -Ss</code> のような、AURと公式リポジトリを横断的に探索する機能がない、という不便な部分もある。</p> <p>これらの特徴を考えると、サーバや、HDDの小さいPCなど、ディスクをシビアに管理しなければならないような環境に向いているのかもしれない。</p> <h3 id="aurutils-usage">使い方</h3> <p>aurutilsはaurコマンドと、いくつかのサブコマンドで構成されている。サブコマンドの詳しい解説は <code>man 1 aur-sync</code> のように、manコマンドからそれぞれ読むことができる。</p> <h4 id="install">install</h4> <p>AURからパッケージをインストールするときは、まず、 <code>aur sync $pkgname</code> のようにパッケージをビルドし、配置する。次に、データベースを更新して（ <code>pacman -Syy</code> ）、インストール（ <code>pacman -S $pkgname</code> ）する。</p> <h4 id="update">update</h4> <p>aurutilsを用いてAURから取得したパッケージの更新は、 <code>aur sync -u</code> を実行する。このコマンドによって、まず、パッケージの更新確認する。その結果から、更新がある場合はビルドしてcustomリポジトリへ配置する。</p> <h4 id="search">search</h4> <p>パッケージの検索は <code>aur search $pkgname</code> のようにコマンドを実行する。</p> <h4 id="その他">その他</h4> <p>その他にもaurutilsは <code>aur</code> コマンドのサブコマンドとして様々な機能を提供している。</p> <ul> <li>aur build</li> </ul> <p>パッケージをビルドする</p> <ul> <li>aur fetch</li> </ul> <p>パッケージを取得してくる</p> <ul> <li> <p>aur chroot <code>systemd-nspawn</code> を用いてパッケージをビルドする</p> </li> <li> <p>aur query</p> <p>aurwebへGETリクエストを送る</p> </li> <li> <p>aur pkglist AURにある全てのパッケージ名を取得する</p> </li> </ul> <h2 id="install">導入</h2> <p>ここからは、yayからaurutilsへ実際に移行してみることにする。<sup id="fnref:3"><a href="#fn:3" class="footnote-ref" role="doc-noteref">3</a></sup>を参考にした。また、検証はしていないものの、yay以外の既存のAURヘルパーに関しても、パッケージアーカイブを移動し、 <code>repo-add</code> コマンドでパッケージを登録すればよいと思われる。さらに、AURヘルパーを初めて導入する場合は、<sup id="fnref:3"><a href="#fn:3" class="footnote-ref" role="doc-noteref">3</a></sup>とここを参考にすれば導入できるはずだ。</p> <ol> <li> <p><code>pacman -Qqm &gt; ~/aurpkglist</code></p> </li> <li> <p>パッケージアーカイブを移動する</p> <p><a href="https://gitlab.com/-/snippets/2076763">yayからlocal repoへアーカイブ(pkg.tar.(xz|zst))を移動する自作scriptを書いた</a>ので参考にどうぞ。</p> <p>ちなみに、私は <code>/etc/makepkg.conf</code> の <code>PKGEXT</code> を <code>&quot;.pkg.tar.zst&quot;</code> にしている<sup id="fnref:4"><a href="#fn:4" class="footnote-ref" role="doc-noteref">4</a></sup>。なぜなら、ZStandardは展開と圧縮がgzipより高速で、かつpacmanがデフォルトで用いている圧縮フォーマットだからだ。</p> </li> <li> <p>pacman.confの編集</p> </li> </ol> <p>作成するcustomリポジトリをpacmanへ認識させる。 <code>/etc/pacman.d/custom/</code> へ 以下の内容を書きこみ、</p> <pre><code class="language-nil" data-lang="nil">[options] CacheDir = /var/cache/pacman/pkg CacheDir = /var/cache/pacman/custom CleanMethod = KeepCurrent [custom] SigLevel = Optional TrustAll Server = file:///var/cache/pacman/custom </code></pre><p><code>/etc/pacman.conf</code> の最後に <code>Include = /etc/pacman.d/custom/</code> を追記する。</p> <ol> <li> <p><code>sudo install -d /var/cache/pacman/custom -o $USER</code> でディレクトリを作成する</p> </li> <li> <p><code>cd /var/cache/pacman/custom/</code></p> </li> <li> <p><code>repo-add custom.db.tar</code></p> <p><code>repo-add</code> とはpacmanが提供する個人的なリポジトリを管理するコマンドだ。このコマンドでは、ワイルドカードでパッケージアーカイブを指定できる。ここではcustomリポジトリのデータベースを作成している。</p> </li> <li> <p><code>repo-add -n custom.db.tar *.pkg.tar.xz</code></p> <p>ここではcustomリポジトリのデータベースにyayが作成したパッケージアーカイブを登録する。この作業は長いので、ここでティーブレイクをしてもいいだろう。</p> </li> <li> <p>最後に <code>pacman -Syu</code> をすれば完了だ。</p> </li> </ol> <h2 id="conclusion">最後に</h2> <p>custom local repositoryを始めて知った。これを応用して、gemやpipのパッケージを管理するのはよさそうだ、と思った。</p> <p>最後に。添削に協力してくださった、skiaさん、trash_canさんありがとうございました。この場で感謝いたします。</p> <h2 id="参考">参考</h2> <ul> <li>公式GitHubリポジトリ: <a href="https://github.com/AladW/aurutils">AladW / aurutils - GitHub</a></li> </ul> <section class="footnotes" role="doc-endnotes"> <hr> <ol> <li id="fn:1" role="doc-endnote"> <p>松浦 智之、大野 浩之、當仲 寛哲『ソフトウェアの高い互換性と長い持続性を目指すPOSIX中心主義プログラミング』<a href="https://www.ipsj.or.jp/dp/contents/publication/32/S0804-R1601.html">https://www.ipsj.or.jp/dp/contents/publication/32/S0804-R1601.html</a>より。2021/02/20 閲覧。 <a href="#fnref:1" class="footnote-backref" role="doc-backlink">&#x21a9;&#xfe0e;</a></p> </li> <li id="fn:2" role="doc-endnote"> <p><a href="https://wiki.archlinux.org/index.php/Pacman/Tips%5Fand%5Ftricks#Custom%5Flocal%5Frepository">Pacman/Tips and tricks#Custom local repository - Archwiki</a> <a href="#fnref:2" class="footnote-backref" role="doc-backlink">&#x21a9;&#xfe0e;</a></p> </li> <li id="fn:3" role="doc-endnote"> <p><a href="https://gist.github.com/geosharma/afe1ea9ebe58cb67aaaba62a0d47bc7a">Arch Linux: aurutils installation and configuration - GitHub Gist</a> <a href="#fnref:3" class="footnote-backref" role="doc-backlink">&#x21a9;&#xfe0e;</a></p> </li> <li id="fn:4" role="doc-endnote"> <p>詳細は <code>man 5 makepkg.conf</code> もしくは <a href="https://man.archlinux.org/man/makepkg.conf.5.en">https://man.archlinux.org/man/makepkg.conf.5.en</a>を参照のこと <a href="#fnref:4" class="footnote-backref" role="doc-backlink">&#x21a9;&#xfe0e;</a></p> </li> </ol> </section> Nakaya https://eniehack.net https://blog.eniehack.net/articles/2019/08/18/make-wtmgr/ 2021-01-30T17:30:31Z 2019-08-17T15:28:22Z <div id="preamble"> <div class="sectionbody"> <div class="paragraph"> <p>こんにちは。最近部誌でTeXを使っているのでTeXにお熱のNakayaです。ブログ更新が2週間空きましたが元気に生活しています。</p> </div> <div class="paragraph"> <p>WindowsでTeXLiveを使うと毎年更新しないといけないみたいだし、tlmgrが重いしで、私はW32TeXを使っています。しかし、パッケージの管理が大変なので先日<a href="https://github.com/eniehack/W32TeX-Package-Manager">W32TeX向けのアーカイブマネージャ</a>を開発しました。その経緯と思想、内部構造、今後などを語っていきたいと思います。</p> </div> </div> </div> <div class="sect1"> <h2 id="_経緯">経緯</h2> <div class="sectionbody"> <div class="paragraph"> <p>先日ConTeXtを試してみるかと思い立ってConTeXtのアーカイブをダウンロードし、 <code>texinstwin</code> からの <code>installmk4</code> と、<a href="https://texwiki.texjp.org/?ConTeXt">TeXjpWiki</a>通りにコマンドを実行してみると、どうもLuaLaTeXのバージョンが古いみたいでインストールに失敗しました。<br/> その後W32TeX版LuaLaTeXの最新版を落として無事にConTeXtはインストールできたのですが、 W32TeX公式のCLIインストーラ版にはパッケージマネージャが付属していないのでこうなったのかなあ、と思ったわけです。 <del>ちゃんと更新くらい確認しろ</del> W32TeXには他にも初心者向GUIインストーラもあるのですがどうも私の環境では不安定なようで、CLIインストーラを導入して今に至っていて不便なあとずっと思ってました。</p> </div> </div> </div> <div class="sect1"> <h2 id="_思想">思想</h2> <div class="sectionbody"> <div class="paragraph"> <p>先日のConTeXtの件で本格的にパッケージマネージャを作るぞ、となりましてあれこれ考えて以下のように思想が固まりました。</p> </div> <div class="ulist"> <ul> <li> <p><code>Arch Linux</code> のパッケージマネージャ、 <code>pacman</code> の良さを取り入れたい<br/> <code>apt install</code> なんて長い文字列打ちたくないですよね。でもPacmanなら <code>pacman -S</code> でできて楽ですね。</p> </li> <li> <p>TeXの面倒な部分をなくしたい<br/> そういえばマクロパッケージとかインストールするのも面倒だったなと思って、マクロの管理もできるといいなと思いました。</p> </li> </ul> </div> </div> </div> <div class="sect1"> <h2 id="_書いてて思ったことなど">書いてて思ったことなど</h2> <div class="sectionbody"> <div class="ulist"> <ul> <li> <p>GolangのFTP系ライブラリが弱い<br/> 後述するのですが、ファイルリストを詳細取得するコマンド(<code>MLSD</code>)に対応してなかったり、コマンド直打ちできなかったりいろいろでした。勉強がてらGolangでFTP系ライブラリ書くのはアリだなと思ったりしました。</p> </li> <li> <p><code>interface{}</code> 、お前……<br/> Golangの空interfaceはどんな型でも取ることができます。これがGolangのいい点であり悪い部分でもあるんですよね……。</p> </li> <li> <p>PythonもGolangも久し振りに書いた<br/> Pythonはもうめっきり(9ヶ月～半年)書いてないので覚えているわけもなく……。Golangも数ヶ月前まで書いてたのにエラー吐かれまくってました。GolangはTILにまとめたはずなのにTILはまともに使えない代物だったし……。</p> </li> <li> <p>FTPってこんな感じなのか……<br/> FTPに触れるのが始めてだったのでとても勉強になりました。</p> </li> <li> <p>Python便利だな……<br/> ほとんど標準ライブラリで書けてしまいました。すごい……。</p> </li> </ul> </div> </div> </div> <div class="sect1"> <h2 id="_内部では何が起こっているのか">内部では何が起こっているのか</h2> <div class="sectionbody"> <div class="paragraph"> <p>2019/08/18時点では内部構造は以下のようになってます。</p> </div> <div class="olist arabic"> <ol class="arabic"> <li> <p>CLIで欲しいパッケージを取得する<br/> <code>wtmgr -S luatexja</code> だったら <code>luatexja</code> が欲しいんだなとなるわけです。<br/> また、コマンドライン引数のパースにはPython標準ライブラリの <code>Argparse</code> を使ってます</p> </li> <li> <p>FTPでミラーにアクセス<br/> W32TeXのアーカイブをミラーしてくださっているサーバはいくつかあるのですが、選ぶアルゴリズムを考えるのも面倒だったのでringから取ってくるようにしてます。<br/> これまたPython標準ライブラリである、 <code>ftplib</code> を使ってFTPの操作をしてます。</p> <div class="olist loweralpha"> <ol class="loweralpha" type="a"> <li> <p>目的のディレクトリまで <code>CWD</code><br/> UNIXでいうとこで <code>cd</code> ですね、FTPでは <code>CWD</code> (Change Working Directory)とかいうっぽいです</p> </li> <li> <p><code>MLSD</code> してファイルリストを取得<br/> <code>LIST</code> だかというFTPのコマンドがあるのですがこれだと単純にファイルリストを返すだけなのでファイルの変更日時とかが分からないので <code>MLSD</code> を使うことにしました</p> </li> <li> <p>欲しいパッケージとファイルリストを照合する<br/> forとif文をブン回すやつです</p> </li> <li> <p>目的のファイルを <code>RETR</code> する Pythonではバイナリを <code>open()</code> でhogehogeするさいは modeの最後に <code>rb</code> のように <code>b</code> をつけるっぽいですね。勉強になります。</p> </li> </ol> </div> </li> </ol> </div> </div> </div> <div class="sect1"> <h2 id="_今後">今後</h2> <div class="sectionbody"> <div class="paragraph"> <p>現時点では最低限のことしてできないのでまだまだ拡張していきたいところでして、今後計画しているのは機能の拡張と言語を変えてのリライトの2つです。</p> </div> <div class="sect2"> <h3 id="_機能の拡張">機能の拡張</h3> <div class="paragraph"> <p>とりあえずアーカイブのダウンロードが簡易的にはできるようになったので、それをアップデートできる機能が欲しいと思ってます。<br/> また、そういえばLaTeXのパッケージってインストールするの面倒だったよなと思ったので、ここからLaTeXのパッケージを管理できるようになりたいと思ってます。 <del>環境変数 TEXMF って探すの面倒じゃないですか？毎回ggってしまいます</del> </p> </div> </div> <div class="sect2"> <h3 id="_開発言語の変更">開発言語の変更</h3> <div class="paragraph"> <p>PythonはArgperserやftplibが標準ライブラリとなっていて魅力的な言語ではありますが、 Windowsで使うにはPythonインストールする手間などを考えると少々ハードルが高くなるかと思ってます。 <del>そもそもTeXの導入はハードルが高いのでは？</del><br/> また、私自身さまざまな言語に触れてみたいと思っていることもあり、他言語で開発しようかなと思ってます。<br/> 移行先の言語候補としては、なんだかんだ単一バイナリが吐けて便利なGolang、 勉強がてらRust、F#のあたりかななんて。</p> </div> </div> </div> </div> <div class="sect1"> <h2 id="_おわりに">おわりに</h2> <div class="sectionbody"> <div class="paragraph"> <p>TeXの何がダメってエラーメッセージの適当さですよね。 まあ、そこを気にしたらTeX使えませんし膨大なマクロが使えるのがいいんですけど……。 しかも最近は代替としてSATySFiやRe:view、Asciidoctorもあることですし……。</p> </div> </div> </div>