
# tl;dr

- 2022年2月時点でMarkdownのlint項目には50個のルールがあるらしい
- 興味がてらMarkdownのlintを設定する方法を記載した
- チームのドキュメント開発に導入しようと思うレベルではないのだが、 Markdownの記載方法がブレる事例を集約したものなので どのようなルールがあるのか眺めることは良いことだと思う

# 設定ファイルを配置する

.markdownlint.ymlをレポジトリのルートに配置する

`touch .markdownlint.yml`

ルール一覧は[こちら](https://github.com/DavidAnson/markdownlint/blob/main/doc/Rules.md)にあるので、無効にしたいものをfalseにする

```yaml
MD040: false
```

MD040はコードブロックに言語指定を必須とするというルールであるが、必ずしも必須にする必要もないと思い`false`にしている

# Docker上で実行する

[`markdownlint-cli](https://github.com/igorshubovych/markdownlint-cli)をインストールして実行する方法があるが、
Lintツールの類いはDocker経由で実行したいので、[avto-dev/markdown-lint](https://github.com/avto-dev/markdown-lint)を利用する

$dirを格納先のパスに変更して、ディレクトリ単位で一括で実行するコマンドは以下のようになる

```sh
docker run --rm -v "$(pwd):/data" \
  -e INPUT_CONFIG=/data/.markdownlint.yml \ 
  avtodev/markdown-lint:v1 /data/$dir
```

# GitHub Actions上で実行する

引き続き `docker://avtodev/markdown-lint:v1`のイメージを使う

```yaml
jobs:
  lint:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v2

      - name: Lint markdown file
        uses: docker://avtodev/markdown-lint:v1
        with:
          args: '**/*.md'
          config: '.markdownlint.yml'
```

# まとめ

これで継続的なLintチェックが可能となる
当ブログでも設定しているので、参考にしてほしい



# tl;dr

- ブラウザの自動操作はpuppeteerがおすすめ
- ファイルのダウンロードもできる
- サーバレス環境で動かそう

## Why

例えば、領収書や請求書などの書類の月次ダウンロードを定型業務がある会社は多いはず。
その定型業務を自動化するソリューションとしてユースケースを単純化したサンプルを紹介する
実現方法の一例、ブラウザ操作の自動化で使われるメジャーなツールとして[puppeteer](https://github.com/puppeteer/puppeteer)を利用する


## 目次

1. puppeteerを動かすアプリケーションを作成する
2. puppeteerをローカルにてDockerで動かす
3. puppeteerで対象ページにあるファイルをダウンロードする
4. 上記をGitHub Actions環境で実行する
5. ダウンロードしたファイルをArtifactへアップロードする

上記のフローで実現できるとよい
4からはおまけみたいなもので、本来はCloudRunなどサーバレスなパブリッククラウド環境でよいので、定期実行するとよい。
個人的にはCloudRun+GCSにダウンロードをしたものを保存することをおすすめしている。

今回はサンプルというのもあり、GitHub（+GitHub Actions）の機能で完結できる環境にした
サンプルソースコードは以下にあるので参考にしてほしい。

## 1. puppeteerを動かすアプリケーションを作成する

### スクレイピングサイトの準備

[github-page機能でのホスティング](https://hayashiki.github.io/dummy-static-site)にてPDFをaタグをdownload属性をつけてgithub-pageにホストしたページを作成している
このサイトを請求書等が置かれている想定でブラウザで自動ダウンロードさせる想定

![img.png](/attachments/img2.png)

### アプリケーション構成

[express](https://expressjs.com/ja/)でさくっとWebサーバをたてて、リクエストハンドラを作り、httpリクエストを受けてスクレイピングを実行する構成とする
httpリクエストエンドポイントがあることでサーバレス環境、例えばCloudRunやCloudFunctionsで実行可能となるため。
OnOffのジョブ形式やコマンドラインで実行したい場合はコマンドラインツール的なものを用意するでもいいと思う。

コードを抜粋

```js
app.use(async (req, res) => {
  console.info("[main] version:" + process.env.npm_package_version)

  const result = await getPDF()
  console.info(`[main] result:${result}`)
})
```

getPDF関数にpuppeteerによるPDF自動ダウンロードを記載している

```js
// Download PDF
async function getPDF() {
    let result = false;
    const browser = await puppeteer.launch({ args: ['--no-sandbox']});
    try {
        const page = await browser.newPage();
        await page._client.send('Page.setDownloadBehavior', {
            behavior : 'allow',
            downloadPath: resolve(__dirname,'.','downloads')
        });
        console.info("[getPDF] download path", resolve(__dirname,'.','downloads'))
        // ダウンロードページへ遷移
        await page.goto(targetURL)
        console.info("[getPDF] goto targetURL")
        await page.waitForSelector('#pdf1')
        console.info("[getPDF] finished download page")
        await page.click('#pdf1');
        console.info("[getPDF] download click")
        // 念の為10秒待つ
        await page.waitForTimeout(10000)
        console.info("[getPDF] download finished")
        result = true;

        // For debug
        const html = await page.content();
        console.log(html);

        // For debug
        const filePath = '/tmp/screenshot.png'
        await page.screenshot({ path: filePath, fullPage: true });
    } catch (e) {
        console.error(`[getPDF] err: ${e}`)
        result = false;
    }
    finally {
        console.log(`[getPDF] close`)
        await browser.close();
        return result
    }
}
```

いくつかポイントを列挙する

- ダウンロード先のディレクトリを指定する

setDownloadBehaviorメソッドで、 ファイルのダウンロード指定を行う
任意のパスで良いと思うが、カレントディレクトリの`downloads`を指定した

```js
const browser = await puppeteer.launch({ args: ['--no-sandbox']});
const page = await browser.newPage();
await page._client.send('Page.setDownloadBehavior', {
  behavior: 'allow',
  downloadPath: resolve(__dirname, '.', 'downloads')
})
```

あとはpuppeteerの基本的なメソッドをつかってページ遷移してダウンロードを押下している内容となる

ポイントとしては、
- 必要以上にconsole.infoで標準出力にログを垂れ流す

スクレイピングはHTML構造が変更されることが多く、
運用はじまって時間が立つほど期待した結果が得られる可能性は下がりがちになる
console.info使ってステップバイステップで標準出力ログは必要以上に残しておくとよい

- キャプチャを取る関数を用意しておく

エラーが起きた時点で スクリーンショットをとれるように準備しておくとよい

```.javascript
const filePath = '/tmp/screenshot.png'
await page.screenshot({ path: filePath, fullPage: true });
```

### テスト実行でpuppeteerを動作させる

Jest経由で実行すると、OneOffのジョブとして実行することも可能である

app.test.jsを用意して、expressのハンドラから実行される関数だけを呼び出すようにした
テスト実行にてJest経由でリクエストハンドラで呼ばれる関数をキックすることで実現しているので 参考にしてほしい

```javascript
import request from 'supertest'
import {app} from './app.js'

describe(`Get PDF`, () => {
  test(`GET`, (done) => {
    request(app)
        .get(`/`)
        .then((res) => {
          expect(res.statusCode).toBe(200)
          expect(res.text).toBe(`OK`)
          done()
        })
        .catch((err) => {
          done(err)
        })
  })
})

```

## 2. puppeteerをローカルにてDockerで動かす

### Dockerfile

Dockerファイルの作成のポイントを記載する

- ベースは以下の公式のドキュメントを参考にする

https://github.com/puppeteer/puppeteer/blob/main/docs/troubleshooting.md

- node:slimを選ぶとよい
  サイズを減らす努力をしてnodeのalpineベースを選んでもよいのだが、
  ダウンロードしたファイルの日本語のフォント問題やらライブラリ不足が指摘されやすいため

```Dockerfile
FROM node:16.13-slim

RUN apt-get update \
  && apt-get install -y wget gnupg \
  &&  wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - \
  && sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list' \
  && apt-get update \
  && apt-get install -y google-chrome-stable fonts-ipafont-gothic fonts-wqy-zenhei fonts-thai-tlwg fonts-kacst fonts-freefont-ttf libxss1 gconf-service libasound2 libatk1.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget \
  && rm -rf /var/lib/apt/lists/*

# Add pptr user.
RUN groupadd -r pptruser && useradd -r -g pptruser -G audio,video pptruser \
    && mkdir -p /home/pptruser/Downloads \
    && chown -R pptruser:pptruser /home/pptruser \
    && mkdir -p /app \
    && chown -R pptruser:pptruser /app

# Run user as non privileged.
USER pptruser

WORKDIR /app

COPY --chown=pptruser:pptruser package*.json ./

RUN yarn install

COPY --chown=pptruser:pptruser ../../.. .

CMD ["yarn", "start"]

```

### docker-compose

```yaml
version: '3.8'
services:
  app:
    build: ..
    command: yarn start
    ports:
      - 8080:8080
    volumes:
      - .:/app
      - trick:/app/node_modules

    environment:
      - PORT=8080
volumes:
  trick:


```

ポイントしては

- ファイルダウンロード先をDockerfileのVolume指定する

ファイルダウンロード先をDockerfileのVolume指定することで
ホストからでもファイルを参照できるようにするとよい

- サーバレス環境でデプロイした実行した場合には保存されないので クラウドストレージに保存する必要がある

以下のイメージでGCSにストリームして書き込むとよい

```javascript
import Storage from '@google-cloud/storage'
let gcs

const files = fs.readdirSync(resolve(__dirname,'.','downloads'))
const pdfFiles = files.filter(f => f.includes('.pdf'))

const bucketName = "xxxx"
const results = []
pdfFiles.forEach(fileName => {
  const targetFullpath = resolve(__dirname, '.', 'downloads' + '/' + fileName)
  writeToGcs(targetFullpath, bucketName, fileName)
})

async function writeToGcs(readFile, bucketName, writeFile) {
    gcs = gcs || new Storage()
    const bucket = gcs.bucket(bucketName)
    console.log(`bucket: ${bucketName}, file: ${writeFile}`)
    const file = bucket.file(writeFile)
    const src = fs.createReadStream(readFile)
    const stream = file.createWriteStream()
    src.pipe(stream);
    return true
}
```

## 3. puppeteerで対象ページにあるファイルをダウンロードする 

さて、実装もDocker環境もととのったところで 、ローカルからDocker環境経由で実行する

`docker compose up`にて立ち上げて、`curl http://localhost:8000`する

するとpuppeteerが起動して、自動ダウンロードして、downloadsフォルダにpdfが取得できる

## 4 GitHub Actionsからpuppeteer実行して、ダウンロードファイルを取得する

ここからはおまけな話で、

```yaml
jobs:
  lint:
    name: Test
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
        uses: actions/checkout@v2

      - name: Get yarn cache
        id: yarn-cache
        run: echo "::set-output name=dir::$(yarn cache dir)"

      - name: Setup Node 16.x
        uses: actions/setup-node@v1
        with:
          node-version: 16.x

      - name: Install
        run: yarn install --frozen-lockfile

      - name: Test
        run: yarn test

      - name: List files in the repository
        run: |
          ls ${{ github.workspace }}

      - name: Archive production artifacts
        uses: actions/upload-artifact@v2
        with:
          name: Download Files
          path: downloads
```

Artifactsにアップロードされていることが確認できる

![img.png](/attachments/img.png)

## 補足

副次的な話になるが、 ミニマムなpuppeteer検証環境があることで、予期せぬ挙動があったときに
それがHeadlessChrome、Node、puppeteerのバージョンのどれが原因か切り分けやすくなった



# Motivation

最近Rustを競プロのサブ言語的な位置づけで書き始めたので、まずはセットアップ方法を自分のメモ用にしておく

# Install

[サイト](https://www.rust-lang.org/ja/tools/install)からrustupをダウンロードする

```
 % curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
info: downloading installer

Welcome to Rust!

〜

1) Proceed with installation (default)
2) Customize installation
3) Cancel installation
>1

info: profile set to 'default'
info: default host triple is x86_64-apple-darwin
info: syncing channel updates for 'stable-x86_64-apple-darwin'
info: latest update on 2022-01-20, rust version 1.58.1 (db9d1b20b 2022-01-20)

〜
Rust is installed now. Great!

To get started you may need to restart your current shell.
This would reload your PATH environment variable to include
Cargo's bin directory ($HOME/.cargo/bin).

To configure your current shell, run:
source $HOME/.cargo/env

```

```
% source $HOME/.cargo/env
% which cargo
/Users/hayashiki/.cargo/bin/cargo
% which rustup
/Users/hayashiki/.cargo/bin/rustup
% rustc --version
rustc 1.58.1 (db9d1b20b 2022-01-20)
```

# IntelliJ IDEAでRustを使うには？

[Rustのプラグイン](https://plugins.jetbrains.com/plugin/8182-rust)があったのでインストールする

![img.png](/attachments/20220131-rustidea.png)

Rustをインストール済みであれば 、ToolChainにCargoのパスがうまっているはず

以上



## はじめに

CloudRunで継続デプロイする際の設定をまとめた
CloudSDKのコマンドベースでの記載であるが、 terraformを使うバージョンもあるのでまた別途記載予定である

## 手順

1. CI/CD用のサービスアカウントユーザを作成する
2. CloudRun用のサービスアカウントユーザを作成する
3. GitHub Actionsを設定する

## 前提

- [Cloud SDKをインストールしてgcloudコマンドが実行できること](https://cloud.google.com/sdk/docs/install)
- [gcloud config set project](https://cloud.google.com/sdk/gcloud/reference/config/set)してプロジェクト作成済みであること
- Goアプリケーションは割愛、簡易的なWebサーバをたててもらえればOK

## API有効化

gcloudコマンドで作成して、権限を付与する
最低限のAPIしか有効化していないので、例えばCloudSQLも利用するのであれば周辺の権限も有効化しておく

```sh
export GCP_PROJECT=$(gcloud config get-value project)
gcloud services enable iamcredentials.googleapis.com --project $GCP_PROJECT 
gcloud services enable run.googleapis.com --project $GCP_PROJECT
```

ポイント
- `iamcredentials.googleapis.com`は後述するWorkloadIdentify連携で必要になるため必要

## CI/CD用のサービスアカウントユーザを作成する

gcloudコマンドで作成して、権限を付与する
editorやowner権限を与えたくなる気持ちはわかりますが、最小権限の原則でいきましょう

- まずはユーザ作成

```sh
export GCP_PROJECT=$(gcloud config get-value project)

gcloud iam service-accounts create ci-user \
--project=$GCP_PROJECT \
--display-name "CI User Service Account"
```

- 必要なRoleを付与する
    - CloudBuildのBuild
    - サービスアカウントユーザ
    - CloudRun管理者

あたりを付与すればCloudRun単体のCI/CD環境は正しく動作する
サービスアカウントユーザは必須で、これがないとデプロイに対して適切なサービスアカウントを持っていないとみなされ
`iam.serviceaccounts.actAs' denied on service account deploy`といったエラーでおこられるので注意しよう

[参考](https://cloud.google.com/run/docs/reference/iam/roles?hl=ja#gcloud)

```sh
export CI_SA_EMAIL=ci-user@$GCP_PROJECT.iam.gserviceaccount.com

gcloud projects add-iam-policy-binding $GCP_PROJECT \
--member="serviceAccount:$CI_SA_EMAIL" \
--role='roles/cloudbuild.builds.builder'
gcloud projects add-iam-policy-binding $GCP_PROJECT \
--member="serviceAccount:$CI_SA_EMAIL" \
--role='roles/iam.serviceAccountUser'
gcloud projects add-iam-policy-binding $GCP_PROJECT \
--member="serviceAccount:$CI_SA_EMAIL" \
--role='roles/run.admin'
```

## CloudRunの実行ユーザを作成する

指定しなければデフォルトのサービスアカウントで実行されるが、
デフォルトのサービスアカウントから変更しておくことが推奨されているので 専用のサービスアカウントを作成する

- サービスアカウント作成

```sh
# Runのサービス単位でサービスアカウントを作ることを想定して サービス名と同じにして変数を使いまわしているが、特に任意の名前で問題ない
export SERVICE_NAME="cloud-run-service-server"

gcloud iam service-accounts create $SERVICE_NAME \
--display-name "$SERVICE_NAME service account"
```

- CloudRun管理者権限を付与

```sh
export SERVICE_NAME="cloud-run-service-server"
export CLOUDRUN_SA=$SERVICE_NAME@$GCP_PROJECT.iam.gserviceaccount.com

gcloud projects add-iam-policy-binding $GCP_PROJECT \
--member serviceAccount:$CLOUDRUN_SA \
--role roles/run.admin
```

## Workload連携で作成する

GitHubActionsのOIDCでGCPのリソースをさわりたいので WorkloadIdentity連携の設定を行う

```
export POOL_NAME=github-actions
export GITHUB_REPO=$(git config remote.origin.url | cut -d : -f 2 | sed 's/.git//')
export PROVIDER_NAME=gha-provider
export CI_SA_EMAIL=ci-user@$GCP_PROJECT.iam.gserviceaccount.com

## ワークロード連携プールを作成する
gcloud iam workload-identity-pools create $POOL_NAME \
--project=$GCP_PROJECT --location="global" \
--display-name="use from GitHub Actions"

export WORKLOAD_IDENTITY_POOL_ID=$(gcloud iam workload-identity-pools describe $POOL_NAME --project=$GCP_PROJECT --location=global --format="value(name)")

## CIユーザにWorkloadIdentity連携のロールを付与する
gcloud iam service-accounts add-iam-policy-binding $CI_SA_EMAIL \
--project=$GCP_PROJECT \
--role="roles/iam.workloadIdentityUser" \
--member="principalSet://iam.googleapis.com/$WORKLOAD_IDENTITY_POOL_ID/attribute.repository/$GITHUB_REPO"

## WorkloadIdentityPoolにProviderを作成する
gcloud iam workload-identity-pools providers create-oidc $PROVIDER_NAME \
--project=$GCP_PROJECT --location=global \
--workload-identity-pool=$POOL_NAME \
--display-name="use from GitHub Actions provider" \
--attribute-mapping="google.subject=assertion.sub,attribute.repository=assertion.repository,attribute.actor=assertion.actor,attribute.aud=assertion.aud" \
--issuer-uri="https://token.actions.githubusercontent.com"
	
```

# GitHub Actionsを設定する

対象ブランチやデプロイ条件は適宜いい感じにしてもらうとして、
GCPサービスアカウントのアカウントキーを発行せずにデプロイできることがポイントとなる

```yaml
name: Deploy

on:
  pull_request:
    branches:
      - 'main'  
  push:
    branches:
      - 'main'
jobs:
  deploy:
    runs-on: ubuntu-latest

    env:
      GCP_PROJECT: xxxx // secretsに登録して読み込むでも良し
      GCP_PROJECT_NUM: xxxx
      REGION: xxxx
      SERVICE_NAME: xxxx

    permissions:
      contents: read
      id-token: 'write'

    steps:
      - uses: 'google-github-actions/setup-gcloud@v0'
        with:
          project_id: ${{ env.GCP_PROJECT }}

      - name: Checkout
        uses: actions/checkout@v2

      - id: 'auth'
        name: 'Authenticate to Google Cloud'
        uses: 'google-github-actions/auth@v0.3.1'
        with:
          create_credentials_file: true
          workload_identity_provider: projects/${{ env.GCP_PROJECT_NUM }}/locations/global/workloadIdentityPools/github-actions/providers/gha-provider
          service_account: ci-user@${{ env.GCP_PROJECT }}.iam.gserviceaccount.com

      - id: 'gcloud'
        name: Authenticate
        run: |-
          gcloud auth login --brief --cred-file="${{ steps.auth.outputs.credentials_file_path }}"
          gcloud --quiet auth configure-docker

      - name: Docker Build
        run: |-
          docker build -t ${{ env.SERVICE_NAME }} .
          docker tag ${{ env.SERVICE_NAME }} gcr.io/${{ env.GCP_PROJECT }}/${{env.SERVICE_NAME}}:latest
          docker push gcr.io/${{ env.GCP_PROJECT }}/${{env.SERVICE_NAME}}:latest

      - name: Deploy
        if: github.event_name == 'push'
        run: |-
          gcloud run deploy ${{ env.SERVICE_NAME }} --image gcr.io/${{ env.GCP_PROJECT }}/${{ env.SERVICE_NAME }}:latest \
            --project ${{ env.GCP_PROJECT }} \
            --platform managed \
            --region ${{ env.REGION }} \
            --service-account ${{ env.SERVICE_NAME }}@${{ env.GCP_PROJECT }}.iam.gserviceaccount.com \
            --allow-unauthenticated

```

以上で、設定可能となる



# Motivation

初学者にGoのセットアップ方法を聞かれる機会がちらほらあるので、
このリンクを読んでおいてと案内できるものを自分で書いちゃってよいかなというモチベーション

# Setup環境

- Machine: MacBook Pro(Intel)
- OS: maxOS Monterey

# 方針

- 公式サイトからダウンロードしてパスを通す 🙆‍♂️
- brew経由などのパッケージマネージャでインストールする方法は採用しない
- [goenv](https://github.com/syndbg/goenv)などの*env系ツールも採用しない

Goは後方互換性があるため、特別なことがない限り
最新にバージョンをあげていけばよいので、バージョン管理ツールは不要

# Install

- [Go公式](https://golang.org/dl/)からtar.gz形式でダウンロードする
- MacOSで 2021/10時点での最新バージョンはgo1.17.2.darwin-amd64.tar.gzが対象
- ダウンロードファイルを`/user/local`に展開する

```sh
// 2021/10 時点での最新バージョン
$ wget https://golang.org/dl/go1.17.2.darwin-amd64.tar.gz
$ sudo tar -C /usr/local -xzf go1.17.2.darwin-amd64.tar.gz
$ rm go1.17.2.darwin-amd64.tar.gz
```

# Add path to ~/.zshrc

- パスを通す

```
$ vi ~/.zshrc

$ export PATH=$PATH:/usr/local/go/bin
$ export GOPATH=$HOME/go
```

# ~/.zshrcを反映

```
$ source .zshrc
```

$HOME/goのパスを`ls`するとbin, pkg, sdkが確認できる

```
% ls $HOME/go
bin     pkg     sdk
```

# バージョン確認

```
$ go version
go version go1.17.2 darwin/amd64
```

# Goバージョンアップ(追記)

手順はインストール手順と同じである
試しにv1.17.3がでていたので、インストールする

```:sh
$ wget https://golang.org/dl/go1.17.3.darwin-amd64.tar.gz
$ sudo tar -C /usr/local -xzf go1.17.3.darwin-amd64.tar.gz
$ rm go1.17.3.darwin-amd64.tar.gz
$ go version                                              
go version go1.17.3 darwin/amd64
```

# go.modのGo Versionの変更 

go.mod記載のGoのVersionを変更するには以下の`go mod edit -go=1.XX`で行う
例として、go1.16 -> go1.17へ変更する

```
$ go mod edit -go=1.17

$ git diff go.mod
diff --git a/go.mod b/go.mod
index 282c25f..014df88 100644
--- a/go.mod
+++ b/go.mod
@@ -1,9 +1,11 @@
 module github.com/hayashiki/go-boiler
 
-go 1.16
+go 1.17

```
# Go Multi Version install

複数バージョンのGoをInstallする場合には[マニュアル](https://go.dev/doc/manage-install?s=09#installing-multiple)に書いてあるようにおこなう
（サーバレス上のランタイムのGoバージョン制約にあわせる必要があるケースなど）

```
$ go install golang.org/dl/go1.17.6@latest
$ go1.17.6 download
$ go1.17.6 version
```

# Install On Ubuntu

- 公式サイトの取得をlinux-amd64にすればよいだけ

```
$ wget https://golang.org/dl/go1.17.6.linux-amd64.tar.gz
$ sudo tar -C /usr/local -xzf go1.17.6.linux-amd64.tar.gz
```

- 環境変数をパスに登録する

```
vi ~/.profile
$　export PATH=$PATH:/usr/local/go/bin
$ source ~/.profile
$ go version
go version go1.17.6 linux/amd6
```

# まとめ

結論としてはとにかく公式に書かれている手順でやるのが一番良いよという話であった



# TL;DR

GitHub ActionsでIssueやPR管理を自動化したい場合にはGitHubマーケットプレイスから探すのもいいが、
ある程度クエリをパターン化しておいて、自作するのも一つの手であるという話

# 実現したかったワークフロー

Issue作成時に自動で GitHub Projectに登録されるようにしたい

# 課題

- カンバンボードからカード登録からIssueにコンバートすることもできるのだが、ステップが多い
- [マーケットプレイス](https://github.com/marketplace/actions/github-project-automation)といったツールは、プライベートレポジトリではデフォルトのトークン権限が足らずに実行が失敗してしまう
- 個人のプライベートトークン発行が必要になるので、できれば避けたい

# アプローチ

1. ghコマンドでクエリを作成する
2. Github Scriptに流し込む

# 詳細

## 1. ghコマンドでクエリを作成する

今回のプロジェクト操作するには `gh api`コマンドを実行する

- Projectを取得する

owner, name, projectNameを指定する

同じ名前のプロジェクトの場合を無視しているが、そういったケースでプロジェクト名をつけることはないのでまあいいかとしている
mutationがプロジェクト名検索しかないので、id検索できればいいのかもしれない

```
gh api graphql -F owner='hayashiki' -F name='actions' -F searchString="phase1" -F -f query='
  query($owner: String!, $name: String!, $searchString: String!) {
    repository(owner: $owner, name: $name) {
      projects(first: 1, search: $searchString) {
        edges {
          cursor
          node {
            id
            url
            name
            columns(first: 10) {
              edges {
                cursor
                node {
                  id
                  name
                }
              }
            }
          }
        }
      }
    }
  }
'
```

- ProjectにIssueを追加する

上記のクエリのレスポンスにて取得できるカラムIdを指定して、issueのnode_idをcontentIdに指定すれば登録可能となる
issueのnode_idの取得は後述する

```
gh api graphql -F contentId='MDU6SXNzdWU4MjM1OTU1OTQ=' -F projectColumnId='MDEzOlByb2plY3RDb2x1bW4xMzIyNzQwOQ==' -f query='
   mutation($contentId: ID!, $projectColumnId: ID!) {
     addProjectCard(input: { contentId: $contentId, projectColumnId: $projectColumnId }) {
       clientMutationId
     }
   }
'
```

## 2. GithubActions内で実行できるようにワークフローを作成する

ワークフロー内に直接スクリプトを実行できる[github-script](https://github.com/actions/github-script)を使う

ワークフロー定義を以下としている
ポイントとしては

- Issueのnode_idは github-scriptのドキュメントにあるように `context.payload.issue`で取得可能
- graphQLのクライアント実行は `github.graphql(core.getInput('query'), variables)` にて実行可能
- stepsにidを付与すると、別のstepで`steps.$(id).outputs` にて参照可能, 本ワークフローではgraphQLのクエリ結果を格納している
- script内に `console.log` を記載すると標準出力されActionsのログ内で閲覧可能

```yaml
name: 'Automatically add issue to project'

on:
  issues:
    types: [opened]

jobs:
  add-project:
    runs-on: ubuntu-latest
    steps:
    - name: Checkout
      uses: actions/checkout@v2
    - name: Find Project
      id: findColumnsByProjectName
      uses: actions/github-script@v3
      with:
        github-token: ${{secrets.GITHUB_TOKEN}}
        query: '
          query($owner: String!, $name: String!, $search: String!) {
            repository(owner: $owner, name: $name) {
              name
              projects(first: 5, search: $search) {
                edges {
                  cursor
                  node {
                    id
                    url
                    name
                    columns(first: 10) {
                        edges {
                          cursor
                          node {
                            id
                            name
                          }
                        }
                    }
                  }
                }
              }
            }
          }
        '
        projectName: Backlog
        script: |
          const variables = {
            owner: context.repo.owner,
            name: context.repo.repo,
            search: core.getInput('projectName')
          }
          const result = await github.graphql(core.getInput('query'), variables)
          if (!result) {
            core.setFailed('GraphQL request failed')
          } else {
            return result
          }
    - name: Add Backlog Project
      uses: actions/github-script@v3
      with:
        github-token: ${{secrets.GITHUB_TOKEN}}
        columnName: "To do"
        query: '
          mutation($contentId: ID!, $projectColumnId: ID!) {
            addProjectCard(input: { contentId: $contentId, projectColumnId: $projectColumnId }) {
              clientMutationId
            }
          }
        '
        projects: ${{ steps.findColumnsByProjectName.outputs.result }}
        script: |
          const findColumnsByProjectName = JSON.parse(core.getInput('projects'))
          console.log(findColumnsByProjectName)
          let columnId;
          for (const project of findColumnsByProjectName.repository.projects.edges) {
            for (const column of project.node.columns.edges) {
              if (column.node.name == core.getInput('columnName')) {
                columnId = column.node.id
              }
            }
          }
          const issue = context.payload.issue
          const variables = {
            contentId: issue.node_id,
            projectColumnId: columnId ,
          }
          const result = await github.graphql(core.getInput('query'), variables)
          if (!result) {
            core.setFailed('GraphQL request failed')
          } 
```


markdownのlintを設定する

puppeteerでファイルをダウンロードを実装する

Rustのセットアップ方法

CloudRunのCI/CDを構築する

Goのセットアップ方法

GitHubのIssueの新規登録時にプロジェクトボードに自動に登録するワークフローを組んだ

About Me

Tags