Raspberry Piで作るk8sクラスタ

ガジェット

目次

はじめに

Raspberry Piでkubenetes(以降k8s)のクラスタを作って行きたいと思います。
わざわざ作らないとk8sの検証ができないということはなく、minikubeやgcpを使ったりして学ぶことはできます。予算的には2万5千円くらいかかるので、kubenetesに関して学びたいだけならgcp借りてやったほうが安いですし、余計なトラブルはないと思います。
個人的にはその技術をちゃんと1から触ってみないとよく理解できないということが往往にしてあるので、ちゃんと作りたいという意志で作りました。
また、本記事の内容はほとんど サイバーエージェントさんの出している記事 、 ウェディングパークさんの出している記事 と同じですが、一部足りない点やハマったところがあったので書いています。
今年の9月に発売された本Docker/Kubernetes 実践コンテナ開発入門 がとてもわかりやすいです。 kubenetesの運用や、Dockerの軽量化の話まで乗っているのでとてもお勧めします。

材料

以下の材料が必要です。

  • Raspberry Piを載せる台

    • 最小サイズで、設計しました。僕が作ったモデルを公開しているので、レーザーカッターなどが使える人は、利用してみてください
    [https://www.dropbox.com/s/2quv78gna1ycpze/kuberaspiboard.ai?dl=0http://](https://www.dropbox.com/s/2quv78gna1ycpze/kuberaspiboard.ai?dl=0http://)

  • Raspberry Pi

    • 2~∞台(LANポートがあるモデルをお勧めします。僕は 3B1台, 3B+2台の計3台の構成で行いました。)

  • 60WクラスのUSB充電器

    • Raspberry Pi3台の想定でこのUSB充電器を使っています。

  • ルーター

    • Private IPが振られない環境だと必要かもしれない、用意しておくのをお勧めします。

  • スイッチングハブ

    • ルーターの口が足りない場合必要です。上記のルーターを使う場合は必要です。

  • LANケーブル

    • お任せ、長さ揃えるとよいかも、長さ的に自作することをおすすめします。
    USBケーブル
    お任せ、長さ揃えるとよいかも

  • スペーサー

    • これだと大きいサイズのスペーサーの数が足りないので他のがいいかも小さいのを組み合わせて作りました。

大まかな流れ導入流れ

以下のような流れでRaspberry Piクラスタを作って行きます。

  • Raspberry Piをクラスタに組む
  • Dockerとkubenetesをインストール
  • クラスタを設定

構成図

今回作るクラスタは以下のような構成で作っています。 環境によっては、ルーターは

導入
ハマりどころ
先にハマりどころを書いておきます。
Dockerは18.06出ないとk8sを起動できない
https://github.com/kubernetes/minikube/issues/3323 (12/5現在)
kubeletのバージョンを固定しないとノードをjoinできない
後からノードを追加するときにkubeletのバージョンが違かったのでエラー吐かれることがありました。一気にやる場合は大丈夫です。
IPを固定してあげたほうがいい、PrivateIPが振られる環境で作らないと厳しそう
OSのインストール、SSHの有効化まではよしなに
Raspberry Piの設定
raspberry piのIPを固定します。 /etc/dhcpcd.confに編集します。コメントアウトと追記で動きます。終わったら再起動してあげてください。


interface eth0
static ip_address=192.168.0.{指定したいIP}/24
static routers=192.168.0.1 # ルーターのIPアドレス

/boot/cmdline.txt に以下の内容を追加します。改行せずに、一行で追加してください

cgroup_enable=cpuset cgroup_enable=memory cgroup_memory=1

スワップの削除をします。kubeletを起動するのに必要です。


sudo dphys-swapfile swapoff
sudo dphys-swapfile uninstall
sudo update-rc.d dphys-swapfile remove

Docker, k8sの設定
Dockerを追加します。Dockerのバージョンを18.06にしています。


curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
curl -sSL https://get.docker.com/ | sh
sudo apt remove docker-ce docker-ce-cli
sudo rm -rf /var/lib/docker
VERSION=18.06.1-ce sh get-docker.sh
# apt-transport-httpsをインストール
sudo apt install apt-transport-https
# k8sをインストール

aptのリソースのリストにk8sを追加

echo "deb http://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt update

k8sの各種ツールをインストールします

sudo apt-get install kubelet kubeadm kubectl kubernetes-cni
master nodeのセットアップ
sudo kubeadm init --pod-network-cidr=10.244.0.0/16

を行い、master nodeを立ち上げます。コンテナ間の通信をflannelでやるので–pod-network-cidr=10.244.0.0/16が必要です。公式ページ参照
以下を実行してconfigをコピーしてきます。

mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

うまくいったら
kubeadm join –token のようなものが出力されます。
表示されなかったらkubeadm resetでセットアップからやり直してください。
僕の場合、上記の設定のどれかを忘れていたか、Private IPが振られていなかったのが原因でした。
nodeの追加
先ほど表示されたkubeadm join〜〜をノードにするRaspberry Piで実行します。
失敗したらkubeadm resetをしてやり直します。kubeletのバージョンが違かったりしました。
flannelのapply
以下を実行して、flannelを追加します。

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/bc79dd1505b0c8681ece4de4c0d86c5cd2643275/Documentation/kube-flannel.yml

nodeの確認

kubectl get node

これでnodeの状態を確認します。 追加したいnodeが追加されていたら、k8sの設定は終了です。
終わりに
僕が作ったものは以下のようになりました。 LANケーブルが酷いことになってるので、自作LANケーブルします。

今後は、前に作ってたアプリケーションをraspberry Piクラスタに乗せて見て実際に稼働させて見たいと思います。 何か間違っていることだったり、追加ありましたらTwitterの方にいただけると気づくので嬉しいです。