update buildroot to fix debian sudo bug

guowenxue

2021-12-30 88700c0fc909f6051241232a0bd7277781619d53

 bsp/rootfs/build.sh

@@ -1,148 +1,358 @@
#!/bin/bash

PRJ_PATH=`pwd`
PRJ_NAME=`basename ${PRJ_PATH}`

BOARD=imx6ull
# update by top build.sh
BOARD=igkboard
SYSTEM=buildroot
DISTRO=2021.02
SYSNAME=buildroot

TAR_PATH=/home/guowenxue/imx6ull/bsp/tarball
ROOTFS_DIR=rootfs_${SYSNAME}

# rootfs should be buildroot or stretch/buster/bullseye for debian system
ROOTFS=buster

ROOTFS_DIR=rootfs_${ROOTFS}
ARCH=armhf
TAR_PATH=${PRJ_PATH}/../tarball

# rootfs configuration
DEF_PASSWD=123456
DEBIAN_URL=http://ftp.cn.debian.org/debian/
ARCH=armhf
DEF_USER=lingyun
DEF_PASSWD=12345
DEF_HOSTNAME=${BOARD}

APT_UPDATE=0

EXTRA_APPS="vim net-tools network-manager tree file parted locales lsb-release tzdata  wireless-tools openssh-server"

if [ `id -u` != 0 ] ; then
   echo "ERRROR: This shell script must excuted as root privilege."
   exit 0;
fi
APPS_CONF=extra_apps.json

set -u
set -e

trap 'ctrlC_handler' INT

function ctrlC_handler()
trap 'exit_handler' EXIT
function exit_handler()
{
    echo "Ctrl+C is captured, do some clean work" 
    rm -f  ${ROOTFS_DIR}/usr/bin/qemu-arm-static
    umount ${ROOTFS_DIR}/{sys,proc,dev/pts,dev} 2>/dev/null || true
}

STAGE=0

function msg_banner()
{ 
{
    STAGE=`expr $STAGE + 1`
    

    echo ""
    echo "+---------------------------------------------+" 
    printf " Stage $STAGE: $1\n" 
    echo "+---------------------------------------------+"
    printf " Stage $STAGE: $1\n"
    echo "+---------------------------------------------+"
    echo ""
}

function do_systools()
function do_unpack()
{
    msg_banner " install system tools"

    debootstrap --version > /dev/null 2>&1
    if [ $? == 0 ] ; then
       echo "system tools already installed, skip it"
       return ;
    if [ -d ${ROOTFS_DIR} ] ; then
        printf "\n\n -- ${ROOTFS_DIR} fetched already, skip it -- \n\n"
        return;
    fi

    apt install binfmt-support qemu qemu-user-static debootstrap debian-archive-keyring
    if [ -s ${TAR_PATH}/${ROOTFS_DIR}.tar.bz2 ]  ; then
        printf "\n\n -- decompress ${ROOTFS_DIR}.tar.bz2 -- \n\n"
        mkdir -p ${ROOTFS_DIR}
        tar -xjf ${TAR_PATH}/${ROOTFS_DIR}.tar.bz2 -C ${ROOTFS_DIR}
    fi

    return;
}


# decompress rootfs packet or debootstrap fetch debian rootfs
function do_fetch()
{
    if [ ! -d ${ROOTFS_DIR} ] ; then
        if [ -s ${TAR_PATH}/${ROOTFS_DIR}.tar.bz2 ]  ; then 
            msg_banner " decompress ${ROOTFS_DIR}.tar.bz2 "
            mkdir -p ${ROOTFS_DIR}
            tar -xjf ${TAR_PATH}/${ROOTFS_DIR}.tar.bz2 -C ${ROOTFS_DIR}
            APT_UPDATE=1
        else 
            msg_banner " debootstrap fetch " 
            debootstrap --arch=${ARCH} --foreign ${ROOTFS} ${ROOTFS_DIR} http://ftp.cn.debian.org/debian/
            DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true LC_ALL=C LANGUAGE=C LANG=C chroot ${ROOTFS_DIR} debootstrap/debootstrap --second-stage
            APT_UPDATE=1
        fi
    msg_banner " ${ROOTFS_DIR} do fetch "

    # try to decompress packet first.
    do_unpack

    # Yocto and buildroot rootfs decompress only
    if [ -d ${ROOTFS_DIR} ] ; then
        return ;
    else
       msg_banner "debain rootfs already fetch, skip it"
        if [ $SYSTEM != "debian" ] ; then
            echo " ERROR: miss ${SYSTEM}(${DISTRO}) rootfs, exit now. "
            echo ""
            exit;
        fi
    fi

    if [ $APT_UPDATE == 0 ] ; then
    # debootstrap fetch debian rootfs
    export DEBIAN_FRONTEND=noninteractive
    export DEBCONF_NONINTERACTIVE_SEEN=true
    export LC_ALL=C
    export LANGUAGE=C
    export LANG=C

    printf "\n\n -- debootstrap fetch start --\n\n"
    echo "debootstrap --arch=${ARCH} --foreign ${DISTRO} ${ROOTFS_DIR} ${DEBIAN_URL}"
    debootstrap --arch=${ARCH} --foreign ${DISTRO} ${ROOTFS_DIR} ${DEBIAN_URL}

    chroot ${ROOTFS_DIR} debootstrap/debootstrap --second-stage
    printf "\n\n -- debootstrap config start --\n\n"

    chroot ${ROOTFS_DIR} dpkg --configure -a
    printf "\n\n -- debootstrap fetch done -- \n\n"

    # Clear the MD5 value to install extra apps
    sed -i -e "s|.*md5apt.*|\t\"md5apt\":\"MD5_Auto_Generate_Here\"|g" $APPS_CONF

    cd ${ROOTFS_DIR}
    tar -cjf ../${ROOTFS_DIR}.orig.tar.bz2 *
    cd -
}


# Install extra apps defined in extra_apps.conf
function do_extra_apt()
{
    if [ ! -f $APPS_CONF ] ; then
        return ;
    fi

   msg_banner " debootstrap config "
    extra_apps=$(eval jq -r .extra_debian_apps[] $APPS_CONF )
    md5_file=$(eval jq -r .md5apt $APPS_CONF)
    md5_calc=$(eval echo $extra_apps | md5sum | awk '{print $1}')

    if [ $md5_file == $md5_calc ] ; then
        printf "\n\n -- debootstrap apt install already, skip it! --\n\n"
        return ;
    fi

    msg_banner " debootstrap apt install "

    export DEBIAN_FRONTEND=noninteractive
    export DEBCONF_NONINTERACTIVE_SEEN=true
    export LC_ALL=C
    export LANGUAGE=C
    export LANG=C


    cp -f /usr/bin/qemu-arm-static ${ROOTFS_DIR}/usr/bin/
    DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true LC_ALL=C LANGUAGE=C LANG=C chroot ${ROOTFS_DIR} dpkg --configure -a 
    DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true LC_ALL=C LANGUAGE=C LANG=C chroot ${ROOTFS_DIR} apt update
    mount -o bind /proc ${ROOTFS_DIR}/proc
    mount -o bind /dev ${ROOTFS_DIR}/dev
    mount -o bind /dev/pts ${ROOTFS_DIR}/dev/pts
    mount -o bind /sys ${ROOTFS_DIR}/sys

   msg_banner " debootstrap apt install "
    DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true LC_ALL=C LANGUAGE=C LANG=C chroot ${ROOTFS_DIR} apt install -y ${EXTRA_APPS}
    DEBIAN_FRONTEND=noninteractive DEBCONF_NONINTERACTIVE_SEEN=true LC_ALL=C LANGUAGE=C LANG=C chroot ${ROOTFS_DIR} sh -c "echo root:${DEF_PASSWD} | chpasswd"
    chroot ${ROOTFS_DIR} apt update
    chroot ${ROOTFS_DIR} apt install -y ${extra_apps}
    chroot ${ROOTFS_DIR} apt autoremove

    rm -f ${ROOTFS_DIR}/usr/bin/qemu-arm-static
    umount ${ROOTFS_DIR}/{sys,proc,dev/pts,dev}


    sed -i -e "s|.*md5apt.*|\t\"md5apt\":\"$md5_calc\"|g" $APPS_CONF
    printf "\n\n -- debootstrap apt install done --\n\n"

    # modify root password
    chroot ${ROOTFS_DIR} sh -c "echo root:${DEF_PASSWD} | chpasswd"

    # add default user account
    set +e
    grep "$DEF_USER" ${ROOTFS_DIR}/etc/passwd > /dev/null 2>&1
    if [ $? != 0 ] ; then
        printf "\n\n -- setup default user account --\n\n"
        chroot ${ROOTFS_DIR} sh -c "useradd -m -s /bin/bash ${DEF_USER}"
        chroot ${ROOTFS_DIR} sh -c "echo ${DEF_USER}:${DEF_PASSWD} | chpasswd"
        chroot ${ROOTFS_DIR} sh -c "usermod -aG video,audio,sudo ${DEF_USER}"
    fi
    set -e
}

function install_file()
{
    if [ $# != 1 ] ; then
        return ;
    fi

    # parser the source file and destination install path
    src=`echo $1 | cut -d: -f1`
    dst=${ROOTFS_DIR}/`echo $1 | cut -d: -f2`

    echo "install $src => $dst"

    mkdir -p ${dst}

    # parser to get .tar.gz .tar.bz2 .tar.xz
    fname=`basename ${src}`
    suffix=`echo "${fname#*.}"`

    case $suffix in
        tar.gz)
            tar -xzf ${src} -C ${dst}
            ;;

        tar.bz2)
            tar -xjf ${src} -C ${dst}
            ;;

        tar.xz)
            tar -xJf ${src} -C ${dst}
            ;;

        *)
            rm -rf ${dst}/${fname}
            cp -rf ${src} ${dst}
            ;;

        esac
}

function do_install()
{
    # apt install extra packet for debian rootfs
    if [ $SYSTEM == "debian" ] ; then
        do_extra_apt
    fi

    # install common files for all the system
    for row in $( jq -r '.extra_common_files | keys[] as $k | "\($k):\(.[$k])"' $APPS_CONF ) ; do
        install_file $row
    done

    # install extra files for custom system
    jq_args=".extra_${SYSTEM}_files | keys[] as \$k | \"\(\$k):\(.[\$k])\""
    for row in $( jq -r "${jq_args}" $APPS_CONF ) ; do
        install_file $row
    done
}

function do_modify()
{
    msg_banner " modify rootfs environment"

    set +e

    # update hostnmae and issue
    echo "Welcome to LingYun IoT Gateway Kit Board GNU/Linux ${SYSTEM}(${DISTRO}) system, default password '$DEF_PASSWD'." > ${ROOTFS_DIR}/etc/issue
    echo $DEF_HOSTNAME > ${ROOTFS_DIR}/etc/hostname
    echo "Debian GNU/Linux $ROOTFS \n \l, default password '$DEF_PASSWD'." > ${ROOTFS_DIR}/etc/issue
    grep "$BOARD" ${ROOTFS_DIR}/etc/hosts > /dev/null 2>&1
    if [ $? != 0 ] ; then
       echo "127.0.0.1       ${BOARD}" >> ${ROOTFS_DIR}/etc/hosts
    fi

    # update dns server
    echo "nameserver 114.114.114.114" > ${ROOTFS_DIR}/etc/resolv.conf
    echo "nameserver 223.5.5.5" >> ${ROOTFS_DIR}/etc/resolv.conf

    # update profile
    sed -i "s|PS1='# '|PS1='\\\u@\\\h:\\\w# '|g" ${ROOTFS_DIR}/etc/profile
    sed -i "s|PS1='$ '|PS1='\\\u@\\\h:\\\w$ '|g" ${ROOTFS_DIR}/etc/profile
    sed -i 's|PATH=.*|PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"|g' ${ROOTFS_DIR}/etc/profile

    # add ls alias for display with color
    grep "color=auto" ${ROOTFS_DIR}/etc/profile > /dev/null 2>&1
    grep "^alias ls=" ${ROOTFS_DIR}/etc/profile > /dev/null 2>&1
    if [ $? != 0 ] ; then
       echo "alias ls='ls --color=auto'" >> ${ROOTFS_DIR}/etc/profile
    fi

    # permit root ssh login
    grep "^PermitRootLogin" ${ROOTFS_DIR}/etc/ssh/sshd_config > /dev/null 2>&1
    if [ $? != 0 ] ; then
       echo "PermitRootLogin yes" >> ${ROOTFS_DIR}/etc/ssh/sshd_config
    # update sudo without passwd for yocto and debian
    if [ $SYSTEM != buildroot ]  ; then
        sed -i "s|^%sudo.*|%sudo   ALL=(ALL:ALL) NOPASSWD:ALL|g" ${ROOTFS_DIR}/etc/sudoers
    fi

    # permit root ssh login
    sed -i "s|^#PermitRootLogin.*|PermitRootLogin yes|g" ${ROOTFS_DIR}/etc/ssh/sshd_config
    sed -i "s|^#PasswordAuthentication.*|PasswordAuthentication yes|g" ${ROOTFS_DIR}/etc/ssh/sshd_config

    # add vim alias for buildroot and yocto
    if [ $SYSTEM != "debian" ] ; then
        grep "alias vim=" ${ROOTFS_DIR}/etc/profile > /dev/null 2>&1
        if [ $? != 0 ] ; then
            echo "alias vim='vi'" >> ${ROOTFS_DIR}/etc/profile
        fi
    fi

    set -e

    printf "\n\n -- modify rootfs done --\n\n"
}

function do_pack()
{
    msg_banner " generate rootfs packet "
    if [ -f ${ROOTFS_DIR}.tar.bz2 ] ; then
       msg_banner " rootfs already generate, skip it"
       return ;
   else
       msg_banner " generate rootfs packet "
    fi

    cd ${ROOTFS_DIR}

    tar -cjf ../${ROOTFS_DIR}.tar.bz2 *

    cd ${PRJ_PATH}

    printf "\n\n -- generate rootfs packet done --\n\n"
}

if [ $ROOTFS == buildroot ]  ;then
    echo "INFO: buildroot no need build."
    exit 0;
fi
function do_distclean()
{
    printf "\n\n -- do distclean in $PRJ_NAME --\n\n"

do_systools
    rm -rf driver
    rm -rf $ROOTFS_DIR

do_fetch
    exit;
}

set +e
do_modify
function do_rootfs()
{
    do_fetch
    do_install
    do_modify
    do_pack
}

do_pack
function do_root()
{
    echo ""
    if [[ $1 == "yes" ]] && [ `id -u` != 0 ] ; then
        echo "ERROR: This action must run as root!"
        echo ""
        exit;
    elif [[ $1 != "yes" ]] && [ `id -u` == 0 ] ; then
        echo "ERROR: This action cannot run as root!"
        echo ""
        exit;
    fi
}

function do_usage()
{
    echo ""
    echo "Usage:"
    echo "   $0 [-b] [-c] [-h]"
    echo "       -b: download and build $PRJ_NAME"
    echo "       -c: clean all the source code"
    echo "       -h: show this help message"
    echo ""
    echo " WARNNING: This shell script must run as sudo"
    echo ""
    exit;
}

while getopts "bch" OPTNAME
do
    case "${OPTNAME}" in
        "b")
            break;
            ;;

        "c")
            do_root "yes"
            do_distclean
            ;;

        "*")
            do_usage
            ;;
    esac
done

do_root "yes"
do_rootfs