close
プログラミング クラウド Microsoft Azure 情報処理資格 基本情報技術者 IT基礎 応用情報技術者 開発・設計方法 オブジェクト指向 内定者・新人研修 プログラミング基礎 アルゴリズム コンピュータ数学 内定者研修 新人研修 ヒューマンスキル プロジェクトマネジメント プレゼンテーション リーダーシップ 組織マネジメント ネゴシエーション ロジカルシンキング Java UI/UX HTTP JavaScript基礎 情報処理資格 ネットワークスペシャリスト ネットワーク インターネットルーティング応用 IPアドレス データベース応用 SQL応用 パフォーマンスチューニング データベース設計 ER図 概念設計(データベース) 論理設計(データベース) IT資格 Linux基礎 OS・システム基盤 セキュリティ TCP/IP OSI参照モデル データベースセキュリティ ファイアウォール 標的型攻撃 SQLインジェクション ネットワーク基本設計 CCNA Cisco プロジェクトマネジメント資格 情報処理資格プロジェクトマネージャ 情報処理安全確保支援士 人事給与 財務会計 管理会計 簿記 生産管理 在庫管理 ERP バランススコアカード 情報処理資格 ITアーキテクト 情報処理資格 ITストラテジスト 情報処理資格 ITサービスマネジメント 情報処理資格 システム監査 PMBOK® PMP® プロジェクト計画 WBS リスクコントロール ITIL ITサービスマネジメント 要求定義 要件定義 見積手法 ビジネスインダストリ 業種・業界知識 業務知識 提案力 ソフトウェアテスト基礎 情報処理資格 データベーススペシャリスト ハードウェア基礎 外部設計(基本設計) 内部設計(詳細設計) データベース基礎 SQL基礎 RDBMS 物理設計(データベース) C++ Ruby MVC基礎 Webアプリケーション開発 JavaEE Javaプログラミング応用 フレームワーク MVC応用 Spring フレームワーク ソフトウェアテスト応用 テスト手法 Junit スマートフォンアプリ開発 Androidアプリ開発 C# 基礎 C# 応用 負荷テスト Javaプログラミング基礎 ソフトウェアテスト コーチング メンタリング HTML/CSS サーバー構築 仮想化技術 KVS (NoSQL) アジャイル スクラム ファシリテーション C言語 ITパスポート JSTQB データサイエンス 単体テスト ユニットテスト キャリアアップ インターネットルーティング基礎 パケット解析 LAN構築 データベース データサイエンティスト トレンド 障害対応 インフラ監視 HTTP/2.0 コンピュータサイエンス VPN ネットワーク物理設計 データベース障害 JavaScript モダンJS (Modern JavaScript) 応用 MVS応用 バックアップ/リカバリ 分散処理 Hadoop Hive Python AI 深層学習(DeepLearning) CentOS Linux応用 Zabbix シェルスクリプト Infrastructure as Code Windowsサーバー基礎 内部設計 Docker DevOps Windowsサーバー応用 NginX chef Ainsible ロジカルライティング R テスト自動化 Jenkins Git 継続的インテグレーション (CI) バージョン管理 Vagrant 要求分析 Redmine 継続的インテグレーション(CI) 継続的デリバリー (CD) ヒューマンリソース管理 Web API マイクロサービス コミュニケーション 業務知識/業界知識 マーケティング 語学 AWS 法務 IoT ビジネスマナー OJT 業務効率化 表計算ソフト オフィスソフト コンプライアンス フロントエンド Subversion PHP 関数型プログラミング Laravel モダンJS (Modern JavaScript) 基礎 Android Studio 機械学習 iOSアプリ開発 ぷプログラミング React 次世代高度IT人材 共創 IPA Raspberry Pi Xamarin スクリプト言語 GoF CUI VBA 資格 ビジネス文書 jQuery 研修参加レポート マネジメント OSPF テーブル設計 アンガーマネジメント クリティカル・シンキング PDU 経営改善 Pマーク 問題解決技法 サイバー攻撃 エンジニア 参加してみた エンゲージメントマネジメント 労働関連法 新人育成 ネットワーク構築 情報セキュリティマネジメント デザインパターン リファクタリング マルチスレッドプログラミング ベンダーコントロール Modern JavaScript 冗長化 VLAN インフラエンジニア チームビルディング テストケース リーダブルコード セキュリティ入門 ネットワーク入門 Node.js npm gulp ビルドツール Python入門 冗長化入門 インフラ実機演習 プロジェクト管理 Active Directory ネットワーク管理 コンテナ 正規化理論 Haskell 品質管理 OpenStack シンギュラリティ DBA中級 プロトコル UX 基本設計 FinTech トラブルシューティング 並列処理 見える化 PMO ロジカルコミュニケーション Deep Learning インデックス設計 超上流工程 BGP Excel C-CENT Selenide プライベートクラウド アセンブラ コンピュータ基礎 工数見積 CCENT 法律知識 失敗から学ぶ プロジェクト失敗事例 PDCA プログラミング入門 非エンジニア向け 4Biz DNS セルフマネジメント 片付け術 サーバーダウン サーバー タイムマネジメント GO言語 プロダクトマネジメント プロダクトマネージャ LVS ロードバランサー 負荷分散 仮想通過 犯罪心理学 情報漏えい SEカレッジ導入事例 IT研修を聞いてみた 会社規模 (100~300名) IT研修制度を聞いてみた CentOS7 開発環境構築 数字力 財務 IT人材 UI Machine Learning Go言語 (golang) データマイニング 統計学 新人教育 やり直し数学 RDB つながる工場 モチベーション WebSocket WebWorker HTML5 CSS3 Bootstrap 微分・積分 システム設計 決断力 LAMP環境 トレ担 教育研修担当者向け ルーティング Linux入門 図解術 目標設定 試験対策 インタビュー技法 Vue.js ブロックチェーン 会社規模 (~50名) DHCP 仕掛け学 BSC 財務諸表 自己分析 RIP スタティックルート バッファオーバーフロー DoS攻撃 システム開発 会社規模 (~99名) Wireshark パケットキャプチャ 管理職研修 部下育成 ワークあり 文章力 情報システム部門向け プロジェクトリーダー プロジェクトマネージャ 塗り絵 リスク管理 法改定 会社の仕組み Chainer AI人材 会話術 会社規模 (~25名) テスト技法 組織規模 51名~99名 組織規模:~199名 [組織規模]199名まで 組織規模 199名まで 組織規模199名まで 会社規模199名まで 会社規模49名まで 会社規模99名まで アプリ開発 サーバサイドJava 営業知識 Cloud 栄養学 基本コマンド ウォーターフォールモデル ヘルスケア 論理設計 ニューラルネットワーク ハンズオン UML 顧客ヒアリング マウスで学ぶ Apache EC2 Lightsail M5Stack DevSecOps プロジェクト成果 画像認識 チャットポット コマンド レビュー 基本用語 自動構築 LPIC-1 サーバーサイドJavascript キャリア形成 ワークライフバランス インバスケット テック用語 GitHub Windows エディタ 教養 令和時代 RESTful API 物理設計 会社規模300名以上

Linuxサーバーにおけるトラブル調査と解決 研修コースに参加してみた

今回参加した研修コースは Linuxサーバーにおけるトラブル調査と解決 です。

参加してみると実際に様々なシーンで擬似的にトラブルを起こし、その解決を実際やってみる、という演習中心のコースでした。

またそのトラブルシーンもサーバーでよく起こりがちなもののうち、緊急性の低いトラブルから重要度の高いトラブルにレベルアップしていったので、ゲーム感覚で演習することができました。 本番では起こってほしくないことですが、とても良い疑似体験ができました。

発生してしまったトラブルへの対策で一番効くのは訓練なので、サーバーに携わるエンジニアにはぜひ一度体験して頂きたいコースです。

では、どんな内容だったのか、レポートします!!

 

想定している受講者

  • ネットワーク技術(主要なハードウェアとプロトコル)に関する基礎知識があること

 

受講目標

  • Linuxサーバで発生する問題の原因調査をする基本的な手法を習得する

 

講師紹介

サーバー、ネットワークのカテゴリではお馴染みの 岩木 慎一さん が登壇されました。お天気の話題からアイスブレイクするのも、いつものお馴染みです。

今日は実機で色々トラブルシュートしましょう、ということで早速、コースがスタートです。

 

トラブルシューティングの基本

 

  • 解決策の中で再発防止策を考える
  • 正常性の確認が出来なければ、また原因の切り分けをやる
  • 切り分けしながら調査対象を絞り込んでいく
  • 記録取ることは重要
    • あとあと効いてくる
    • ときどき手書きで乱雑になっていたりするので、読めるようにしましょう

 

原因の調査方法

 

  • 階層ごとに調査していく
    • ハードウェア
      • 特に電源など物理的なもの: ケーブルが抜けていたり、間違って刺さっていたり
    • OS・ネットワーク設定
      • DNSなど
  • なぜ下から?
    • 下のレイヤーで起こった問題は、当然ながら上のレイヤーで解決できない
    • 下のほうが深刻度が高い。とくにハードウェア周りは忘れがち

 

アプリケーションエラーも嫌ですが、インフラがトラブルになると、ゴソッとシステムが死ぬので、恐怖でしかありません。監視とアラート通知で予め回避したいものです。

ちなみに、2017年2月にGitLab (GitHubのようなリポジトリ管理のOSS/有償版もある) で本番データベースを失うという、見もけもよだつトラブルがありましたが、なんとYoutubeでトラブルシューティングの模様を中継するということがありました。

 

 

強すぎる。。とはいえ、Twitter上では応援メッセージが飛び交うなど、開発者に愛されているサービスとはこういうことなんだなぁ、と感じます。

 

原因の調査で使うディレクトリやログファイル

  • /etc で設定ファイルをよく見に行きます
  • CentOS6等の場合 /etc/udev の配下のディレクトリに自動認識した eth0 や eth1 などのデバイスを定義したファイルがあるので確認できます( /etc/udev/rules.d/ の中)
  • /var/log でログファイル、いわゆるシスログを確認します
  • CentOSのApacheの場合、 /var/www の下にホームページのファイルがあります

 

原因の調査 ~ログファイル

ログを見ることは必須ですね。

 

調査するときのコマンド ~システム

続いて、よく使うコマンドを紹介いただきました。

 

なお、ネットワーク系ではCentOS 7で使えなくなっているコマンドがあります。

また、そのほかよく使うコマンドを紹介いただき、実際紹介されたコマンドを使って、いよいよトラブルシューティング演習です。

 

トラブルシューティング演習

みっちり、シーン別に2時間トラブルシューティングです。
なお、最初に講師からアドバイスがあるのではなく、まずは自分で調べながら解決します。

ここではそのシーンをいくつかピックアップします。

 

root パスワードが不明

 

  • そもそもパスワードはユーザーを識別するため
  • linux ではシングルユーザーモードを使う
  • 起動中に e を押して起動メニューを編集し、シングルユーザーモードで起動する

 

CPU高負荷

  • top などのコマンドで負荷の掛かっている処理を確認
  • kill で処理をストップ

 

急ぎ、トラブルを解消した後、そのあとでなぜ高負荷になったのか原因を追求すること。

 

サーバーに接続できない

  • ps aux | grep httpd で httpd があるか確認
  • 無いので、service httpd status でステータスを確認 -> 動いてなかった!
  • service httpd start で起動 -> まだ表示されない
  • 通信制限が掛かっているかどうか確認 ldd /usr/bin/sbin/sshd | grep libwrap
  • 特に掛かってない

(以降は講座参加されてからのお楽しみ)

 

よくあるパターンですが、このシーンでは多段階でトラブルを仕込んでいました。テスト -> 移行時に起こりがちというヒントでした。

 

その他アプリケーション (MySQL) でトラブルが発生したシーンを演習して、このコースは終了となりました。

 

まとめ

このコースでは実際にサーバートラブルを疑似体験し、極力、自力で解決してみるという演習中心のコースでした。

なかなかトラブルは起こしたくないものの、実際、起こったときに対処できるよう訓練が必要です。演習してみると、やはり色々なことを調査しなくてはならず、総合力が問われるものでした。

訓練という意味では、Netflixという動画配信サービスでは Chaos testing という、実際にトラフィックや何かを突然カオス状態にするという訓練を行っていて、実際、AWSのトラブルを回避したという事例があります。

 

 

このコースの延長線で、講座形式ではなく、時間制限を設けて、ノーヒントでトラブルシューティングするコンテストがあっても面白いかも知れませんね。

いずれにせよ、トラブルシューティングの訓練として、またインフラエンジニアの総合力テストとしても、とてもオススメのトレーニングです!

 

 


SEカレッジが気になった方はこちらからお気軽にお問合わせください!!

お問い合わせフォーム

SEカレッジの詳細をご覧になりたい方はこちら!!

SEカレッジ

特集・キャンペーン

よくある質問集

タグ一覧

参加してみた研修参加レポートJavaLinux基礎セキュリティ基本情報技術者プログラミングオブジェクト指向プロジェクトマネジメントネットワークPythonAISQL基礎プログラミング基礎ヒューマンスキル資格コミュニケーションIoTデータベーステーブル設計アルゴリズムエンジニアマネジメントC# 基礎仮想化技術JavaScriptソフトウェアテストLinux入門SQL応用プログラミング入門ビジネスマナーパケット解析データサイエンスLinux応用ビジネス文書ファイアウォールコンテナPMBOK®jQueryデザインパターン教育研修担当者向けシェルスクリプトプレゼンテーションRDBMSDocker問題解決技法工数見積ER図障害対応LAN構築テック用語ロジカルライティングWindowsサーバー基礎SEカレッジ導入事例テスト自動化DNS簿記IT研修制度を聞いてみたデータベース基礎AWS品質管理新人研修サーバサイドJavaPマークVLAN単体テストヘルスケアネットワーク入門Javaプログラミング基礎トレンド情報処理資格アンガーマネジメントプロジェクトマネージャRaspberry Piプロトコル要求定義応用情報技術者GoFJavaプログラミング応用C# 応用データサイエンティストロジカルコミュニケーションロジカルシンキングデータベース設計財務ExcelインフラエンジニアアジャイルベンダーコントロールコーチングIT基礎HTML5WBSActive DirectoryCSS3サーバー構築パフォーマンスチューニング試験対策CentOS7フレームワークリファクタリング営業知識マルチスレッドプログラミングCloudインフラ実機演習CCNAネットワーク構築テストケースTCP/IP決断力法律知識Modern JavaScriptLVSプロジェクト管理機械学習HTML/CSSRDBJavaScript基礎クラウドOSPFVPNデータベースセキュリティ物理設計(データベース)Python入門ZabbixITILルーティングSQLインジェクション新人育成UIスクラムインデックス設計図解術非エンジニア向け情報漏えい見える化ITパスポートDHCP会社規模99名まで経営改善CentOSLAMP環境ロードバランサーBGPエンゲージメントマネジメントセキュリティ入門プロジェクト失敗事例システム開発データベース障害セルフマネジメント統計学Deep Learning微分・積分ソフトウェアテスト基礎Vue.js片付け術サイバー攻撃UI/UX犯罪心理学正規化理論Webアプリケーション開発管理職研修JavaEECisco情報セキュリティマネジメント内定者研修LPIC-1会社の仕組み法改定UX基本コマンド要件定義冗長化次世代高度IT人材UMLサーバーサイドJavascriptPHPウォーターフォールモデルコマンドM5StackWindowsネットワーク管理顧客ヒアリング関数型プログラミングPDCAOS・システム基盤トラブルシューティング論理設計Windowsサーバー応用業務効率化DBA中級リスク管理マーケティングクリティカル・シンキングプロダクトマネージャブロックチェーンデータベース応用JunitHTTP/2.0サーバーOSI参照モデルPMO失敗から学ぶWeb API財務諸表情報システム部門向けGitキャリア形成自己分析GO言語ビジネスインダストリレビューインタビュー技法OJTインターネットルーティング応用会社規模49名までDevSecOps仮想通過IPAインターネットルーティング基礎IT人材マウスで学ぶMVC基礎プロダクトマネジメントIPアドレスITサービスマネジメントテスト手法CCENT表計算ソフト塗り絵開発環境構築栄養学HTTP令和時代会社規模199名までMachine Learningプロジェクト計画リーダーシップ論理設計(データベース)ハンズオンプライベートクラウドgulpフロントエンド超上流工程チャットポット目標設定4BizリーダブルコードRESTful APIアプリ開発Go言語 (golang)LightsailネゴシエーションGitHubDoS攻撃IT資格財務会計アセンブラタイムマネジメントビルドツールChainer数字力基本設計つながる工場内部設計見積手法会社規模300名以上OpenStackデータマイニングリスクコントロールMicrosoft Azure負荷分散共創FinTechBootstrapコンピュータ基礎AI人材モチベーション労働関連法プロジェクトリーダーシンギュラリティ業務知識/業界知識ソフトウェアテスト応用エディタWireshark継続的インテグレーション (CI)ワークライフバランスRIP冗長化入門Laravel会話術WebSocketC-CENT基本用語Node.js新人教育プロジェクト成果チームビルディング教養パケットキャプチャテスト技法並列処理PMP®Apacheシステム設計バージョン管理インバスケットスタティックルートモダンJS (Modern JavaScript) 基礎概念設計(データベース)インフラ監視ニューラルネットワークWebWorkerSelenidechefコンピュータ数学自動構築サーバーダウンnpmやり直し数学Infrastructure as Code画像認識Haskellスクリプト言語PDUEC2継続的インテグレーション(CI)バッファオーバーフロー

過去の記事