2. 先進的な話題

This part of the Scipy lecture notes is dedicated to advanced usage. It strives to educate the proficient Python coder to be an expert and tackles various specific topics.

• 2.1. Python の先進的機能を構成するもの
  • 2.1.1. イテレータ、ジェネレータ式、ジェネレータ
    • 2.1.1.1. イテレータ
    • 2.1.1.2. ジェネレータ式
    • 2.1.1.3. ジェネレータ
    • 2.1.1.4. 双方向のコミュニケーション
    • 2.1.1.5. ジェネレータの連鎖
  • 2.1.2. デコレータ
    • 2.1.2.1. 元々のオブジェクトの置換や細工
    • 2.1.2.2. デコレータをクラスや関数として実装する
    • 2.1.2.3. ドキュメンテーション文字列や元の関数の属性をコピーする
    • 2.1.2.4. 標準ライブラリ内での利用例
    • 2.1.2.5. 関数を非推奨にする
    • 2.1.2.6. while ループで余計なものを除くデコレータ
    • 2.1.2.7. プラグイン登録システム
  • 2.1.3. コンテキストマネージャ
    • 2.1.3.1. 例外を捉える
    • 2.1.3.2. コンテキストマネージャの定義にジェネレータを利用する
• 2.2. Numpy の先進的な機能
  • 2.2.1. ndarray の生態
    • 2.2.1.1. ndarray とは...
    • 2.2.1.2. メモリブロック
    • 2.2.1.3. データ型
      • 2.2.1.3.1. デスクリプタ
      • 2.2.1.3.2. 例: .wav ファイルの読み込み
      • 2.2.1.3.3. キャストと再解釈/ビュー
        • 2.2.1.3.3.1. キャスト
        • 2.2.1.3.3.2. 再解釈 / ビュー
    • 2.2.1.4. インデクス方式: ストライド
      • 2.2.1.4.1. 主要な点
        • 2.2.1.4.1.1. C の順序と Fortran の順序
        • 2.2.1.4.1.2. 整数によるスライス
      • 2.2.1.4.2. 例: ストライドで次元を偽装する
      • 2.2.1.4.3. ブロードキャスト
      • 2.2.1.4.4. さらなる工夫: 対角要素
      • 2.2.1.4.5. CPU キャッシュの効果
      • 2.2.1.4.6. 例: インプレースな演算 (買手責任)
    • 2.2.1.5. 解剖により得た知見
  • 2.2.2. ユニバーサル関数
    • 2.2.2.1. とは何か?
      • 2.2.2.1.1. ufunc のパーツ
      • 2.2.2.1.2. 易しくしてみましょう
    • 2.2.2.2. 演習: ufunc をスクラッチから作る
    • 2.2.2.3. 解答: スクラッチから ufunc を作る
    • 2.2.2.4. 一般化された ufunc
  • 2.2.3. 相互運用のための機能
    • 2.2.3.1. 多次元の型つきデータを共有する
    • 2.2.3.2. 古い buffer プロトコル
    • 2.2.3.3. 古い buffer プロトコル
    • 2.2.3.4. Array インターフェースプロトコル
  • 2.2.4. 配列の競合: chararray, maskedarray, matrix
    • 2.2.4.1. chararray: 文字列演算のベクトル化
    • 2.2.4.2. masked_array 欠損データ
      • 2.2.4.2.1. マスク
      • 2.2.4.2.2. 領域を配慮する関数
    • 2.2.4.3. recarray: 純粋に便利
    • 2.2.4.4. matrix: は便利なの?
  • 2.2.5. まとめ
  • 2.2.6. Numpy/Scipy に貢献するには
    • 2.2.6.1. なぜ
    • 2.2.6.2. バグレポート
      • 2.2.6.2.1. 良いバグレポート
    • 2.2.6.3. ドキュメントへの貢献
    • 2.2.6.4. 機能の貢献
    • 2.2.6.5. 一般的な支援をするには
• 2.3. コードのデバッグ
  • 2.3.1. バグを避ける
    • 2.3.1.1. トラブルに遭遇しないためのコーディングベストプラクティス
    • 2.3.1.2. pyflakes: 高速な静的解析
      • 2.3.1.2.1. pyflakes を編集中ファイルで実行する
      • 2.3.1.2.2. タイプ毎にスペルチェッカーが走るように統合する
  • 2.3.2. デバッグのワークフロー
  • 2.3.3. Python デバッガを利用する
    • 2.3.3.1. デバッガの呼び出し
      • 2.3.3.1.1. 検死
      • 2.3.3.1.2. ステップ毎の実行
      • 2.3.3.1.3. デバッガを起動する他の方法
    • 2.3.3.2. デバッガーコマンドと対話操作
      • 2.3.3.2.1. デバッガ内のヘルプ表示
  • 2.3.4. gdb を利用してセグメンテーションフォルトをデバッグ
• 2.4. コードの最適化
  • 2.4.1. 最適化ワークフロー
  • 2.4.2. Python コードのプロファイル
    • 2.4.2.1. Timeit
    • 2.4.2.2. プロファイラ
    • 2.4.2.3. 行毎のプロファイラ
  • 2.4.3. コードの高速化
    • 2.4.3.1. アルゴリズム的最適化
      • 2.4.3.1.1. SVD の例
  • 2.4.4. 高速な数値計算コードを書く
    • 2.4.4.1. 追加のリンク
• 2.5. Scipy での疎行列
  • 2.5.1. 導入
    • 2.5.1.1. どうして疎行列が必要なの?
    • 2.5.1.2. 疎行列と疎行列の格納方式
    • 2.5.1.3. 典型的な応用
    • 2.5.1.4. 事前準備
    • 2.5.1.5. 疎な構造の可視化
  • 2.5.2. 格納方式
    • 2.5.2.1. 共通のメソッド
    • 2.5.2.2. 疎行列クラス
      • 2.5.2.2.1. 対角圧縮格納方式 (DIA)
        • 2.5.2.2.1.1. 例
      • 2.5.2.2.2. リストのリスト格納方式 (LIL)
        • 2.5.2.2.2.1. 例
      • 2.5.2.2.3. 辞書キー格納方式 (DOK)
        • 2.5.2.2.3.1. 例
      • 2.5.2.2.4. 座標格納方式 (COO)
        • 2.5.2.2.4.1. 例
      • 2.5.2.2.5. 圧縮行格納方式 (CSR)
        • 2.5.2.2.5.1. 例
      • 2.5.2.2.6. 圧縮列格納方式 (CSC)
        • 2.5.2.2.6.1. 例
      • 2.5.2.2.7. ブロック行圧縮格納方式 (BSR)
        • 2.5.2.2.7.1. 例
    • 2.5.2.3. まとめ
  • 2.5.3. 線形方程式の解法
    • 2.5.3.1. 疎行列の直接法によるソルバー
      • 2.5.3.1.1. 例
    • 2.5.3.2. 反復解法
      • 2.5.3.2.1. 共通のパラメーター
      • 2.5.3.2.2. 線形演算子クラス
      • 2.5.3.2.3. 前処理に関するいくつかの注意
    • 2.5.3.3. 固有値問題のソルバー
      • 2.5.3.3.1. eigen モジュール
  • 2.5.4. 他の興味深いパッケージ
• 2.6. Numpy と Scipy を利用した画像の操作と処理
  • 2.6.1. 画像ファイルを開く、書き込む
  • 2.6.2. 画像の表示
  • 2.6.3. 基本操作
    • 2.6.3.1. 統計情報
    • 2.6.3.2. 幾何学的変換
  • 2.6.4. 画像フィルタ
    • 2.6.4.1. ぼかしと平滑化
    • 2.6.4.2. シャープにする
    • 2.6.4.3. ノイズ除去
    • 2.6.4.4. 数理形態学
  • 2.6.5. 特徴抽出
    • 2.6.5.1. エッジ検出
    • 2.6.5.2. 分割
  • 2.6.6. オブジェクトの性質を計測する: ndimage.measurements
• 2.7. 数学的最適化: 関数の最小値を求める
  • 2.7.1. 問題を知る
    • 2.7.1.1. 凸関数と非凸関数の最適化の対比
    • 2.7.1.2. 滑らかな場合と滑らかでない場合の問題
    • 2.7.1.3. ノイズがある場合と厳密なコスト関数の対比
    • 2.7.1.4. 拘束条件
  • 2.7.2. 様々な最適化のレビュー
    • 2.7.2.1. 手始めに: 1次元最適化
    • 2.7.2.2. 勾配に基づく方法
      • 2.7.2.2.1. 勾配降下についての直感
      • 2.7.2.2.2. 共役勾配法
    • 2.7.2.3. Newton 法と準 Newton 法
      • 2.7.2.3.1. Newton 法: Hessian (2階微分) を利用
      • 2.7.2.3.2. 準 Newton 法: オンザフライでの Hessian 近似
    • 2.7.2.4. 勾配を必要としない最適化法
      • 2.7.2.4.1. シューティング法: Powell アルゴリズム
      • 2.7.2.4.2. シンプレックス法: Nelder-Mead
    • 2.7.2.5. 大域的な最適化
      • 2.7.2.5.1. ブルートフォース: グリッド探索
  • 2.7.3. scipy での実践的な最適化のためのガイド
    • 2.7.3.1. 手法の選択
    • 2.7.3.2. 最適化を高速化する
    • 2.7.3.3. 勾配の計算
    • 2.7.3.4. 人工的な練習問題
  • 2.7.4. 特殊例: 非線形最小二乗法
    • 2.7.4.1. ベクトル関数のノルムを最小化する
    • 2.7.4.2. 曲線のフィッティング
  • 2.7.5. 拘束条件付きの最適化
    • 2.7.5.1. 箱型の境界
    • 2.7.5.2. 一般的な拘束条件
• 2.8. C とのインターフェース
  • 2.8.1. 導入
  • 2.8.2. Python-C-Api
    • 2.8.2.1. 例
    • 2.8.2.2. Numpy のサポート
  • 2.8.3. Ctypes
    • 2.8.3.1. 例
    • 2.8.3.2. Numpy のサポート
  • 2.8.4. SWIG
    • 2.8.4.1. 例
    • 2.8.4.2. Numpy のサポート
  • 2.8.5. Cython
    • 2.8.5.1. 例
    • 2.8.5.2. Numpy のサポート
  • 2.8.6. まとめ
  • 2.8.7. 次に読むもの、参考文献
  • 2.8.8. 練習問題
    • 2.8.8.1. Python-C-API
    • 2.8.8.2. Ctypes
    • 2.8.8.3. SWIG
    • 2.8.8.4. Cython