RollingStyle = Sizeしか効かないという噂（Dateだと効かない）。 RollingStyle、MaximumFileSize、MaxSizeRollBackupsの設定がキモです。 例だと、過去のログファイルは50ファイルまで残り、過去のログファイルの51ファイル目から削除される。 また、ログファイルは10MB毎に新しいファイルとして生成される。

Log4netOldDeleteSetting.config

<configuration>
  <log4net>
    <appender name="FileAppender" type="log4net.Appender.RollingFileAppender">
      <param name="RollingStyle" value="Size" />
      <appendToFile value="true" />
      <lockingModel type="log4net.Appender.FileAppender+MinimalLock" />
      <filter type="log4net.Filter.LevelRangeFilter">
        <param name="LevelMax" value="ERROR" />
        <param name="LevelMin" value="DEBUG" />
      </filter>
      <MaximumFileSize value="10MB" />
      <MaxSizeRollBackups value="50" />
    </appender>
    <root>
      <level value="Info" />
      <appender-ref ref="FileAppender" />
    </root>
  </log4net>
</configuration>